Nvidia 加強生成式 AI 運行，全力推廣 TensorRT

Nvidia 最近宣布了一個大舉動，他們將 TensorRT-LLM SDK 擴展到 Windows 和更多的大型語言模型（LLMs），像是 Stable Diffusion。這個舉動的背後目的很簡單，就是要讓這些大型語言模型和相關的 AI 工具運行得更快、更順暢。

那 TensorRT 到底是什麼呢？簡單來說，它是一個幫助加速「推理」的工具。推理是一個過程，通過已經訓練好的資料和計算概率來得出結果。有了 TensorRT，Nvidia 希望在這個生成式 AI 的領域扮演更重要的角色。

TensorRT-LLM 的厲害之處在於，它可以讓像 Meta 的 Llama 2 和 Stability AI 的 Stable Diffusion 這樣的大型語言模型，在 Nvidia 的 H100 GPU 上運行得更快。Nvidia 自己也說，用 TensorRT-LLM 來運行這些模型，使用者的體驗會有顯著的提升，特別是在更複雜的應用，像是寫作和編碼助手。

這樣一來，Nvidia 不只是提供強大的 GPU 來訓練和運行這些大型語言模型，還提供了這個讓模型運行更快的軟件，這意味著用戶不需要尋找其他替代方案來降低生成式 AI 的成本。Nvidia 也表示，TensorRT-LLM 會對外開放，任何人都可以使用或整合它。

但 Nvidia 也看到了未來的挑戰，雖然他們在生成式 AI 的硬件方面是領頭羊，但隨著生成式 AI 的快速發展，不需要大量昂貴 GPU 的新方法也在出現。像是 Microsoft 和 AMD，已經宣布他們會製造自己的晶片，減少對 Nvidia 的依賴。因此 Nvidia 正在積極尋找新的機會，確保他們在這個領域繼續領先。