3月19日消息，英偉達在2025GTC大會上推出了開源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴展 AI 工廠中的 AI 推理模型。

據(jù)介紹，NVIDIA Dynamo 是一款全新的 AI 推理服務軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協(xié)調并加速數(shù)千個 GPU 之間的推理通信，并使用分離服務將大語言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開來。這使得每個階段的特定需求可以進行單獨優(yōu)化，并確保更大程度地利用 GPU 資源。

“全世界各行業(yè)都在訓練 AI 模型以不同的方式進行思考和學習，從而使模型復雜度持續(xù)升級?！盢VIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，“為了實現(xiàn)自定義推理 AI 的未來，NVIDIA Dynamo 可以在這些模型上進行規(guī)?；渴穑瑥亩鵀?AI 工廠實現(xiàn)降本增效”。

在 GPU 數(shù)量相同的情況下，Dynamo 可將 NVIDIA Hopper? 平臺上運行 Llama 模型的 AI 工廠性能和收益翻倍。在由 GB200 NVL72機架組成的大型集群上運行 DeepSeek-R1模型時，NVIDIA Dynamo 的智能推理優(yōu)化也可將每個 GPU 生成的 token 數(shù)量提高30倍以上。

NVIDIA Dynamo 完全開源并支持 PyTorch、SGLang、NVIDIA TensorRT?-LLM 和 vLLM，使企業(yè)、初創(chuàng)公司和研究人員能夠開發(fā)和優(yōu)化在分離推理時部署 AI 模型的方法。

這將使用戶加速采用 AI 推理，包括亞馬遜云科技、Cohere、CoreWeave、戴爾科技、Fireworks、谷歌云、Lambda、Meta、微軟 Azure、Nebius、NetApp、OCI、Perplexity、Together AI 和 VAST。