從基準測試到生產應用，NVIDIA Blackwell NVL72都能提供最高的每瓦效能以最大化收入，並實現最低的詞元成本以最大化利潤率
電力是人工智慧基礎設施不可避免的限制因素。人工智慧工廠在固定電力預算內能夠產生多少 tokens，決定了其收入和獲利能力。因此，每瓦性能——一個無法人為操縱、只能透過實際結果衡量的指標——是人工智慧工廠的基石。
隨著智慧人工智慧推動 tokens 需求不斷成長，企業今天做出的基礎設施決策將決定在電力受限的世界中，哪些企業能夠擴展規模，哪些企業不能。
如今幾乎所有前沿人工智慧模型都運行在 mixture-of-experts（MoE）架構上。高效運行這些大規模模型意味著 GPU domains 規模——即透過超高速、可擴展互連連接的 GPU 數量——至關重要，而且越大越好。
儘管 NVIDIA Hopper 世代以 8 GPU 架構樹立了產業標竿，但如今前沿 AI 的規模已遠遠超越其配置。要利用 72-GPU 架構為 MoE 提供服務，需要全端協同設計，以及在實際生產負載下運行這些模型所累積的豐富經驗。
NVIDIA Blackwell NVL72 平台 已經建立並驗證了這一基礎，能夠以最高的每瓦性能實現收益最大化，並以最低的代幣成本實現利潤最大化。 NVIDIA Vera Rubin 平台正是在此基礎上進一步提昇機架級能效。
最大化Frontier AI的每瓦效能
每一代新的前沿模型都會帶來架構上的變化，從而釋放出更大的智能，同時也需要新的最佳化才能大規模高效運作。
在最新一代領先的開放式架構中，NVIDIA GB300 NVL72 的每瓦效能比 NVIDIA Hopper 系列提升高達 25 倍——這表明，當 GPU 數量從 8 個增加到 72 個時，MoE 效能會顯著提升。這些數據反映了 Blackwell 架構目前的水平，而這只是一個起點，未來還有很大的提升空間。
任何單一的數字都只能說明部分情況。不同的工作負載需要不同的運行點：有些優化延遲，有些優化吞吐量和成本——而大多數工作負載需要在兩者之間切換。
為了更好地展現這些運行點，NVIDIA 為每個模型展示了 Pareto 曲線，而不是單點，並提供 DynoSim 等工具，幫助團隊在 Pareto 前沿上找到最佳點，而無需花費任何 GPU 小時進行驗證。
NVIDIA Blackwell 卓越的每瓦性能源於其極致的協同設計：從晶片到軟體，機架級系統的每個組件都經過精心設計，旨在最大限度地提高 AI 推理工作負載的詞元吞吐量。這種協同設計貫穿了整個技術堆疊的每一層。
例如，NVIDIA NVLink 交換器對於機架級效能至關重要，它是專為釋放大規模擴展的 GPU domains 而設計的，並非由通用網路改造而來。如今，NVLink 交換器已發展到第六代，採用 Vera Rubin 平台，其功能專為 SHARP 等 AI 工作負載而設計，SHARP 可以直接在交換器中執行網路內運算，從而減輕 GPU 本身的負擔。
NVIDIA 的推理軟體棧，包括 NVIDIA Dynamo 和 TensorRT LLM，以及 SGLang 和 vLLM，旨在運行全方位的最佳化：NVFP4 量化、解耦服務、大規模專家並行、鍵值感知路由、鍵值快取卸載等等。這些優化層層疊加，倍增每塊 GPU 的效能。此外，軟體效能也會隨著時間的推移而持續提升：在 DeepSeek V4 上，每瓦效能在一個月內提升了高達 5 倍。
在人工智慧工廠中，冷卻損耗和機架級效率低下會導致從電網獲取的電力只有約 60% 能轉化為有效的人工智慧運算。 NVIDIA DSX 平台中的電源和效率軟體 NVIDIA DSX MaxLPS 透過在 GPU 和機架之間即時分配電力、支援溫水液冷以及採用動力轉向等技術來提升性能，從而彌補了這一差距。這使得營運商能夠在相同的電力預算下運行多達 40% 的額外 GPU。
生產是關鍵
在人工智慧工廠規模下實現機架級可靠性並非易事。機架級系統會引入單節點部署永遠不會遇到的故障模式，而處理這些故障模式需要嚴謹的工程設計和大量的生產時間。
NVIDIA Blackwell NVL72 系統在各種型號和生產使用案例中持續樹立標準，提供持續的性能、機架級可用性和經濟性，即使在實際流量下也能日復一日地保持穩定。這就是為什麼像 Anthropic 和 OpenAI 這樣的領先人工智慧實驗室使用 NVIDIA Blackwell NVL72 系統來運作推理的原因。
此外，各種推理服務供應商和 AI 原生開發者都使用 Blackwell 平台在生產環境中部署開放模型。
CoreWeave 已在 NVIDIA GB300 NVL72 上 部署了 Kimi K2.6 ，結合了 NVFP4 量化和 EAGLE3 推測解碼，以最大限度地提高推理性能。Perplexity在其 AI 代理平台上使用 NVIDIA GB200 NVL72 運行 Qwen3 235B 和後訓練的 Qwen3.5-397B-A17B ，每天處理數百萬個查詢，滿足消費者所需的延遲和可靠性。Fireworks AI在 NVIDIA Blackwell 平台上部署了 GLM 5.2，從而能夠為 Cursor 和 Factory AI 等客戶進行生產部署。NVIDIA Vera Rubin 憑藉其在多代前沿模式和實際部署中累積的生產經驗，獲得了先發優勢。
(作者：NVIDIA加速運算部門 產品行銷高級經理 Shruti Koparkar，原文經Google翻譯)
更多COMPUTEX 2026最新資訊就在 ioioTIME 專區中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
