NVIDIA 超大規模和高效能運算副總裁 Ian Buck 週二在 AI 基礎設施高峰會上發表了關於 AI 工廠效率的演講。該高峰會在 Santa Clara會議中心舉行，已演變成基礎設施技術領域的 Coachella 音樂節。
在座無虛席的觀眾面前（今年有超過 8000 名與會者，比去年的 3500 人有所增加），Buck 討論了 NVIDIA 平台的新合作等內容。
- Amazon 旗下的 Annapurna Labs 正在與 NVIDIA 合作開發 NVHBM 客製化高頻寬記憶體技術。
- d-Matrix 與 NVLink Fusion 計畫將 NVIDIA Vera CPU 與 d-Matrix Raptor XPU 結合，以大規模提供超低延遲推理。
NVIDIA 及其合作夥伴也公佈了新的研究成果：
- Emerald AI 和 NVIDIA 與 Silicon Valley Power 合作，展示了一項商業 AI 工廠靈活負載計劃。
- Lambda 採用 NVIDIA DSX MaxLPS 技術，每瓦效能提升了 23% 。
- Pinterest 正在使用 NVIDIA Blackwell 平台和 NVIDIA Dynamo 推理軟體，將對話式 AI 引入視覺發現領域。
隨著智慧人工智慧推動一類新型工作負載的發展，對人工智慧基礎設施的效能、效率和規模提出了更高的要求，這項消息也隨之而來。
NVIDIA 透過涵蓋 Vera Rubin 系統、Dynamo 推理軟體、NeMo 庫和 NVIDIA 網路的全端 AI 工廠平台來應對這一挑戰——其中包括用於擴展計算的 NVIDIA NVLink、用於連接數千個節點的 Spectrum-X 乙太網路和 ConnectX SuperNIC、用於基礎設施安全的 BlueField 上下文儲存和系統儲存。
AI 基礎設施的衡量標準正迅速從峰值性能轉向每兆瓦的驗證代理詞元數。如今，AI 工廠必須從晶片到電網進行協同設計。NVIDIA DSX MaxLPS 透過全廠範圍的功率最佳化，可將每兆瓦的詞元數提高至多 1.4 倍，而 NVLink 則有助於將大規模加速運算整合到高效能系統中。
最終成果是人工智慧基礎設施，旨在產生更多詞元以提高效率，並幫助客戶從每一兆瓦電力中獲得更多價值。
9月搞畏獎開跑中，搞畏有獎放送中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
