DeepInfra 的基準測試結果顯示,相較於其他 CPU,NVIDIA Vera CPU 的運算速度超過 2 倍,並能支援更多並行運作的 AI 代理。
雲端平台 DeepInfra 作為 NVIDIA 開放 AI 生態系的早期參與合作夥伴,使用其生產級 AI 代理基礎設施,獨立設計及執行基準測試。DeepInfra 每週處理近 5 兆個詞元,其中約 30% 由代理型系統驅動,其雲端平台專為高輸送量 AI 推論打造。
基準測試顯示,在維持相同服務品質的情況下,Vera CPU 可支援多達 1.6 倍的並行 AI 代理,協調速度最高達其他 CPU 的 2.2 倍,同時提升基礎設施利用率與成本效益。這些結果顯示,NVIDIA Vera CPU 具備生產級代理型 AI 所需要的成本效益、低延遲與輸送量。
隨著 AI 代理承擔更複雜的推理、規劃、工具使用與資料移動任務,CPU 效能在協調每次模型呼叫前後的工作流程已變得愈發重要。
作為 NVIDIA AI 工廠極致協同設計策略的一部分,Vera CPU 專為代理型工作負載打造。DeepInfra 的基準測試凸顯了 NVIDIA Vera CPU 如何協助雲端服務供應商提升基礎設施利用率、增加成本效益,並在相同服務品質下支援更多並行 AI 代理。
深入了解 NVIDIA Vera Rubin 平台。
更多COMPUTEX 2026最新資訊就在 ioioTIME 專區中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了,快來追踪我們吧!!--最新科技新聞 盡在你手











