在KubeCon大會上，NVIDIA將用於保護代理商和在Kubernetes上運行AI的工具交到雲端原生社群手中
Kubernetes 是一個開源系統，用於管理應用程式如何在數千個 AI 工廠中運行，它已成為 AI 的基礎，而且對它的需求還在不斷增長。
為了幫助滿足這些需求，NVIDIA 正在 KubeCon + CloudNativeCon（ Kubernetes 和雲端原生社群的旗艦會議）上深化其對開源的承諾。
NVIDIA 正在向雲端原生運算基金會 (CNCF) 貢獻其開源執行時間庫 NVIDIA OpenShell。該函式庫用於保護和管理自主代理，CNCF 是一個非營利組織，隸屬於 Linux 基金會，也是 KubeCon 大會的主辦單位。作為 CNCF 沙盒項目，OpenShell 將由將其整合到自身產品的組織進行管理，並受益於全球安全專家的專業知識。
NVIDIA 也為 Agent Substrate 做出了貢獻，Agent Substrate 是一個由 Google 主導的開源框架，用於在 Kubernetes 上大規模運行長時間運行的代理工作負載，該框架已被 CNCF 沙盒接受。
此外，NVIDIA 也發表了 NVIDIA DSX AI Factory 平台的新元件：NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。這些工具可以幫助團隊在 Kubernetes 上部署、管理和擴展用於 AI 工廠的 GPU 基礎架構。
這些進步共同標誌著 Kubernetes 在成為大規模 AI 工作負載的領先基礎架構方面邁出了重要一步——使開發人員能夠為未來建立更安全、更有效率的 AI 基礎設施。
在開放環境中保護人工智慧代理
NVIDIA 向 CNCF 貢獻的 OpenShell 將自主代理的安全基礎設施交到了社區手中，供其建置、檢查和改進，從而加速開發並加強其安全保障。
Linux 基金會執行長 Jim Zemlin 表示：「雲端原生社群面臨著一項新的基礎設施挑戰：為代理程式提供安全的運作環境。NVIDIA 將 OpenShell 貢獻給 CNCF，為開發者提供了一個共享的基礎架構，並讓他們有機會塑造代理程式安全性的發展方向。將這項工作引入原生社區，有助於在對下一代工作中進行更廣泛的基礎設施應用至關重要的基礎設施。」
OpenShell 使組織能夠控制 AI 代理程式的權限。它對代理活動應用確定性控制，因此團隊可以在代理程式使用工具、存取推理服務和執行工作負載時強制執行策略。其可擴展的架構允許團隊連接自己的運算資源、推理提供者、憑證儲存和監控工具。這使得組織能夠在不同的部署環境中應用治理，同時將 OpenShell 與其現有企業系統整合。
數百個組織已經開始使用 OpenShell，該專案自推出以來不到一年就收到了數萬份貢獻。
在 Kubernetes 上擴充代理執行
管理代理只是挑戰的一部分。組織還需要大規模部署它們。 NVIDIA 正在為 CNCF 沙盒中由 Google 發起的 Agent Substrate 專案做出貢獻，並確保它與 NVIDIA Dynamo（用於模型推理）和 KAI Scheduler（用於共享叢集資源分配）協同工作。這項工作將代理執行、推理服務和資源調度整合到 Kubernetes 上。
Agent Substrate 能夠在任務間隙保留代理環境，並在代理空閒時釋放計算資源。透過在共享代理程式池中暫停和恢復這些環境，它使團隊能夠擴展代理工作負載，而無需為每個會話運行專用計算資源。
NVIDIA 和 Google 也正在合作整合 OpenShell 和 Agent Substrate，以便企業能夠保護和管理跨雲端和本機系統的代理程式。
建構人工智慧工廠的開放基礎
AI 工廠需要向客戶提供託管的 Kubernetes 服務，同時保持對自身基礎設施、軟體和客戶體驗的控制權。三個新的開源專案擴展了 DSX AI 工廠平台，使 Kubernetes 更易於運行，推理速度更快，擴展性更強。
NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR) 現已推出公開預覽版，它們提供開源建置模組，用於在 GPU 基礎架構上交付託管的 Kubernetes 服務。它們可自動管理叢集生命週期，並提供經過簽名且版本固定的鏡像。
NVKE 和 NVKR 的發布將獲得生態系統支持，從而擴展其在 AI 基礎設施平台和雲端服務領域的覆蓋範圍。 Mirantis 、Netris、OpenNebula Systems、Rafay 、Spectro Cloud 和 vCluster，以及 Firmus 和 SK Telecom ，已與 NVIDIA 達成合作，制定了將 NVKE 和 NVKR 功能整合到各自產品中的計劃。
NVIDIA Snapshot 旨在解決快速部署額外推理能力的難題。載入模型和預熱工作負載可能會延遲擴展和恢復。這款開源模組化元件可在數秒內恢復已儲存的副本，無需重新載入模型或預熱，從而支援 Kubernetes 上推理和代理工作負載的更快啟動、恢復和彈性擴展。
設計合作夥伴 Crusoe 和 Saturn Cloud 使用 NVIDIA HGX B300 系統，在各自的工作負載上對 Snapshot 進行了評估。作為 Snapshot 的上游貢獻者， Crusoe 在 Crusoe Cloud 上測試了 GLM-5.3，並將工作負載的就緒時間從大約 8 分鐘縮短至 31 秒。令牌工廠平台 Saturn Cloud 對 Snapshot 的零擴展推理進行了基準測試，並將 vLLM 的啟動時間從 2 到 8.5 分鐘縮短至 6 到 34 秒。
加入 NVIDIA 的 KubeCon 大會，以了解更多資訊。
11月搞畏獎現正開跑，留言抽好禮!!
ioioTIMES IG | Threads 歡迎加入!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
