7 月,NVIDIA 與 200 多家公司和組織共同簽署了公開信《開放權重與美國人工智慧領導力》,信中指出,人工智慧領導力的衡量標準不是任何單一的前沿模型,而是開放的生態系統是否涵蓋到每個領域。
開放模型允許任何人下載、檢查、修改並在自己的基礎設施上運行,正是這些開放模型使得這一切成為可能。在實體人工智慧領域,這一點尤其重要,因為每一次部署都是一個專門化的問題。
物理人工智慧必須理解和預測後果,而不僅僅是外觀。
為了實現這一點,世界模型會學習物理環境的行為方式、接下來可能發生的情況以及哪些後續行動是合理的。它們可以產生基於物理實際的世界和行動數據,模擬未來狀態,並為團隊開發機器人、自動駕駛汽車或視覺人工智慧系統提供基礎。
開放世界模型已被用於產生訓練資料、測試策略和建立專用實體人工智慧系統。 NVIDIA Cosmos 3 將這些功能整合到一個開放模型系列中,並在機器人、自動駕駛汽車和視覺人工智慧領域取得了領先的基準測試結果和廣泛應用。
NVIDIA Omniverse 庫是 NVIDIA Agent Toolkit 的一部分,它提供了預先建置的功能,用於建立可用於模擬的世界,實體 AI 團隊可以使用這些世界在實際部署之前訓練、測試和驗證系統。
世界模型是物理人工智慧的基礎
實體人工智慧背後的數據難以大規模收集,而且成本高昂。罕見事件和長尾場景尤其難以安全且重複地重現。
世界模型能夠實現:
● 透過學習大規模多模式場景中的物理關係,獲得更有用的數據。
● 更多樣化的環境,包括天氣、光照、物體和運動軌跡等方面的變化。
● 為建造和適應特定的機器人、車輛、感測器配置、任務或操作環境奠定更好的基礎。
通用模型尚未接觸過特定團隊的機器人、感測器或運作環境。要彌補這一差距,需要取得模型權重、允許適配的許可,以及訓練後所需的工具。
NVIDIA Cosmos 世界基礎模型採用 Linux 基金會的 OpenMDW 1.1 授權協議,使團隊能夠使用自己的資料和硬體對模型進行後訓練。專業化正是開放性成為實際技術要求的體現。
模型客製化只是工作流程的一部分。團隊還需要環境來產生數據、運行模擬和測試行為。
Omniverse 庫幫助開發者建立可用於模擬的環境,而 OpenUSD 則提供了一個開放框架,用於在數位孿生、模擬和合成資料生成工作流程中組合、重複使用和交換複雜的 3D 資料。 Omniverse 和 OpenUSD 的結合,減少了每次資產、感測器配置或環境條件變化時都會產生的重複工作。
《宇宙3:前沿模型》
NVIDIA Cosmos 3——一個基於 Transformer 混合架構的前沿開放式物理 AI 基礎全能模型——結合了視覺推理、世界生成和動作預測,使開發人員能夠使用一個模型系列來理解場景、生成合成數據、模擬未來狀態並構建專門的世界動作模型。
開發者可以將 Cosmos 3 用作視覺語言模型、基於物理的世界模擬器(用於預測未來世界狀態並產生大規模合成資料)或世界動作模型的骨幹,而無需為每項功能組裝和維護單獨的模型。
該系列產品包括用於高保真世界建模的 Cosmos 3 Super (64B)、用於高效推理和後訓練的 Cosmos 3 Nano (16B) 以及用於設備端視覺推理和機器人策略部署的Cosmos 3 Edge (4B)。 Cosmos 3 Edge 足夠輕量級,可在邊緣 GPU 上運行,並可部署在 NVIDIA RTX GPU、NVIDIA DGX 系統和 NVIDIA Jetson(包括 Jetson Thor 平台)上。
在各項基準測試中,Cosmos 3 在 Artificial Analysis 的開放權重文本到圖像和圖像到視頻生成測試中排名第一,在 PAI-Bench 的世界生成測試中排名第一,並在 hysics-IQ 的圖像到視頻類別中排名第一。在機器人策略方面,它在 RoboLab 中排名第一。 Cosmos 3 Super 也是 VANTAGE-Bench 視覺理解測驗中排名最高的開放模型。
除了 Cosmos 之外,NVIDIA 的實體 AI 堆疊還包括用於機器人的 Isaac GR00T、用於自動駕駛汽車的 Alpamayo 和視覺 AI 的 Metropolis 。
開發者如何利用Cosmos 3進行工作
各行各業的開發者都在利用 NVIDIA Cosmos 構建物理 AI 應用:斗山機器人、LG 電子、三星電子和 Skild AI 在機器人領域;理想汽車、小米和 Afari 在自動駕駛汽車領域;以及 Centific、Fogsphere、Linker Vision、Milestone Systems 和 Yuan 在視覺 AI 代理方面,為工業提供 AI 和智能空間應用。
NVIDIA Cosmos 聯盟透過匯聚全球模型建構者、人工智慧開發者和物理人工智慧領域的領導人物,共同貢獻模型、研究和評估方法,從而拓展了這項工作。 NVIDIA 近期將聯盟擴展至日本,日本的機器人和製造業領導企業計畫加入,共同開發適用於工廠、物流、農業、建築、醫療保健和交通運輸等領域的開放世界模式。
這些實施和合作共同建立了開放世界模型,為機器人、自動駕駛汽車和視覺人工智慧系統等實體人工智慧提供了一個適應性強的基礎。
編者按:本文是「走進 Omniverse」系列文章的一部分,該系列文章重點介紹開發人員、3D 從業者和企業如何利用OpenUSD和NVIDIA Omniverse的最新進展來改變他們的工作流程。
更多COMPUTEX 2026最新資訊就在 ioioTIME 專區中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了,快來追踪我們吧!!--最新科技新聞 盡在你手










