在國際機器人與自動化大會上，NVIDIA發表了八篇新的研究論文
展示了在模擬環境中訓練的機器人如何走向現實世界
機器人技術正在進入一個新階段：從受控演示和腳本自動化轉向現實世界中可推廣、可靠的具身自主性。
在國際機器人與自動化大會 (ICRA)上，NVIDIA Research 的 28 篇被接受的論文中有 8 篇展示了模擬到現實的遷移如何成為這種轉變的基礎，幫助機器人感知、推理、計劃和行動於動態、不可預測的環境中。
這些論文涵蓋了機器人開發人員面臨的所有挑戰：協調多個機械手臂並行運動、構建可推廣到不同機器人身體的策略、在雜亂環境中抓取新物體、執行精確組裝以及開發在移動之前進行推理的視覺語言動作模型。
主線很明確：模擬到現實正在成為機器人的基礎，使機器人能夠在實驗室外適應環境、進行泛化，並具有更高的可靠性。
協調手臂、控制身體、抓取物體
想像一下由機械手臂操作的製藥實驗室：拾取試管、轉移液體、混合試劑——每個步驟所需的時間各不相同，都需要仔細協調。
傳統的機器人調度軟體會依序處理這些步驟，一次處理一個機械手臂。
ScheduleStream 透過在 GPU 上執行運算來改變現狀，使多個機械手臂能夠並行規劃和執行運動。結果是，在 NVIDIA Jetson 等邊緣 AI 平台等硬體上，多機械手臂規劃場景的速度提升了 3 倍。該框架的程式碼已發佈在 GitHub 上。
一個機器人如果想要學習如何在空間中導航——避開障礙物並找到目的地——通常是在一個整體上完成的。如果把同樣的導航軟體裝到形狀不同的機器人身上，它往往會崩潰，因為各個部件的運動方式都不一樣。
COMPASS策略架構首先利用模仿學習建構基礎導航功能，然後利用 NVIDIA Isaac Lab 中的殘差強化學習，為各種不同的機器人形態建立專家模型，從而解決了這個問題。至關重要的是，所有階段都不涉及任何真實世界的機器人資料：所有訓練都在 Isaac Lab 模擬環境中進行。
與模仿學習基線相比，COMPASS 的平均成功率提高了 4.5 倍。它還能無縫遷移到真實世界環境中，在自主移動機器人和人形機器人上進行的 20 次真實世界導航試驗中，成功率約為 80%。
COMPASS 對代理商非常友好，具有專用技能——開發人員可以將管道與 NVIDIA Omniverse NuRec 連接起來，以便在部署之前在新環境的數位孿生中對機器人進行後訓練和驗證。
大多數抓取系統會辨識物件、預測抓取位置、規劃路徑，然後執行抓取動作。但最後幾公分的微小誤差至關重要。
Grasp-MPC 自適應地計算機器人抓取動作，在機器人接近物體時不斷糾正其運動，而不是執行固定的計劃——就像人們透過感覺而不是預先計算每個關節角度來抓取東西一樣。
為了建構此策略，研究人員使用 GraspGen資料集中的標註和cuRobo（一個用於機器人運動生成的 CUDA 加速庫） 中的運動規劃數據，產生了 8,000 個物件上的 200 萬條模擬軌跡。
在對成功和失敗的軌跡進行訓練後，Grasp-MPC 學會了在雜亂的桌面和架子上抓取新物體——在真正的機器人上取得了約 75% 的總體成功率，而基線為 41%。
可變形簇操作引入了一個框架，以應對類似的挑戰：使系統能夠一次抓住一個物體，而是抓住一整束柔性、纏繞的材料。
框架的設計靈感源自於一項實際任務：清理纏繞在電線上的大量樹枝，因為沒有乾淨的物體可供抓取。該系統利用整個機械手臂，而不僅僅是機械爪：它將機械手臂包裹住樹枝簇並將其掃開，就像人們收集一堆電纜或撥開一團灌木一樣。
研究人員利用生物生長方程式建構了一個樹木生成器，生成各種不同形狀和大小的合成樹，然後在 NVIDIA Isaac 開放式模擬框架 中對數千棵樹進行了系統訓練。
此策略可零失誤地部署到實際線路。除了電力線路之外，研究人員還看到了其在電纜管理、農業巡檢以及機器人需要處理纏繞物而非單一可抓取物品的任何應用潛力。
精密組裝
精確組裝－將螺帽旋入螺栓上，將齒輪插入齒輪軸上，將銷釘壓入孔中－僅靠模擬很難做到準確無誤。
現實世界錯綜複雜。真實表面並非完美光滑。感測器也並非總是按預期工作。模擬器能夠忽略的微小偏差，卻可能導致機器人停止運作。
SPARR方法透過將任務拆分為兩部分來解決這個問題。首先，在 Isaac Lab 中訓練的策略層學習在模擬環境中完成組裝任務的通用策略。然後，在實際硬體上，第二層策略層利用機器人自身的攝影機，無需任何人工演示或指導，就能學習修正模擬環境中的任何錯誤。
與零次模擬到實際的基準相比，SPARR 將成功率提高了 38%，週期時間縮短了約 30%。
對於國家標準與技術研究院 (NIST) 在培訓期間未見過的組裝任務，成功率提高了近 75%——接近需要人參與的方法的結果。
Refinery 框架在組裝過程中引入了更高層次的難度：它能夠處理包含多個連續步驟的任務，其中第一步的完成情況決定了第二步是否能夠進行。這就像組裝家具一樣——如果一塊面板的角度不對，下一個緊固件就無法安裝到位。
透過了解初始條件和數百個模擬組裝場景下成功率的變化，Refinery 能夠學習如何完成每個步驟，並將每個組件放置在為下一步做好準備的位置。它在模擬中實現了 91% 的成功率，與具有類似實際結果的基準相比，平均效能提升了近 11%——其策略可以鍊式組合，以處理冗長的多部件序列。
言而有信的行動典範
PEEK 管線幫助機器人從雜亂的環境中辨識目標。在典型的操控任務中，機器人的攝影機會捕捉到場景中的所有物體——但大部分都是無關的噪音 。
PEEK 專案頁面上示範的一項任務是「把香蕉交給英偉達創始人兼執行長黃仁勳」：黃仁勳的照片放在桌上，旁邊還有麥可喬丹的照片、一些不相關的物品和其他幹擾物。
人類執行任務時會立即將注意力集中在香蕉和正確的照片上；而標準的機器人策略則需要處理所有訊息，常常會感到困惑。 PEEK 透過視覺語言模型讀取任務指令，並據此調整機器人的視線方向來解決這個問題——顯示移動路徑，突出顯示重要物體，同時淡化其他內容。
此策略隨後會根據標註後的視圖而非原始場景進行操作。對於完全在模擬環境中訓練的策略，在添加 PEEK 後，實際應用的準確率提高了 41 倍。對於大型 VLA 模型和較小的策略，準確率提升幅度在 2 到 3.5 倍之間。由於 PEEK 在影像層級進行操作，因此無需修改即可與任何基於攝影機的策略整合。
《言出必行》（Do What You Say）——由卡內基美隆大學、猶他大學和雪梨大學的研究人員合作完成——針對一種特定的故障模式，這種模式在機器人處理更長時間、更複雜的任務時顯得尤為重要。
給機器人一條指令，例如 “把桌子上所有的東西都放進櫃子裡” 或 “調製一杯曼哈頓雞尾酒”，它必須把指令分解成一個個步驟，並按順序執行。
問題在於，人工智慧模型可以正確推斷出它需要做什麼——然後執行一些不同的事情。
這種名為 SEAL 的方法無需重新訓練即可在運行時解決這個問題：機器人產生多個候選動作序列，思考每個序列的實際結果，並選擇與自身指令相符的結果。與以往方法相比，SEAL 的準確率提高了 15%，並且對指令措辭的改變、物體的變化、場景的雜亂以及攝影機角度的改變都具有很強的棒性。
除了發表論文外，NVIDIA 還透過大規模開放機器人資料集來擴展其機器人研究基礎設施。 NVIDIA Physical AI 資料集是全球最大的實體開發開放資料集，下載量已超過 1,500 萬次；而 NVIDIA Isaac GR00T X Embodiment Sim 也已成為下載量最高的機器人資料集之一。
大學借助NVIDIA技術加速物理人工智慧研究
來自卡內基美隆大學 (CMU)、蘇黎世聯邦理工學院 (ETH Zurich)、麻省理工學院 (MIT) 和德克薩斯大學奧斯汀分校等高校的機器人團隊正在利用 NVIDIA 技術將物理人工智能研究從模擬轉移到現實世界系統——近 50 篇已接受的論文引用了 NVIDIA 加速的模擬、機器人學習和計算。
例如，卡內基美隆大學的一篇論文展示了在 NVIDIA Isaac 實驗室訓練的機器人控制框架，以及麻省理工學院利用 NVIDIA GPU 進行大型語言模型引導強化學習的研究。
