Skild AI的S1機器人基礎模型利用了NVIDIA的技術,涵蓋合成資料產生、模型訓練、模擬和實際部署
生產車間、倉庫和生產線很少保持不變——任務會變化,佈局會改變,新產品會不斷湧現,大多數機器人如果不進行大量重新編程就無法跟上步伐。
Skild AI 的全新 S1 機器人基礎模型有助於解決這一問題,該模型旨在透過單一視訊演示學習以前從未見過的、需要長時間運行的任務。該模型於上週發布,它使用視訊作為輸入來理解和執行任務,而無需更新其權重或進行特定任務的後訓練——這種技術被稱為上下文學習。
Skild 公司建構了 S1 機器人,並在 NVIDIA 人工智慧基礎設施上進行了相關研究。這項研究是雙方更廣泛合作的一部分,涵蓋合成資料生成、模型訓練、模擬以及現實世界中的實體人工智慧部署。兩家公司正攜手合作,將可適應性強的機器人智慧從實驗室推廣到工廠和其他動態運作環境。
Skild AI 聯合創始人兼首席執行官 Deepak Pathak 表示:“機器人技術發生的重大變革在於,它不再依賴預先編程,而是通過經驗進行學習。NVIDIA Isaac Lab 和 NVIDIA Cosmos 技術幫助 Skild 打造可擴展、多樣化的學習體驗,使其機器人能夠在多種場景和形態下進行學習。”
在公司首次商業部署後的 10 個月內,年收入就達到了 1 億美元,並在此背景下正式發布了新產品。在此期間,Skild 已建立了 60 多個部署合作夥伴關係,業務涵蓋製造、物流、檢測、安防、食品加工等領域。
透過一段影片學習新工作
大多數工業機器人都是為固定工作而設計的,因此每個新產品、新製程或新佈局都需要更多的數據、重新訓練和驗證。
S1 採用了一種不同的方法:操作員錄製一段所需任務的視頻,並將其作為提示提供給模型。模型解讀影片中所展示的意圖、物件和順序,然後將其映射到前方機器人的動作——無需重新訓練——而且通常能夠完成預訓練資料集未涵蓋的任務。
S1 可以執行長達 10 分鐘的陌生任務,包括盆栽、製作煎餅、手沖咖啡和組裝套件。這些任務可能涉及數十個操作步驟,並要求機器人將從未執行過的技能組合成序列。
在一次植物栽種測試中,Skild AI 團隊僅用了 11 分鐘就完成了從錄製演示到在硬體上自主執行的整個過程。該模型還能根據物體的移動進行調整,從錯誤中恢復,並將一些技能組合成未預先編程的序列。
在 Skild 公司針對新的多步驟任務進行的測試中,其 S1 機器人每一步的成功率約為 66%,而類似的 AI 系統成功率僅為 9%——提升超過七倍。 Skild 公司也估計,向機器人展示一個簡短的影片範例,其效果相當於提供大約 380 個實際操作的訓練範例。如果由人工收集這些範例,則需要花費 50 到 100 個小時。
從研發到工廠工作
S1 打破了需要不斷重新訓練機器人以適應新因素的惡性循環,它允許操作員直接演示新任務,而無需每次變更都使用新的資料集或進行新的訓練。在客戶協議允許的情況下,Skild商業部署的經驗可以為更廣泛的模型提供參考,並有助於加速未來的部署。
這項技術已經在工廠車間投入使用。 Skild 、NVIDIA 和富士康正在雙臂機械手臂上部署 Skild Brain,用於 NVIDIA Blackwell 系統的高精度組裝。在一個演示的工作流程中,機器人安裝母線和限位塊,擰緊 16 個螺絲,並在多步驟任務中適應各種幹擾。這項工作需要精確的運動控制、接觸感知控制、序列追蹤以及在場景與計劃不符時進行恢復。
NVIDIA技術貫穿整個開發週期
NVIDIA 加速運算使 Skild 能夠利用模擬、人類視訊、遠端操作以及(在允許的情況下)部署資料來訓練其共享機器人大腦。
NVIDIA Cosmos 開放世界基礎模型有助於豐富訓練資料並將影片轉換為結構化描述,而 Cosmos Curator 則有助於大規模地標註、篩選和組織資料。
Skild 廣泛使用 NVIDIA 的開放式模擬框架,在實際部署前對其機器人大腦進行訓練和驗證。 NVIDIA Omniverse 庫和 NVIDIA Isaac Sim 框架提供了基於實體的虛擬環境,用於產生資料、測試極端情況和驗證行為。
Skild 利用 Isaac Lab 中的強化學習進一步提升其機器人的智慧能力。 Isaac Lab 是一個開放的模組化機器人學習框架,由 Newton 實體引擎驅動,能夠幫助 Skild 的工程師精確模擬各種物理參數,例如力、接觸、碰撞和壓力,從而縮小模擬與現實之間的差距。
Skild 和 NVIDIA 正在共同開發新的 GPU 加速模擬求解器,這些求解器能夠快速、精確地模擬機器人如何物理地接觸、抓取和操作固體物體。它們很快就會作為 Newton 的一部分提供給所有開發者使用。
隨著模型逐步投入生產,NVIDIA Nsight 工具可協助工程師在訓練過程中發現效能瓶頸,而 NVIDIA TensorRT 軟體開發工具包則可優化推理過程,使機器人能夠在物理世界中快速回應。這些技術協同工作,將資料、模擬、訓練和部署階段連接起來,而不是將它們視為獨立的系統。
閱讀 Skild AI 的 S1 研究報告,並探討 NVIDIA Isaac 機器人平台。
( NVIDIA 機器人產品行銷
9月搞畏獎開跑中,搞畏有獎放送中
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了,快來追踪我們吧!!--最新科技新聞 盡在你手
















