了解開發人員如何將AI代理與NVIDIA Omniverse libraries結合，以建立模擬應用程式、測試物理行為並指導改進
將模擬構想轉換為可運行的應用程式意味著整合資源、連接實體引擎和渲染引擎，並檢查場景是否如預期運作。開發人員正在將前沿人工智慧模型與 NVIDIA Omniverse libraries 結合，以完成這項工作——建立用於探索各種場景、調查故障和改進設計的應用程式。
開發者透過自然語言指令引導人工智慧代理，查看結果並指導改進。 Omniverse libraries 提供 GPU 加速的實體、渲染和感測器模擬功能。
瀏覽以下項目，了解 GPT-6 Astra 等前沿 AI 模型如何運作，並隨時關注 NVIDIA 團隊和整個生態系統中的開發者帶來的新範例。
為倉庫環境建構人形模擬器
在實現倉庫任務自動化之前，開發人員需要一個互動式模擬環境來探索任務行為並評估工作完成方式。 NVIDIA 的 Omniverse 產品經理 Frank DeLise 使用 Astra 將 SimReady 倉庫和人形機器人變成了一個具有第一人稱和第三人稱視角的互動式模擬器。
DeLise 指導 Astra 將NVIDIA Omniverse libraries 連接起來，用於實體引擎 ( ovphysx )、場景更新 ( ovstage )、渲染 ( ovrtx ) 和使用者介面 ( ovui )。他還使用 Astra 和 SimReady ( simready-foundation ) 在模擬中創建物理場景。之後，Astra 產生動畫和應用程式程式碼，將這些功能整合在一起。
連線自動駕駛測試工作流程
場景、感測器或駕駛模型的改變會對自動駕駛車輛模擬產生顯著影響。 NVIDIA 模擬技術團隊的經理 Doyub Kim 委託 Astra 開發了 Zero to Alpamayo——一個基於舊金山市場街的可重複使用模擬環境。
Kim 指導 Astra 制定工作流程，然後分階段將資產創建、交通、Omniverse RTX 感測器模擬和 Alpamayo 駕駛模型連接起來，並檢查每個整合環節。最終的原型機成為了一個測試平台，用於比較不同的模型，並追蹤場景或感測器變化如何影響後續的駕駛行為。另一項 Cosmos3-Nano 實驗則在錄製的模擬影片中改變了天氣和光照條件，使 Kim 能夠比較駕駛模型在不同條件下對同一場景的反應。
利用感測器差異創建和改進數位孿生
為了測試機器人和自動駕駛車輛，開發人員需要了解模擬感測器與真實感測器的匹配程度。 NVIDIA 負責 RTX 感測器驗證的 Ashley Reid 指導 Astra 和 Claude Fable 5 智能體將 ovrtx 相機和原始 LiDAR 輸出與記錄資料進行比較。
這些智能體從零開始創建了兩個數位孿生模型，並改進了兩個現有的模型。在大約三天的時間裡，Reid 指導了一個迭代工作流程：智慧體測量差異、建立或修改 OpenUSD 場景，並檢查結果。修改內容包括缺少的物體、幾何形狀和材質，最終的驗收標準取決於相機和 LiDAR 的指標。這為開發人員提供了一種利用測量差異來指導場景創建和改進的方法。
機器人奧運：透過模擬測試機器人技能
教導機器人新的動作意味著要檢驗這些動作在物理約束下是否有效。 NVIDIA Omniverse 工程和產品負責人 Tae Kim 利用體育視頻和自然語言指令指導 Astra 構建了 Robo Olympics，這是一個實驗性項目，旨在測試模擬的 Unitree G1 人形機器人執行體育動作的能力。
在金的指導下，Astra 公司建立了控制器，並透過物理實驗進行了改進。 Newton 實體引擎模擬了機器人的行為，開源的 NVIDIA Warp 框架加速了運算，ovrtx 渲染了場景和虛擬攝影機影像。在一次實驗中，機器人在 100 次模擬試驗中成功跨越了 64 次障礙。這些試驗為金提供了改進機器人時機把握和控制的回饋。
利用電腦輔助設計與模擬測試機器人拆卸
在機器人能夠拆卸產品之前，開發人員需要知道其工具是否能夠觸及並移除零件。 NVIDIA OpenUSD 的高級產品經理 Jens Jebens 指導 Astra 使用 PTC Onshape 對汽車懸吊進行建模，並在 NVIDIA Isaac Sim 中進行配置。
借助 Astra，Jebens 探索了基於模擬資訊的電腦輔助設計和機器人工具改進。該智能體測量了可用空間，並設計了一種機器人可以用來夠到懸吊螺栓的扳手。 Jebens 報告稱，在模擬中成功拆卸了一個懸吊部件。這使得設計和工具決策與拆卸結果連結起來，為機器人策略訓練提供了一個起點。
將國際太空站引入瀏覽器
將 3D 模型轉換為應用程式需要連接資源、即時數據和使用者介面。 NVIDIA 的工程總監 Nic Johns 促使 Astra 將 NASA 的資源整合到一個包含遙測資料的 OpenUSD 國際太空站模型中。 Johns 僅憑一個提示就構建了該應用程序，然後通過後續提示將場景切換到地球的向陽面，使地球可見。
此工作流程使用 Blender 進行資源準備，並使用 Omniverse libraries 進行渲染 ( ovrtx )、場景執行時間 (ovstage) 和串流媒體 (ovstream)。該應用程式將 3D 模型和操作資料匯入瀏覽器，Johns 透過提供建議和修正來指導其開發。
將佔領的房間轉化為測試環境
數位重建的房間需要可編輯的物件和精確的物理行為，開發者才能測試互動效果。 NVIDIA Isaac 工程應用團隊的 Chirag Majithia 指導 Astra 將立體相機拍攝的影像轉換為可編輯的 OpenUSD 工作室。
此工作流程結合了 PyCuSFM、FoundationStereo 和 nvblox 進行重建，並由使用者審核指導對象選擇和放置。 Astra 將產生的資源和 Blender 創建的資源整合在一起，並使用 USD 內容代理來配置物件在模擬中的運動和互動方式。 Isaac Sim 測試指導了門和抽屜的碰撞和接觸修正。工作室將捕獲的幾何體與互動測試連接起來，從而更容易檢查縫隙和物件行為。
有模擬方面的想法？探索 NVIDIA Omniverse libraries，開始建置 AI 代理程式。
看QNAP活動文拿好禮| ioioTIMES 中秋大放送 留言得好禮
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了，快來追踪我們吧!!--最新科技新聞 盡在你手
