邁向全境宇宙：OpenUSD 與 NVIDIA Halos 加速機器人計程車及實體 AI 系統的安全性

編者註：本文是 進入 Omniverse 系列的一部分，該系列專注於開發人員、3D 從業人員和企業如何利用最新的 OpenUSD 和 NVIDIA Omniverse 進展來轉變其工作流程。

實體 AI 正從研究實驗室走向現實世界，為必須在不可預測的條件下可靠地感知、推理和行動的智慧型機器人與 自動駕駛汽車 (AV)（例如機器人計程車）提供動力。

為了安全地擴展這些系統，開發人員需要能夠連接真實世界數據、高保真模擬和強健 AI 模型的工作流程，而這些都建立在 OpenUSD 框架提供的通用基礎之上。

最近發布的 OpenUSD Core Specification 1.0，OpenUSD（又名 Universal Scene Description）現在定義了標準數據類型、文件格式和組合行為，為開發人員在擴展自動駕駛系統時提供了可預測、可互操作的 USD 管道。

由 OpenUSD 提供支援的 NVIDIA Omniverse 函式庫 結合了 NVIDIA RTX 渲染、物理模擬和高效運行時，以創建數位分身和模擬就緒 (SimReady) 資產，這些資產準確反映真實世界的環境，用於合成數據生成和測試。

NVIDIA Cosmos 世界基礎模型可以在這些模擬之上運行，以擴大數據變異性，從相同的場景生成新的天氣、光照和地形條件，以便團隊能夠安全地涵蓋罕見且具有挑戰性的邊緣情況。

今天上午 11 點（太平洋時間）觀看 OpenUSD 直播，或觀看重播，了解更多資訊，這是 NVIDIA Omniverse OpenUSD Insiders 系列的一部分：

此外，合成數據生成、多模態數據集和 SimReady 工作流程的進展，現在正與 NVIDIA Halos 框架結合，用於 AV 安全，為下一代自動駕駛機器創建一個基於標準的、更安全、更快、更具成本效益的部署路徑。

為安全的實體 AI 奠定基礎

開放標準和 SimReady 資產

OpenUSD 核心規範 1.0 建立了支援 SimReady 資產的標準數據模型和行為，使開發人員能夠為 AI 工廠和機器人構建可互操作的模擬管道，這些管道基於 OpenUSD。

基於此基礎構建的 SimReady 3D 資產可以在不同工具和團隊之間重複使用，並直接載入到 NVIDIA Isaac Sim 中，其中 USDPhysics 碰撞體、剛體動力學和基於組合弧的變體讓團隊可以在與真實操作高度相似的虛擬設施中測試機器人。

開源學習

Learn OpenUSD 課程現在是開源的，並在 GitHub 上提供，使貢獻者能夠為不同的受眾、語言和用例本地化和調整模板、練習和內容。這為教育工作者提供了一個現成的基礎，用於將新團隊引入以 OpenUSD 為中心的模擬工作流程。

生成式世界作為安全乘數

高斯噴塗（一種使用可編輯的 3D 元素快速渲染環境並具有高保真的技術）和世界模型正在加速用於安全機器人測試和驗證的模擬管道。

在 SIGGRAPH Asia，NVIDIA 研究團隊推出了 Play4D，這是一個串流管道，能夠實現 4D 高斯噴塗，以準確渲染動態場景並提高真實感。

空間智慧公司 World Labs 使用其 Marble 生成式世界模型與 NVIDIA Isaac Sim 和 Omniverse NuRec，以便研究人員可以在數小時內而不是數週內將文字提示和範例圖像轉換為照片級真實、基於高斯且物理就緒的 3D 環境。

然後，這些世界可用於實體 AI 訓練、測試和模擬到真實傳輸。這種高保真模擬工作流程擴展了機器人可以練習的場景範圍，同時將實驗安全地保留在模擬中。

Lightwheel 透過 SimReady 資產協助團隊擴展機器人訓練

由 OpenUSD 提供支援的 Lightwheel 的 SimReady 資產庫包含一個通用的場景描述層，可以輕鬆地為機器人組裝高保真的數位分身。SimReady 資產內嵌了精確的幾何形狀、材質和經過驗證的物理屬性，可以直接載入到 NVIDIA Isaac Sim 和 Isaac Lab 中進行機器人訓練。這使得機器人在學習過程中能夠體驗真實的接觸、動力學和感測器回饋。

端到端自動駕駛汽車安全

透過新的研究、開放框架和使驗證更嚴謹且可擴展的檢查服務，端到端自動駕駛汽車安全進展正在加速。

NVIDIA 研究人員與哈佛大學和史丹佛大學的合作者最近推出了 Sim2Val 框架，用於統計地結合真實世界和模擬測試結果，減少 AV 開發人員對昂貴的實體里程的需求，同時展示機器人計程車和 AV 如何在罕見且安全關鍵的場景中安全運行。

透過觀看 NVIDIA 的「Safety in the Loop」直播，了解更多資訊：

這些創新得到了新的開源 NVIDIA Omniverse NuRec Fixer 的補充，這是一個基於 Cosmos 訓練的 AV 數據模型，可以去除神經重建中的偽影，從而產生更高質量的 SimReady 資產。

為了使這些進展與嚴格的全球標準保持一致，NVIDIA Halos AI Systems Inspection Lab（已獲得 ANAB 認證）透過 Halos 認證計劃，為機器人計程車車隊、AV 堆疊、感測器和製造商平台中的 Halos 組件提供公正的檢查和認證。

將實體 AI 安全付諸實踐的 AV 生態系統領導者

Bosch、Nuro 和 Wayve 是 NVIDIA Halos AI Systems Inspection Lab 的首批參與者，該實驗室旨在加速機器人計程車車隊的安全大規模部署。Onsemi，一家生產 AV、工業自動化和醫療應用的感測器系統的公司，最近成為第一家通過 NVIDIA Halos AI Systems Inspection Lab 檢查的公司。

開源 CARLA 模擬器整合了 NVIDIA NuRec 和 Cosmos Transfer 來生成重建的駕駛和多樣化的場景變體，而 Voxel51 的 FiftyOne 引擎，與 Cosmos Dataset Search、NuRec 和 Cosmos Transfer 連結，幫助團隊在 AV 管道中策劃、註釋和評估多模態數據集。

密西根大學的 Mcity 正在利用 Omniverse 函式庫和技術來增強其 32 英畝的 AV 測試設施 的數位分身。該團隊正在整合 NVIDIA 的 AV 模擬藍圖和 Omniverse Sensor RTX 應用程式介面，以創建相機、激光雷達、雷達和超聲波感測器的基於物理的模型。

透過將真實感測器記錄與高保真模擬數據對齊並公開共享資產，Mcity 能夠在車輛上路前對罕見和危險的駕駛場景進行安全、可重複的測試。

接入 OpenUSD 和實體 AI 安全的世界

透過探索以下資源，進一步了解 OpenUSD、NVIDIA Halos 和實體 AI 安全：

• 觀看 NVIDIA GTC 的點播會議 "Reconstructing Reality: Simulating Indoor and Outdoor Environments for Physical AI”。
• 訪問 NVIDIA Halos AI Systems Inspection Lab 網頁。
• 關注 NVIDIA DRIVE LinkedIn 電子報：「NVIDIA Safety in the Loop」。
• 閱讀公司部落格解釋文章：AI 如何解鎖 Level 4 自動駕駛。
• 開始學習開源的 Learn OpenUSD 課程。

透過訂閱 NVIDIA 新聞，加入 社群，並在 Instagram、LinkedIn、Medium 和 X 上關注 NVIDIA Omniverse，隨時了解最新資訊。