開放模型引發人工智慧熱潮，NVIDIA Jetson 將其在邊緣端化為現實

Cat 306 CR 小型挖掘機重量不到 8 噸，可裝入標準貨櫃。它是承包商在作業現場狹窄時租用的機器：例如地基附近的公用事業溝渠，或人口稠密社區的地下室挖掘。

駕駛艙大約只有電話亭大小。操作員坐在控制裝置旁，手握兩支操縱桿，每隻手負責多種功能。學習需要時間，而要提高速度則需要更長的時間。

在今年早些時候的 CES 上，那台機器回答了問題。

在演示中，Cat AI 助手運行在 NVIDIA Jetson Thor 上，這是一個專為工業和機器人系統中的即時推理而構建的邊緣 AI 平台。NVIDIA Nemotron 語音模型用於快速且準確的自然語音交互。Qwen3 4B 透過 vLLM 在本地提供服務，負責解釋請求並以低延遲生成回應，無需雲端連接。

除了企業創新，開源模型還為開發者自由構建和實驗開啟了新的可能性。在 NVIDIA Jetson 上運行 OpenClaw，讓開發者能夠在邊緣創建私有、全天候在線的 AI 助手——且無需應用程式介面（API）成本，並能完全保護數據隱私。

所有 Jetson 開發者套件都支持 OpenClaw，提供了在 20 億到 300 億參數的開源模型之間切換的靈活性。藉由在本地運行的前沿級 AI 助手，用戶可以驅動晨間簡報、自動化日常任務、執行代碼審查並控制智慧家居系統——這一切都是即時完成的。

從雲端到邊緣

在最近的大部分歷史中，開源模型都存在於最容易支援它們的地方。

它們運行在數據中心，由彈性計算和持久網絡支撐。雲端部署在延遲和持續計算支出方面帶來的成本，會隨著每一次查詢而擴展。

物理系統則針對其他目標進行優化。低延遲，因為機器需要與人和環境互動。有限的功耗，因為設備有嚴格的限制。以及行為的一致性，因為變異性會引入風險。

還有供應問題。記憶體短缺推高了整個行業的成本。Jetson 將計算和記憶體整合在系統模組（system-on-module）中，加速了客戶的硬體設計，並使採購和驗證比使用離散組件的方法更容易。

隨著模型變得更加高效，開發者也開始提出不同的問題。不再是哪個模型在孤立狀態下表現最好，而是哪裡適合運行。

答案越來越多是「在設備上」，從入門級生成式 AI 模型的 Jetson Orin Nano 8GB 開始。

大規模構建自主物理 AI 系統

對於物理 AI 系統，生成式 AI 模型正在擴展可能性。

卡特彼勒（Caterpillar）開發中的駕駛艙內 Cat AI 助手，在本地運行語音和語言模型以及可信的機器上下文，支援操作員指導和安全功能。

在 CES 上，Franka Robotics 展示了這在機器人領域的應用。該公司的 FR3 Duo 雙臂系統在機載端到端運行 NVIDIA GR00T N1.6 模型，從感知到動作，無需任務腳本。策略在本地執行。

在機器人研究中，來自 NVIDIA GEAR 實驗室的 SONIC 項目在超過 1 億幀的動作捕捉數據上訓練人形控制器，然後將生成的策略部署在物理機器人上，其運動學規劃器在 Jetson Orin 上運行，每次循環約 12 毫秒。策略迴路以 50 Hz 運行。一切都在機載執行。

這種模式也延伸到了開發者社群。來自伊利諾大學厄巴納-香檳分校（UIUC）SIGRobotics 俱樂部的團隊在運行 GR00T N1.5 模型的 Jetson Thor 上構建了一個雙臂抹茶製作機器人。它在 NVIDIA 具身智能黑客松中獲得了第一名。

這種研究勢頭在紐約大學（NYU）機器人與具身智能中心得以延續。該小組最近在 Jetson Thor 上運行了其 YOR 機器人，利用 NVIDIA Blackwell 計算來處理 AI 驅動運動所需的大量處理。早期結果顯示，YOR 在執行複雜的取放任務時，對新物體具有更好的泛化能力，對場景變化也更具魯棒性，加速了其對烹飪和洗衣服等各種家務任務的就緒程度。

獨立研究人員也發現了同樣的情況。Hugging Face 的多模態研究負責人 Andrés Marafioti 在 Jetson AGX Orin 上構建了一個代理式 AI 系統，該系統可以在不同模型之間路由任務並安排自己的工作。深夜，代理給他發了一條訊息：去睡覺吧，一切都會在早上準備好。

來自 Collabnix 社群的開發者 Ajeet Singh Raina 展示了如何在 NVIDIA Jetson Thor 上運行 OpenClaw，作為一個 24/7 全天候運行的個人 AI 助手。這種設置允許對用戶自己的數據進行私有大語言模型推理，同時系統通過本地網關管理電子郵件和日曆。

Jetson 是新標準

NVIDIA Jetson 已成為在邊緣運行開源模型的通用平台。

它支援廣泛的開源模型和 AI 框架，為開發者在邊緣處理幾乎任何生成式 AI 工作負載提供了靈活性。

模型基準測試可在 Jetson AI Lab 獲得，同時還有來自開源模型社群的教程。Jetson Thor 在所有主要生成式 AI 模型中提供領先的推理性能。

Gemma： 基於 Google 的 Gemini 研究，Gemma 3 是 Jetson 的多功能主力。它開箱即用即具備多模態能力，這意味著它可以用 140 多種語言進行視覺觀察和交談。在 Jetson Thor 上，它能處理龐大的 128K 上下文窗口。這使其非常適合需要記住長串複雜或多步驟指令的機器人。

gpt-oss-20B： 這款來自 OpenAI 的模型通過在可於 Jetson Thor 和 Orin 上本地運行的模型中提供接近最先進的推理性能，降低了部署先進 AI 的門檻，實現了高成本效益的推理。

Mistral AI： 新的 Mistral 3 開源模型系列為開發者和企業提供了行業領先的準確性、效率和定制能力。該系列包括從 3B 到 14B 的小型密集模型，速度快且智能程度驚人。Jetson 開發者可以在 NVIDIA Jetson Thor 上使用 vLLM 容器，在單個併發下實現每秒 52 個 token，在 8 個併發下可擴展至每秒 273 個 token。

NVIDIA Cosmos：這款領先的開源推理視覺語言模型使機器人和 AI 代理能夠像人類一樣在物理世界中觀察、理解和行動。8B 和 2B 模型均可在 Jetson 上運行，提供先進的時空感知和推理能力。

NVIDIA Isaac GR00T N1.6 是一款用於通用機器人技能的開源視覺語言動作模型（VLA）。開發者可以使用它來構建能夠感知環境、理解指令並在各種任務、環境和形態中採取行動的機器人。在 Jetson Thor 上，完整的 GR00T N1.6 流水線在機載執行，提供即時感知、空間意識和響應式行動。

NVIDIA Nemotron：一個由開源模型、數據集和技術組成的系列，賦能用戶構建高效、準確且專業的代理式 AI 系統。它專為高級推理、編碼、視覺理解、代理任務、安全、語音和信息而設計。Nemotron 3 Nano 9B 模型在 Jetson Orin Nano Super 上配合 llama.cpp 運行，性能可達每秒 9 個 token。

PI 0.5： 來自 Physical Intelligence 的 VLA 模型，使機器人能夠理解指令並自主執行複雜的現實世界任務，具有強大的泛化能力和即時適應性，而 NVIDIA Jetson Thor 提供每秒 120 個動作 token，以驅動響應迅速、低延遲的物理 AI 部署。

Qwen 3.5： 來自阿里巴巴的這個模型系列（包括最新的 Qwen 3.5 版本）提供了密集模型和混合專家模型（MoE）的組合，具有強大的推理、編碼、多模態理解和長上下文性能。Jetson Thor 在 Qwen 模型（如 Qwen 3.5-35B-A3B 模型）上提供優化性能，推理速度達每秒 35 個 token，使即時交互成為可能。

任何開發者都可以微調這些模型以創建專業的物理 AI 代理，並將其無縫部署到物理 AI 系統中。NVIDIA Jetson 平台支援來自 NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang 等流行的 AI 框架。

在 Jetson 上體驗開源模型

開發者可以深入研究 Hugging Face 的教程——包括在 Jetson 上部署開源視覺語言模型——並觀看最新的直播。從本教程中學習並在 NVIDIA Jetson 上運行 OpenClaw。

參加下個月的 GTC 2026，親眼見證這一切。NVIDIA 將展示開源模型如何從數據中心進入物理世界中運行的機器，包括一場關於工業自主未來的小組討論。

觀看 NVIDIA 創始人兼執行長黃仁勳的 GTC 主題演講，並探索物理 AI、機器人和視覺 AI 分會場。

卡特彼勒（Caterpillar）技術亮點

• NVIDIA Jetson Thor： 用於工業和機器人系統即時推理的邊緣 AI 平台
• NVIDIA Riva： 使用 Parakeet ASR 和 Magpie TTS 的語音 AI 框架
• Qwen3 4B： 用於意圖解析和回應生成的緊湊型 LLM
• vLLM： 在邊緣提供 LLM 推理服務的高效運行環境
• CatHelios： 提供可信機器上下文的統一數據平台
• NVIDIA Omniverse： 用於工業工作流的數位孿生和模擬框架