全新 NVIDIA Nemotron 3 Super 為代理型 AI 提供高達 5 倍的吞吐量
NVIDIA 今日推出 Nemotron 3 Super，這是一款擁有 1200 億參數的開放模型，專為大規模運行複雜的代理型 AI 系統而設計，結合了先進的推理能力與高效的任務執行精準度。
NVIDIA 於今日推出了 Nemotron 3 Super，這是一款擁有 1,200 億參數的開放模型，具備 120 億個活動參數，旨在大規模運行複雜的代理式 AI（Agentic AI）系統。
該模型現已上市，結合了先進的推理能力，能為自主代理高效且高準確度地完成任務。
AI 原生公司： Perplexity 為其用戶提供 Nemotron 3 Super 用於搜尋，並將其作為 Computer 中 20 個編排模型之一。提供軟體開發代理的公司如 CodeRabbit、Factory 和 Greptile 正將此模型與其專有模型整合到 AI 代理中，以更低的成本實現更高的準確度。而 Edison Scientific 和 Lila Sciences 等生命科學與前沿 AI 機構，將利用此模型驅動其代理進行深度文獻檢索、數據科學和分子理解。
企業軟體平台： Amdocs、Palantir、Cadence、Dassault Systèmes 和 Siemens 等行業領導者正在部署並客製化該模型，以自動化電信、網路安全、半導體設計和製造領域的工作流程。
隨著企業從聊天機器人轉向多代理應用，他們面臨兩個限制。
第一是上下文爆炸。多代理工作流產生的 Token 數量比標準聊天高出 15 倍，因為每次互動都需要重新發送完整歷史記錄，包括工具輸出和中間推理過程。
在長任務中，這種上下文量會增加成本，並可能導致「目標漂移」，即代理失去與原始目標的一致性。
第二是思考稅。複雜的代理必須在每一步進行推理，但對每個子任務都使用大型模型會使多代理應用過於昂貴且遲緩，難以實際應用。
Nemotron 3 Super 擁有 100 萬 Token 的上下文窗口，允許代理在記憶體中保留完整的工作流狀態，防止目標漂移。
Nemotron 3 Super 樹立了新標準，在 Artificial Analysis 的效率和開放性排名中位居榜首，並在同規模模型中擁有領先的準確度。
該模型還助力 NVIDIA AI-Q 研究代理在 DeepResearch Bench 和 DeepResearch Bench II 排行榜上取得第一名，這些基準測試衡量 AI 系統在大型文件集中進行徹底、多步驟研究並保持推理連貫性的能力。
混合架構
Nemotron 3 Super 採用混合專家（MoE）架構，結合了三大創新技術，其吞吐量比之前的 Nemotron Super 模型高出 5 倍，準確度提升高達 2 倍。
- 混合架構： Mamba 層提供 4 倍的記憶體和運算效率，而 Transformer 層則驅動先進的推理。
- MoE： 在 1,200 億個參數中，推理時僅有 120 億個參數處於活動狀態。
- 潛在 MoE（Latent MoE）： 一項新技術，透過以一個專家的成本激活四個專家專家來生成下一個 Token，從而提高推理準確度。
- 多 Token 預測： 同時預測多個未來的單詞，使推理速度加快 3 倍。
在 NVIDIA Blackwell 平台上，該模型以 NVFP4 精度運行。這降低了記憶體需求，並使推理速度比 NVIDIA Hopper 上的 FP8 快 4 倍，且準確度無損。
開放權重、數據與配方
NVIDIA 以許可證授權發布 Nemotron 3 Super 的開放權重。開發者可以在工作站、資料中心或雲端部署並客製化該模型。
該模型是使用前沿推理模型生成的合成數據進行訓練的。NVIDIA 正在公布完整的方法論，包括超過 10 兆 Token 的預訓練和後訓練數據集、15 個強化學習訓練環境以及評估配方。研究人員可以進一步使用 NVIDIA NeMo 平台對模型進行微調或構建自己的模型。
在代理系統中的應用
Nemotron 3 Super 旨在處理多代理系統內部的複雜子任務。
軟體開發代理可以一次將整個程式碼庫加載到上下文中，實現端到端的程式碼生成和調試，無需進行文件分割。
在財務分析中，它可以將數千頁的報告加載到記憶體中，消除在長對話中重新推理的需求，從而提高效率。
Nemotron 3 Super 具有高準確度的工具調用能力，確保自主代理能可靠地導航龐大的函數庫，防止在高風險環境中發生執行錯誤，例如網路安全中的自主安全編排。
可用性
作為 Nemotron 3 系列的一部分，NVIDIA Nemotron 3 Super 可在 build.nvidia.com、Perplexity、OpenRouter 和 Hugging Face 上獲取。Dell Technologies 正將該模型引入 Hugging Face 上的 Dell Enterprise Hub，並針對 Dell AI Factory 的地端部署進行了優化，以推進多代理 AI 工作流。HPE 也將 NVIDIA Nemotron 引入其代理中心，以確保企業能大規模採用代理式 AI。
企業和開發者可以透過多個合作夥伴部署該模型：
- 雲端服務供應商：Google Cloud 的 Vertex AI 和 Oracle Cloud Infrastructure，並即將透過 Amazon Bedrock 登陸 Amazon Web Services 以及 Microsoft Azure。
- NVIDIA 雲端合作夥伴：Coreweave、Crusoe、Nebius 和 Together AI。
- 推理服務供應商：Baseten、CloudFlare、DeepInfra、Fireworks AI、Inference.net、Lightning AI、Modal 和 FriendliAI。
- 數據平台與服務：Distyl、Dataiku、DataRobot、Deloitte、EY 和 Tata Consultancy Services。
該模型以 NVIDIA NIM 微服務形式封裝，允許從地端系統到雲端的靈活部署。
訂閱 NVIDIA AI 新聞、加入社群，並在 LinkedIn、Instagram、X* 和 Facebook 上關注 NVIDIA AI，掌握代理式 AI、NVIDIA Nemotron 等最新動態。*
探索 自學影片教學與直播。