印度 AI 實驗室 Sarvam 推出新模型，重金押注開源 AI 的可行性
新產品陣容包括 300 億和 1050 億參數模型、文字轉語音模型、語音轉文字模型，以及用於解析文件的視覺模型。
主題
最新消息
AI
亞馬遜 (Amazon)
應用程式 (Apps)
生物技術與健康
氣候
雲端運算
商業
加密貨幣
企業
電動車 (EVs)
金融科技 (Fintech)
募資
裝置 (Gadgets)
遊戲
政府與政策
硬體
裁員
媒體與娛樂
Meta
微軟 (Microsoft)
隱私
機器人
安全
社交
太空
新創公司
TikTok
交通
風險投資
更多來自 TechCrunch
團隊
活動
Startup Battlefield
StrictlyVC
電子報
播客 (Podcasts)
影片
合作夥伴內容
TechCrunch 品牌工作室
Crunchboard
聯繫我們
印度 AI 實驗室 Sarvam 的新模型是對開源 AI 可行性的一次重大押注
印度 AI 實驗室 Sarvam 週二發表了新一代大型語言模型，該公司押注體積較小、效率較高的開源 AI 模型將能夠從其規模大得多的美國和中國競爭對手所提供的昂貴系統中奪取部分市場份額。
這次在紐德里舉行的「印度 AI 影響力峰會」（India AI Impact Summit）上宣布的發布活動，符合紐德里當局推動減少對外國 AI 平台依賴，並針對當地語言和使用場景量身定制模型的政策。
Sarvam 表示，新產品陣容包括 300 億和 1050 億參數的模型、一個文字轉語音模型、一個語音轉文字模型，以及一個用於解析文件的視覺模型。這標誌著該公司在 2024 年 10 月發布的 20 億參數 Sarvam 1 模型基礎上的大幅升級。
Sarvam 指出，30B 和 105B 參數模型採用了混合專家（mixture-of-experts）架構，每次僅啟動總參數的一小部分，從而顯著降低了運算成本。30B 模型支援 32,000 個 token 的上下文窗口，旨在用於即時對話；而較大的模型則提供 128,000 個 token 的窗口，用於處理更複雜、多步驟的推理任務。
Sarvam 表示，這些新的 AI 模型是從零開始訓練的，而非在現有的開源系統上進行微調。該公司稱，30B 模型是在約 16 兆個文本 token 上進行預訓練的，而 105B 模型則是在涵蓋多種印度語言的數兆個 token 上訓練而成的。
這家新創公司表示，這些模型旨在支援即時應用，包括印度語言的語音助手和聊天系統。
該公司表示，這些模型是利用印度政府支持的「IndiaAI Mission」提供的運算資源進行訓練的，並得到了數據中心營運商 Yotta 的基礎設施支援以及 Nvidia 的技術支援。
Sarvam 高層表示，公司計劃採取穩健的方式來擴展其模型規模，重點關注實際應用而非單純的體積。
「我們希望在擴展規模時保持謹慎，」Sarvam 共同創辦人 Pratyush Kumar 在發布會上表示。「我們不想盲目地擴大規模。我們希望了解在大規模情況下真正重要的任務，並針對這些任務進行開發。」
Sarvam 表示計劃將 30B 和 105B 模型開源，但並未具體說明訓練數據或完整的訓練代碼是否也會公開。
該公司還概述了開發專業 AI 系統的計劃，包括專注於編碼的模型，以及名為「Sarvam for Work」的企業工具產品，和名為「Samvaad」的對話式 AI 代理平台。
Sarvam 成立於 2023 年，已籌集超過 5000 萬美元的資金，其投資者包括 Lightspeed Venture Partners、Khosla Ventures 和 Peak XV Partners（原紅杉資本印度）。
相關文章