新創公司 Gimlet Labs 以驚人且優雅的方式解決 AI 推論瓶頸

史丹佛大學兼任教授、且曾成功帶領公司退出（Exit）的創辦人 Zain Asgar，剛為其新創公司籌集了 8,000 萬美元的 A 輪融資，該公司以精明的方式解決了 AI 推論瓶頸問題。此輪融資由 Menlo Ventures 領投。

這家名為 Gimlet Labs 的公司開發了其聲稱是全球首個且唯一的「多晶片推論雲」（multi-silicon inference cloud），這是一套允許 AI 工作負載同時在多種不同類型硬體上運行的軟體。它可以將 AI 應用程式的工作分配到傳統 CPU、針對 AI 優化的 GPU 以及高記憶體系統中運行。

Asgar 告訴 TechCrunch：「我們基本上可以在任何可用的不同硬體上運行。」

領投者 Menlo 的 Tim Tully 在一篇關於此次融資的部落格文章中寫道，單一代理（Agent）可能會串聯多個步驟，而每個步驟「需要不同的硬體：推論受限於算力（compute-bound）；解碼受限於記憶體（memory-bound）；而工具調用則受限於網路（network-bound）。」

目前還沒有任何一款晶片能全方位兼顧，但隨著新硬體的推出以及舊款 GPU 的重新部署，「多晶片機群已經準備就緒——只是缺少一個讓其運作的軟體層。」這正是 Tully 認為 Gimlet Labs 所提供的解決方案。

如果目前的「部署更多算力」趨勢持續下去，麥肯錫（McKinsey）估計到 2030 年，數據中心的支出將達到近 7 兆美元。Asgar 表示，應用程式對已部署現有硬體的使用率「僅在 15% 到 30% 之間」。

他說：「另一種思考方式是：你正在浪費數千億美元，因為你只是讓資源閒置。我們的目標基本上是試圖找出如何讓 AI 工作負載在今天就能比以往提高 10 倍的效率。」

因此，他和他的共同創辦人 Michelle Nguyen、Omid Azizi 以及 Natalie Serrino 著手構建編排軟體（orchestration software），將代理型工作負載切片，以便它們可以同時分佈在各種硬體上。

Gimlet Labs 聲稱，在相同的成本和功耗下，它能可靠地將 AI 推論速度提高 3 到 10 倍。Gimlet 表示，它甚至可以對底層模型進行切片，使其跨不同架構運行，並為模型的每個部分使用最合適的晶片。

該公司已與晶片製造商 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix 建立合作關係。

Gimlet 的產品以軟體形式或透過其自有 Gimlet Cloud 的 API 提供，並非針對普通的 AI 應用開發者，而是面向大型 AI 模型實驗室和數據中心。

該公司於 10 月正式發表，並表示一出發即擁有八位數的營收（即至少 1,000 萬美元）。Asgar 表示，他的客戶群在過去四個月中增長了一倍多，目前包括一家主要的模型製造商和一家極大型的雲端運算公司，但他拒絕透露具體名稱。

這些共同創辦人此前曾在 Pixie 合作過，這是一家開發 Kubernetes 開源觀測工具的新創公司。Pixie 在 2020 年被 New Relic 收購，當時距離其完成由 Benchmark 領投的 900 萬美元 A 輪融資僅兩個月。（Pixie 的技術現在是監管 Kubernetes 的開源組織的一部分。）

在大約一年前 Asgar 偶然遇到 Tully，並獲得了史丹佛大學教授的天使投資後，創投公司開始紛紛致電。發表後，一份投資條款清單（term sheet）送到了 Asgar 的桌上。他說，當創投界聽說 Asgar 正在考慮邀約時，「我們收到了大量的資金湧入」，該輪融資很快就獲得了超額認購。

加上之前的種子輪，這家新創公司目前已累計籌集了 9,200 萬美元，投資者包括紅杉資本（Sequoia）的 Bill Coughran、史丹佛大學教授 Nick McKeown、VMware 前執行長 Raghu Raghuram 以及 Intel 執行長陳立武（Lip-Bu Tan）等一眾天使投資人。公司目前擁有 30 名員工。

其他投資者還包括領投種子輪的 Factory、Eclipse Ventures、Prosperity7 和 Triatomic。