兩種加速大型語言模型推理的不同技巧

背景

Anthropic 與 OpenAI 近期分別為其頂尖模型推出了快速模式，但兩者的技術路徑大相徑庭。Anthropic 宣稱其 Fast Mode 在維持相同模型能力的同時提升了 2.5 倍速度，而 OpenAI 的速度提升則高達 15 倍，但代價是使用了能力稍弱的衍生模型 GPT-5.3-Codex-Spark。

社群觀點

Hacker News 的討論集中在對原文技術假設的質疑與修正。許多專業開發者指出，原作者將 Anthropic 的加速歸因於低批次處理（low-batch-size）的說法存在基礎性的誤解。評論者認為，在 Anthropic 這種規模的服務中，請求量極高，批次填充的延遲幾乎可以忽略不計，且現代推論引擎多採用連續批次處理技術，並不存在乘客等公車的問題。更有可能的解釋是 Anthropic 將快速請求導向了頻寬更高的最新一代硬體（如 GB200），或是採用了投機採樣（Speculative Decoding）技術，利用小型草稿模型預測輸出，再由大模型驗證，這能在不犧牲品質的情況下顯著提升吞吐量。

針對 OpenAI 的做法，社群則對 Cerebras 晶片的應用展開了深度辯論。雖然原作者強調 Cerebras 擁有 44GB 的超大片上 SRAM 是關鍵，但硬體專家指出，單一晶片的容量仍不足以容納完整的旗艦模型。爭論點在於模型分片（Sharding）的效率：有人認為跨晶片通訊會抵消 SRAM 的速度優勢，但也有反駁意見指出，推論時僅需傳遞隱藏狀態向量，頻寬需求遠低於訓練階段，因此透過多顆晶片串聯達成 1000 tokens/s 是技術上可行的。此外，部分用戶對於 OpenAI 推出較弱模型來換取速度感到不滿，認為這反映了該公司在投資者壓力下轉向成本控制，而 Anthropic 則顯得更有餘裕去追求極致的效能表現。

另一個有趣的爭論點在於用戶對模型品質的感知。有留言者分享了在 AI 新創公司工作的經驗，指出用戶往往無法準確辨識模型退化，甚至在模型完全沒變動的情況下也會產生幻覺式的抱怨。這暗示了 OpenAI 推出 Spark 模型的策略風險：如果用戶無法在直覺上察覺細微的能力下降，那麼極致的速度提升將成為巨大的競爭優勢。然而，也有觀點認為對於複雜的代理人任務，20% 的錯誤率提升所造成的除錯時間損失，將遠超過模型生成速度所節省的時間。

延伸閱讀

• Hugging Face 關於連續批次處理（Continuous Batching）的技術部落格，解釋了現代推論如何優化吞吐量。
• arXiv 論文：Parallel Distill and Refine，探討了透過並行軌跡提升模型推理速度與智慧的潛在路徑。
• Cerebras 官方定價與模型支援頁面，展示了其在處理大型模型時的實際效能數據。