Claude Code 每日基準測試以追蹤效能衰退

背景

這篇討論源於 MarginLab 發布的 Claude Code 效能追蹤報告，指出在過去一個月中，該工具在 SWE-Bench-Pro 基準測試中的準確度出現了約 4% 的顯著下降。這項數據引發了開發者社群對於大型語言模型（LLM）是否存在「效能退化」或「後台調優導致變笨」的熱烈爭論，特別是針對 Anthropic 是否在未告知用戶的情況下，為了節省成本或因應高負載而調整了模型推論品質。

社群觀點

針對基準測試顯示的退化現象，社群內部的看法相當兩極。部分資深用戶認為這種數據下滑與體感一致，並懷疑 Anthropic 可能為了降低營運成本，在後台對模型進行了量化處理或縮減了推論時的運算資源。有網友分享觀察指出，模型在美國工作時段（即伺服器高負載期間）的表現明顯較差，甚至會出現邏輯斷層或重複程式碼，但在離峰時段則恢復水準。這種「隨負載變動的智慧水準」被部分人視為服務商為了維持系統可用性，而在品質上做出的隱性妥協。

然而，另一派觀點則對「退化說」持保留態度。有開發者認為，基準測試的數據波動可能僅源於 Claude Code 工具層的提示詞優化或工具調用邏輯的微調，而非底層模型本身的改變。他們指出，隨著用戶對工具愈發熟悉，往往會產生「蜜月期後的幻滅感」，或是因為專案複雜度隨開發進度增加，導致模型處理難度提升，進而產生模型變笨的錯覺。更有留言者幽默地提到，有時對模型「發火」或使用粗魯言辭反而能讓它跳出邏輯死循環，這暗示了提示詞工程的細微差異對結果影響極大。

爭論的焦點隨後轉向了基準測試的科學性。有專家指出，MarginLab 採用的每日採樣樣本數過少，在統計學上可能存在較大誤差，建議應擴大測試規模以排除隨機性。此外，關於 Anthropic 官方曾發布技術報告解釋效能問題多源於基礎設施臭蟲而非刻意降級的說法，社群中存在不少質疑聲浪。部分用戶認為企業的公關措辭過於圓滑，將「優化成本」包裝成「修復錯誤」，並呼籲 AI 服務商應提供更高的透明度，例如公開當前推論所使用的量化等級或運算強度，而非讓用戶在黑箱中猜測服務品質。

最後，社群達成了一種微妙的共識：無論模型是否真的退化，這種「不確定感」本身就對專業開發流程造成了困擾。當開發者無法確定工具的穩定性時，就必須花費更多精力去驗證 AI 生成的內容，這抵消了自動化帶來的效率提升。這場討論反映出開發者對於 AI 基礎設施穩定性的高度焦慮，以及對建立更嚴謹、抗干擾的第三方監測機制的迫切需求。

延伸閱讀

• Anthropic 官方針對效能波動的技術檢討報告：A postmortem of three infrastructure bugs
• 探討組織系統性錯誤與責任歸屬的文章：Possessed Machines
• 專門追蹤 AI 模型效能變化的分析平台：Artificial Analysis