我針對 Claude Code 的 Caveman 插件與簡短指令進行了基準測試

背景

這篇文章探討了 Claude Code 平台上熱門的壓縮插件 Caveman 是否真具備其宣稱的優勢。作者 Max Taylor 透過 24 個涵蓋 Bug 診斷、架構權衡與安全操作的提示詞進行基準測試，對比了 Caveman 的多種模式與簡單的「be brief」（簡短一點）指令。結果顯示，兩者在回答品質與節省 Token 的表現上幾乎不相上下，這引發了關於 AI 提示工程插件實用性與必要性的廣泛討論。

社群觀點

在 Hacker News 的討論中，社群對於這類壓縮插件的看法呈現兩極化，且充滿了對 AI 互動本質的思辨。許多開發者認為這類插件帶有「蛇油」或「提示工程順勢療法」的色彩，認為在模型迭代如此迅速的今天，試圖透過複雜的提示詞規則來勝過價值數十億美元的統計模型往往是徒勞的。部分評論指出，Caveman 這種刻意模仿原始人說話的方式雖然有趣，但在實際工作中可能顯得愚蠢且令人煩躁，甚至有使用者直言，電腦應該是為了提供舒適感而存在，而非強迫使用者與一個「說話像白痴」的系統互動。

然而，也有觀點為 Caveman 辯護，認為其價值不在於單純的壓縮率，而是在於輸出的結構化與一致性。作者本人與部分留言者提到，Caveman 具備自動識別安全風險的功能，能在涉及破壞性操作時自動放寬壓縮限制以確保安全，這是簡單的「be brief」難以實現的精細控制。此外，透過掛鉤機制在長對話中持續注入規則，能有效防止模型在對話後期變得囉唆，這種持久性是單次提示詞無法比擬的。

關於 LLM 的推理機制，社群中出現了一場有趣的爭論。有意見認為，詳細的輸出過程是模型推理鏈條中不可或缺的一部分，過度壓縮輸出可能會導致後續對話的上下文品質下降，進而影響模型處理複雜任務的能力。對此作者澄清，Caveman 僅壓縮最終輸出而非推理過程，但反對者反駁，對話歷史中的推理細節缺失仍會對長程推理造成負面影響。最後，不少人也對文章本身的寫作風格提出批評，認為其過於平滑、節奏過於規整，顯然是經過 Claude 過度編輯後的產物，反而失去了人類寫作的韻味與真實感，這也諷刺地呼應了過度依賴 AI 調整輸出的副作用。

延伸閱讀

在討論過程中，有留言者分享了關於模型輸出變異性的研究，例如 Adam Sohn 針對 Lambda 微積分任務進行的多次試驗分析，展示了同一個模型在相同提示詞下可能產生巨大的 Token 數量差異。此外，也有人提到 Grug 這種更具架構思維的風格，或是建議利用輕量級模型將查詢轉換為文言文等極致壓縮手段。相關的測試框架與數據已在 GitHub 的 cc-compression-bench 專案中開源。