LamBench：用於評估人工智慧推理能力的 λ-演算基準測試

背景

LamBench 是一個針對 AI 模型設計的基準測試，由 Victor Taelin 開發，包含 120 個純 Lambda 演算（Lambda Calculus）編程問題。該測試要求模型使用名為 Lamb 的極簡語言，透過 Lambda 編碼的資料結構來實現特定演算法，並以單次嘗試（One-shot）的方式產出程式碼，最後通過所有測試案例才算過關。

社群觀點

在 Hacker News 的討論中，社群對於使用 Lambda 演算作為基準測試展現了高度興趣，認為這是一個能有效區分模型能力的「未污染」領域。由於 Lambda 演算極度抽象且缺乏傳統編程語言的語法糖，模型難以僅靠記憶訓練數據中的程式碼片段來過關。然而，針對測試方法論，不少評論者提出了質疑。有觀點指出，LamBench 採用的單次嘗試測試法忽略了大型語言模型的機率本質，若要準確評估這類非決定性模型，應進行多次採樣並觀察其分布表現，而非僅憑一次結果定生死。目前模型在這些任務上表現得「穩定地錯誤」，正說明了任務的挑戰性。

關於模型排名的爭論也十分激烈。部分用戶注意到 GPT-5.5 在初期測試中竟然落後於 GPT-5.4，這引發了對模型退化或測試環境變動的疑慮，隨後有補充資訊指出，在更換 API 調用方式後，GPT-5.5 已重回領先地位。此外，社群對於「SOTA 殺手」的行銷語言感到疲迷。許多評論者認為，儘管開源模型或小型模型在特定任務上表現優異，但在面對 LamBench 這種全新且未經基準測試的任務時，頂尖實驗室（如 OpenAI 與 Anthropic）的旗艦模型依然保有明顯的領先優勢。這種差距往往被過度炒作的行銷所掩蓋，導致使用者對小型模型的預期過高。

另一派觀點則從實用主義出發，認為即便開源模型在絕對智力上稍遜一籌，但其低廉的成本與完全可控的特性，讓開發者能透過增加嘗試次數或調整提示詞來彌補不足。對許多工程師而言，AI 的價值不在於是否能解決最難的 Lambda 演算問題，而在於工具鏈與開發環境的整合。與其追求更強大的模型，不如開發更好的輔助工具，讓 AI 扮演「顧問」或「橡皮鴨」的角色，協助人類理解複雜的遺留代碼。最後，也有人好奇為何所有模型在實現快速傅立葉變換（FFT）等特定演算法上集體失敗，這暗示了即便演算法邏輯簡短，但在純 Lambda 演算的限制下，其複雜度仍超出了當前 AI 的邏輯推理極限。

延伸閱讀

• LamBench GitHub 儲存庫：收錄 120 個純 Lambda 演算問題與測試環境。
• Reliably Incorrect：關於模型在特定邏輯任務中穩定出錯的分析文章。
• HigherOrderCO：探討交互組合子（Interaction Combinators）與並行運算實踐的相關技術網站。