為什麼我們停止使用那些行之有效的數學方法
這篇文章探討了為什麼決策理論和貝氏方法在深度學習熱潮中被邊緣化,並將此轉變歸因於路徑依賴、學科孤島以及無需明確設定目標的便利性。我認為雖然深度學習目前佔據主導地位,但隨著純模式匹配的局限性日益顯現,技術上更優越的機率方法正開始重新浮現。
背景
Guy Freeman 在其文章中指出,當前產業熱衷的「AI Agent」本質上只是行銷包裝後的流程圖,而真正能實現決策優化的數學方法早在 1960 年代就已存在。他認為,由於路徑依賴、學科隔閡以及對「不需明確定義目標」的便利性追求,導致決策理論與貝氏推論等嚴謹的數學工具在深度學習浪潮中被邊緣化。
社群觀點
Hacker News 的討論圍繞著「技術優劣」與「實踐成果」之間的鴻溝展開。部分支持者認同作者的觀察,認為當前的 AI 發展更像是煉金術,缺乏堅實的數學基礎,並指出深度學習雖然在經驗科學上取得巨大成功,但在處理不確定性與因果推論時,其理論基礎顯得相當薄弱。有留言者補充,符號 AI 時代的失敗,部分原因在於當時缺乏系統性的不確定性推理方法,而現代深度學習雖然採取了捷徑,卻可能在精確度與適應性上遇到瓶頸。
然而,反對聲音則直指這篇文章忽視了著名的「苦澀教訓」(The Bitter Lesson)。批評者認為,AI 歷史一再證明,試圖將人類知識或複雜的數學架構「手工編織」進系統,最終都會敗給利用大規模算力進行暴力破解的通用算法。他們指出,並非人們放棄了「有效的數學」,而是那些舊方法在處理大規模數據與複雜任務時,表現遠不如深度學習。一位評論者犀利地指出,作者所謂的「其他方法依然有效」存在邏輯漏洞,因為在 ImageNet 等關鍵競賽中,深度學習是以壓倒性優勢勝出,而非僅僅因為資金或名氣的轉移。
此外,社群中也出現了對作者動機的質疑。有網友發現作者在推廣其基於貝氏建模的 GitHub 專案,並批評文章風格帶有強烈的 AI 生成感。爭論的核心在於:一個真正的「代理人」(Agent)究竟應該具備可量化的信念與目標函數,還是只要能透過大規模訓練產生「正確的直覺」即可。雖然有人欣賞作者試圖引入貝氏學習來追蹤工具效能的嘗試,但多數人仍認為,在沒有拿出超越當前大型語言模型的實作成果前,這些關於「正確數學」的論述僅能停留在假設階段。
延伸閱讀
在討論中,網友特別提到了 Rich Sutton 的經典文章《苦澀教訓》(The Bitter Lesson),該文探討了為何通用計算最終總是勝過人類設計的啟發式方法。另外,留言也提及了早期醫療診斷系統 MYCIN,以此說明專家系統在處理聯合機率分布時面臨的指數級複雜度難題。對於想了解作者實踐理念的讀者,留言中也指出了其開發的開源專案 Credence,該專案宣稱利用貝氏學習來優化 Agent 的工具調用決策。