新書：機器學習基準測試的新興科學

背景

這篇文章摘錄自 Moritz Hardt 的新書《機器學習基準測試的新興科學》（The Emerging Science of Machine Learning Benchmarks）。作者探討了機器學習領域中「基準測試」的弔詭地位：儘管基準測試存在數據過擬合、倫理偏見以及無法反映現實世界能力等諸多科學缺陷，但它卻是推動人工智慧近十年爆發式成長的核心動力。

社群觀點

在 Hacker News 的討論中，社群對於 Moritz Hardt 的學術產出表現出高度的信任與期待。有評論者指出，只要是 Hardt 撰寫的作品都具備極高的閱讀價值，並提到他曾在 MDS24 會議上針對此主題發表過精彩的主題演講，認為他不僅在學術研究上有深度，也是一位極具感染力的演說家。這種對作者個人學術聲望的認可，反映出該書探討的主題在當前機器學習社群中具有相當的權威性與指標意義。

針對基準測試為何在科學上漏洞百出卻依然有效的問題，社群成員提出了一種「系統性自我修正」的觀點。有評論認為，機器學習領域之所以能克服基準測試的濫用與過擬合問題，是因為整個研究生態系存在一種隱形的「正則化」機制。雖然單一研究可能會透過操弄數據或過度擬合來取得漂亮的基準分數，但這些方法往往無法在現實應用中生存。根據林迪效應（Lindy Effect），只有那些真正具備泛化能力、能被後續研究採用並在不同新基準測試中存活下來的方法，才會被社群留存。

此外，討論也觸及了基準測試在社群運作中的角色。雖然統計學上的保證在反覆測試下會失效，但社群整體的篩選機制彌補了單一指標的不足。當研究人員發現某種在基準測試上表現優異的模型無法推廣到其他場景時，該研究自然會被淘汰。因此，機器學習的進步並非僅僅依賴於特定的基準測試數據，而是取決於整個社群如何集體應對、驗證並過濾這些測試結果。這種觀點將基準測試視為一種動態的競爭過程，而非靜態的科學真理。

延伸閱讀

• MDS24 Keynote: Moritz Hardt 曾於 2024 年數學與數據科學會議（MDS24）針對此主題發表主題演講。