透過遊戲競技場推進AI基準測試

背景

Google DeepMind 近期推出了 Kaggle Game Arena，這是一個旨在透過各類遊戲對弈來評估大型語言模型（LLM）能力的基準測試平台。該平台涵蓋了從傳統棋牌到現代策略遊戲的多種環境，試圖在標準的靜態測試集之外，尋找更具動態性且能體現模型推理與決策能力的評估方式。

社群觀點

Hacker News 的討論首先聚焦於遊戲選擇的科學性與代表性。針對德州撲克（Poker）的基準測試，部分技術評論者指出，撲克具有極高的變異性，往往需要數十萬手的對局才能在統計上確定誰的策略更優，且目前平台為了測試效率而篩選出較強的手牌，反而導致模型較少出現「棄牌」等關鍵決策。此外，關於模型是否應該具備「原生」遊戲能力也引發了激烈爭辯。有觀點認為，如果 AI 已經具備強大的程式編寫能力，與其測試它如何透過思維鏈（CoT）下棋，不如讓它直接寫出一個專業的西洋棋引擎；然而，反對者反駁道，遊戲測試並非為了玩遊戲本身，而是作為一種「代理指標」，用來衡量模型在沒有外部工具輔助下的基礎推理與通用智慧。

另一個引發高度關注的議題是「狼人殺」（Werewolf）等涉及欺騙與社交博弈的遊戲。部分使用者對此感到不安，認為將這類需要說謊、操縱與誤導的遊戲納入基準測試，可能會引導 AI 實驗室開發出更具欺騙性的模型。雖然有人觀察到目前的模型在狼人殺中表現尚不穩定，甚至會出現主動承認身份的異常行為，但社群普遍擔心這類訓練會強化 AI 的負面特質。與此同時，也有討論提到 Gemini 在意圖分析與視覺任務上的表現優於競爭對手，但在實際應用中仍存在穩定性不足的問題。

關於通用人工智慧（AGI）的門檻，社群成員提出了多樣化的見解。有人認為真正的 AGI 應該具備「坐下來玩遊戲」的能力，即僅透過視覺與音訊輸入，就能在不經過預訓練的情況下完成現代 3D 遊戲。這引發了對 OpenAI 早期在 Dota 2 領域研究的回憶，當時的 AI 不僅擊敗了人類職業選手，甚至改變了人類玩家的戰術思維。討論最後延伸至更複雜的遊戲環境，如 NetHack 或 Star Citizen，認為這類具備高度物理化或開放世界特性的環境，才是測試模型自主性與現實世界適應能力的終極考場。

延伸閱讀

• CodeClash: 由 SWE-bench 團隊開發，讓模型編寫代理程式進行對戰的代碼基準測試。
• NetHack Challenge: 2021 年的 AI 挑戰賽報告，記錄了當時深度學習模型在複雜符號邏輯遊戲中的困境。
• Pluribus (Poker Bot): 臉書開發的撲克 AI，曾在六人對局中擊敗頂尖人類選手。
• Mafia Arena: 專門針對狼人殺/黑手黨遊戲的 AI 對戰平台。
• OpenAI Five: 關於 OpenAI 在 Dota 2 領域研究的歷史記錄。