回應titotal對我們AI 2027時間線模型的批評

前言

今年六月，一位名為 titotal 的 Substack/LessWrong/EA 論壇用戶撰寫了《對 AI 2027 糟糕時間線模型的深度批判》（A deep critique of AI 2027’s bad timeline models）。他們所批判的原始模型可以在此處找到，下方則提供簡要概述。[1]

簡而言之，我們不同意 titotal 的大部分批評。雖然他們指出了一些錯誤（對此我們表示感謝），但總體而言，我們認為他們指出的問題並不足以讓該模型被歸類為「糟糕」。在本文中，我們將解釋原因。

雖然我們最初透過評論進行了回應，但我們希望能做出更深入的回覆。對於延遲回覆我們深感抱歉；由於我們計劃近期發布一個新的時間線 + 啟動（takeoff）模型，因此認為現在是完善並發表我們想法的好時機。

我們感謝 titotal 為這篇評論投入的時間和精力。為了感謝他們指出一些程式錯誤和失誤，我們提供了 500 美元的酬勞。根據 titotal 的批評，我們對模型做出的主要修正會將「超人類工程師」（Superhuman Coder, SC）出現時間的中位數推遲約 9 個月。儘管我們即將發布的模型代表了對舊模型的重大結構調整，但 titotal 提出的一些考量在開發過程中仍具有參考價值。

以下我們將針對 titotal 幾種最重要形式的批評進行回應：

• 哪些類型的未來學是有用的
• 對我們模型的具體批評
• 對我們溝通方式的批評

AI 2027 時間線模型簡要概述

我們的模型於 2025 年 4 月發布。引用自我們的報告：

我們預測領先的 AGI 公司何時會在內部開發出超人類工程師（SC）：這是一個 AI 系統，能夠完成頂尖 AGI 公司工程師所做的任何編碼任務，且速度更快、成本更低。

我們首先展示方法 1：時間跨度延伸（time-horizon-extension），這是一個相對簡單的模型，透過延伸 METR 報告中 AI 完成任務所需時間（人類工時）不斷增加的趨勢，來預測 SC 何時到來。

接著我們展示方法 2：基準測試與差距（benchmarks-and-gaps），這是一個更複雜的模型，從預測 AI 研發基準測試（RE-Bench）的飽和點開始，然後計算從該系統發展到能處理頂尖 AGI 公司現實任務的系統需要多長時間。

以下是我們的原始結果表：

	Eli（AI 2027 作者）的 SC 預測（中位數，80% CI）	Nikola[2] 的 SC 預測（中位數，80% CI）	FutureSearch 綜合預測（中位數，80% CI） (n=3)
時間跨度延伸模型	2027 (2025 至 2039)	2027 (2025 至 2033)	N/A
基準測試與差距模型	2028 (2025 至 >2050)	2027 (2025 至 2044)	2032 (2026 至 >2050)
綜合考量預測（調整模型外因素後）	2030 (2026 至 2050) [發布 3 天後將第 90 百分位數修改為 >2050]	2028 (2026 至 2040)	2033 (2027 至 >2050)

這是標題圖表：

這是時間跨度延伸預測的圖表，我們將在本文中重點討論（titotal 也主要針對此部分）：

哪些類型的未來學是有用的？

摘要

以下我們總結了對 titotal 主要批評的回應，即我們的未來學風格與決策無關。

批評： 人們不應該根據缺乏強大概念證明或經驗驗證的模型來做人生決定。

回應： AI 的未來本質上比物理學家建模的現象更具不確定性，也更難被理解。但建模的替代方案是「憑感覺」（vibes），我們認為「感覺 + 建模」優於單純「憑感覺」。在 AI 2027 的第一頁「為什麼這有價值？」方框中，我們以台灣入侵兵棋推演為類比，解釋並證明了我們項目的合理性：即使我們無法精確預測未來戰爭的走向，我們仍然可以嘗試，並藉此做好更充分的準備，減少對發生之事的驚訝。

批評： AI 2027 的時間線模型是「糟糕的」（如 titotal 文章標題所述）。

回應： 我們同意原始模型存在重要的局限性和一些明顯的錯誤。在處理了 titotal 和 Peter Johnson 指出的所有錯誤和改進建議後，Eli 參數下的 SC 中位數從 2027 年 8 月推遲到了 2029 年 11 月——這是一個實質性的變化，但到 2027 年底仍保留了顯著的機率質量（從 ~55% 降至 ~30%）。這種情況是正常的。AI 的進展本質上難以預測，相關文獻也才剛起步。如果我們希望文獻有所進步，我們就必須做出貢獻，這正是我們正在做的事情。

在缺乏強大概念或經驗支持下的決策

titotal 的批評： 人們不應該根據缺乏強大概念證明或經驗驗證的模型來做人生決定。

部分引用：

「我是一名物理學家，不是理性主義者（Rationalist）。在我的世界裡，你通常希望模型在根據其預測做出決策之前，具有強大的概念證明或現有數據的經驗驗證：而這兩者都失敗了。」

「我不會提出另一個替代模型。如果我試圖解讀 AI 未來的茶葉占卜，它可能也會非常不穩固……這些信念很難轉化為精確的年度預測，我認為這樣做只會鞏固過度自信，並在現實比你想像的更怪異時讓人措手不及。」

「我建議尋找對 AI 實際發展路徑具有極大不確定性之韌性的計劃，並避免那些如果你被證明大錯特錯時會讓你自食惡果的行動。」

我們的回應： 我們從未說過人們應該完全信任我們的模型；我們自己也納入了其他證據來源。AI 的未來本質上比物理學家建模的現象更具不確定性，也更難被理解。但建模的替代方案是「憑感覺」，我們認為「感覺 + 建模」優於單純「憑感覺」。我們仍然認為，儘管不完美，我們原始的時間線模型仍是目前最好的模型之一。此外，我們覺得讓 AI 2027 的讀者了解為什麼我們認為 2027 年是 AGI 到來的一個合理年份是很重要的；因此，我們認為分享我們一直在做的建模工作非常重要。最後，關於 AI 時間線和啟動建模的文獻雖然規模較小但正在增長，我們認為為其做出貢獻是有益的，並計劃繼續這樣做。透過這種方式，模型可以隨著時間推移變得更加嚴謹和準確。雖然有許多因素我們尚未考慮進去，但基本上所有有用的模型都是如此，我們認為如果沒有人發布 AI 時間線預測，僅僅是因為被需要考慮的因素數量嚇倒，那將是一件遺憾的事。

在 AI 2027 的第一頁「為什麼這有價值？」方框中，我們以台灣入侵兵棋推演為類比，解釋並證明了我們項目的合理性：即使我們無法精確預測未來戰爭的走向，我們仍然可以嘗試，並藉此做好更充分的準備，減少對發生之事的驚訝。是的，絕對地，美國和中國軍隊應該根據兵棋推演和模擬中發生的情況來做出決策。

我們也建議尋找對 AI 實際發展路徑具有極大不確定性之韌性的計劃，並避免那些如果你被證明大錯特錯時會讓你自食惡果的行動。[3] 在我們看來，鑑於像我們這樣的建模努力、專家調查、公司員工的觀點等證據，這包括制定對短 AGI 時間線具有韌性的計劃——特別是針對像 AI 2027 這樣情境的計劃。

關於為什麼我們的模型應該為決策提供參考的細節

以 Eli 的第一人稱視角撰寫

無論是隱含還是明確，我們都無法避免必須做出依賴於 AGI 時間線的決策。例如，你要不要去讀法學院？這是一項非常高的前期成本，回報則體現在你剩餘的職業生涯中。如果 AGI 即將到來，那麼去讀法學院的意義就比 AGI 遙不可及時要小。你可以明確地猜測 AGI 時間線的機率，並將該猜測納入你的決策（「我認為有 10% 的機率它會在我讀法學院期間發生，那樣我會後悔去讀；但如果它在法學院畢業後發生，我想我還是會很高興去了，而且機率夠低，總體而言我認為我應該去」）……或者你可以拒絕給出數字，並說些類似「我應該忽略像 AGI 這樣投機性的考量」（這相當於隱含地假設 AGI 還很遙遠）或「鑑於未來的不確定性，我應該避免代價高昂的承諾」（這相當於隱含地假設 AGI 很可能近在咫尺）。

遺憾的是，目前可用的數據無法提供像物理模型對物理問題所提供的那種確定性水平，因此我們今天做出的決策必然依賴於更具不確定性的預測。

鑑於此，據我所知，以下是我們可以作為決策基礎的證據選項：

1. 定量 AGI 時間線模型（問題在於我們缺乏經驗數據和概念基礎）
2. 對明確模型的直覺調整
3. 直接基於直覺/感覺的 AGI 時間線定量預測
4. 明確考慮 AGI 時間線但避免定量預測
5. 不去思考 AGI 時間線，並希望它們隱含地影響你的決策

我主要透過考慮明確的定量模型，以及在這些模型之上的直覺調整（即選項 1 和 2）來將 AGI 時間線預測納入我的決策。

在某些情況下，我是基於直覺的定量預測（即選項 3）的愛好者。例如，決策可能不夠重要，不值得花時間建立定量模型。或者可能很難將決策分解到足以建立一個即使是啟發性的玩具模型。我同情那些在 AGI 時間線上偏好選項 3 的人。但隨著我對這個話題思考得越多，且我們獲得了更好的趨勢來推斷高能力時，我發現我的新明確模型……