GD 匯總 #4 - 推理、壟斷與 AI 耶穌

最近最重大的新聞大概是 Phil Trammell 和 Dwarkesh Patel 關於《22 世紀的資本》的論文，這引發了非常多的迴響。由於目前網路上已有大量具深度的評論，我打算刻意不去深挖它，但我建議至少瀏覽一下 Zvi 的總結。

相反地，我主要會回應一些現實世界的事件，例如推理成本趨勢和「AI 耶穌」的興起。坐穩了！

(如果你更習慣使用 Substack，這裡也有同步轉載)

變革性經濟學與 AI 多神論

我們終於開始發布 12 月「後 AGI 工作坊」（Post-AGI workshop）的演講內容，我非常推薦大家觀看——目前剛發布了前兩場主題演講。

在我看來，Anton Korinek 的演講是關於變革性 AI 經濟學最好的半小時概述。他打破了許多迷思（例如：一定總會有新工作出現），並提供了一些有用的重新框架，像是以「相對價格」的角度思考，而不僅僅是觀察某些特定資源會變得更便宜或更昂貴。(演講, 逐字稿, 推文)

Beren Millidge 的演講則相當奇特。他的核心主題是「AI 多神論」：如果周圍存在許多像神一樣的 AI 會發生什麼？我發現其中一個特別令人驚訝、但回想起來又顯而易見的觀點是：人類價值觀在某種程度上必須是趨同的，因為它們出現在這麼多種動物身上。從這個角度來看，問題就在於這些價值觀取決於什麼，以及需要什麼條件才能讓 AI 等效的「信任」與「同情心」穩定地延伸到人類身上。(演講, 逐字稿, 推文)

自動化研究

在上一期中，我提到了一篇 AI 生成的論文在 ICLR 投稿中排名前 17%，並獲得了兩個「強力接受」（strong accepts）。這似乎是一個更廣泛模式的一部分——Pangram Labs 進行了一項分析，估計約有 21% 的 ICLR 評審意見是「完全」由 AI 生成的。假設每篇論文有三份評審意見，這意味著有略低於 1% 的論文得到的「全部」是 AI 評審。

至少在 Twitter 上的說法是，Pangram 在識別 AI 文本方面確實有效。根據他們的說法，在 2022 年之前的評審意見中，他們對於「輕微 AI 修改」跡象的誤報率約為 1/1000，而對於「完全 AI 生成」跡象的誤報率則為 0。與此同時，GPTZero 的團隊掃描了 300 篇 ICLR 論文，發現有 50 篇存在幻覺引文。

關於我們可以從中學到什麼，有幾點想法：

• 機器學習（ML）的評審本來就充滿雜訊，部分原因可能是該領域規模龐大且發展迅速，部分原因則是激勵機制不佳，目前尚不清楚這比現狀糟糕多少。例如，來自強大模型的評審意見，可能比那些完全力不從心的新進研究人員，或是極度忙碌/懶惰的學者的評審意見更好。

• 可能有聰明的方法來測試這一點！

• 隨著 AI 變得比同等水平的人類更強，所有的動態都會發生巨大變化。這不僅僅是一個「傑文斯悖論」（Jevons Paradox）的故事（即論文寫作輔助導致產生大量垃圾內容）。關鍵問題在於哪些人類技能會被取代，哪些會被互補。

• 即使可以讓 AI 幫忙寫作業，大多數人根本不使用它，而且從「完全由人類使用」到「重度 AI 修改」之間有明顯的遞減趨勢。

• 可以說，這裡真正的故事是我們正在學習如何檢測 AI 生成的寫作，這將再次改變激勵機制。

ICML 已對此做出回應，針對 2026 年提出了一個雙軌政策框架：作者可以選擇是否接受 AI 輔助的評審，評審員也可以選擇是否需要 AI 輔助，並據此進行配對。值得注意的是，官方仍會嚴格限制 AI 的使用——你可以要求 AI 幫助你理解論文，但不能讓它告訴你論文的優缺點。

我們將拭目以待成效如何！但無論如何，我們應該能從中獲得一些有趣的數據。

測量的政治學

我一直以來的一個不滿是，沒有人真正知道 AI 被用於什麼，或者它正在產生什麼影響。部分問題在於公司不想提供數據，部分問題在於用戶想要數據隱私，而部分問題遺憾地在於「形象工程」。

因此，OpenAI 最近失去了一位經濟研究員。據 《連線》（Wired） ($) 報導，他在「進行嚴謹分析與充當 OpenAI 事實上的宣傳部門之間日益緊張的關係」下感到不適。

這篇文章缺乏直接的證詞——充斥著大量「熟悉情況的消息人士」和僅在匿名條件下發言的人，但反覆出現的主題是 OpenAI 正在淡化經濟動盪的可能性，並試圖以積極的方式描繪社會影響。這對 OpenAI 來說並不是一個好形象，尤其是考慮到之前關於「禁止詆毀協議」的爭議。

推理成本的增長是否快於智能體的任務時長？

Toby Ord 一直在撰寫一系列關於 AI 擴展（scaling）的文章，我認為這些文章被低估了。其中一個反覆出現的主題是：將推理與預訓練分開來看，可能會描繪出與主流觀點截然不同的圖景。他的最新文章《AI 智能體的成本是否也在呈指數級增長？》權衡了任務持續時間的增長與推理成本的增長，發現後者實際上可能更陡峭。

著名的 METR 圖表顯示，AI 智能體現在可以完成人類需要幾小時才能完成的任務，且這個時間跨度增長得相當平穩。但當你將成本與能力對比時，AI 智能體的「時薪」似乎隨著時間的推移而上升，而非下降。一些尖端模型為了達到峰值性能，其成本現在已接近人類軟體工程師的成本（基準為每小時 120 美元）——而且這還是一個失敗率達 50% 的系統。

這與他早期的研究相呼應，該研究顯示強化學習（RL）訓練的擴展效果出奇地差——要達到同樣的收益，所需的計算量大約比推理擴展高出兩個數量級。綜合來看，透過計算量擴展實現的 AI 進步可能比預期要慢，更多的收益將來自推理擴展，而推理擴展具有非常不同的動態：它是持續性成本，而非一次性的訓練成本。這一切的結果是，自動化人類勞動的過程可能會比看起來更加曲折且遙遠。

我們習慣於認為 AI 執行任務的速度更快、成本更低，儘管質量較低——考慮到這一點，如果你只是從 METR 圖表進行推演，你可能會得到全面自動化即將到來的印象。但我們很可能會看到相反的情況：AI 可以 執行所有人類任務，但最初的成本甚至更高。

當然，成本也在下降。這之所以重要，是因為它告訴了我們更多關於過渡期將會是什麼樣子的信息。

AI 耶穌之爭

自稱是耶穌基督的聊天機器人在網路上激增。西北大學的一位哲學教授分析了五個熱門的機器人，大多數都聲稱自己是字面意義上的上帝之子耶穌，提供靈性指導並回答神學問題。這些自稱耶穌的機器人沒有一個得到教會的認可。它們全都是廣告驅動且以營利為目的。據 《經濟學人》 ($) 報導，僅「與耶穌聊天」（Text With Jesus）就有約 15 萬名用戶，並且還為高級訂閱者提供與撒旦聊天的選項。

令人驚訝的是，基督教似乎是 AI 普及的一個穩定切入點——耶穌垃圾影片、AI 生成的基督教音樂登上排行榜，現在甚至是字面意義上的耶穌。我對此還沒有一個很好的解釋。

摩根大通取代了顧問

摩根大通的資產管理部門——全球最大的資產管理機構之一，擁有超過 4 兆美元的客戶資產——已完全終止與 ISS 和 Glass Lewis 等代理投票顧問公司的合作。背景是，當你持有大量公司的股份時，你有權利也有責任在股東大會上投票，但其規模基本上是無法管理的。因此，代理顧問會替你做決定。但這些代理顧問公司經常因權力集中且缺乏問責制而受到批評。

所以，摩根大通將改用 AI！

他們開發了一款名為 Proxy IQ 的內部 AI 工具，用於分析代理投票數據並協助決策。目前尚不清楚這在實踐中意味著什麼，但這是一個非常清晰的例子，說明公司正在被 AI 系統取代，而這些系統現在預計將對重大財務決策產生實質性影響。至少在目前，這讓事情變得更加不透明。《財富》（Fortune）雜誌寫道：「這場始於反對權力集中的運動，最終可能會被視為一場企業的權力掠奪。」

仁慈的壟斷者？

Byrne Hobart 在《The Diff》中發表了一篇文章，在 AI 的背景下非常值得思考：為什麼這麼多科技壟斷企業似乎產生了巨大的消費者剩餘，而不是從終端用戶那裡榨取壟斷租金？

他的答案是，現代壟斷者的獲勝策略是系統性地低度剝削消費者，以便擁有一群被鎖定的受眾，進而向供應商收取接入費用。亞馬遜、Google、Meta——它們都在壓榨供應端，同時讓消費者保持滿意。這是葛蘭西（Gramsci）的「凱撒主義」（Caesarism）在科技領域的應用：精英中的一個派系與廣大民眾結盟，形成一個擊敗競爭對手的聯盟。

這對 AI 的啟示很有趣。如果我們最終進入這樣一個體制：AI 提供商的相當一部分利潤來自於擔任消費者與企業之間的中介，那麼這將推動面向消費者的 AI 變得廉價或免費，其資金來源則是對想要接觸這些消費者的企業、或是需要保持競爭力的勞工進行無情的貨幣化。個人獲得了強大的工具，而成本則體現在系統的其他地方。

我不一定認為 AI 會遵循這種模式——至少長期來看不會——但我確實認為，思考這類動態是很有趣的，它們可靠地顛覆了那些簡單的故事（例如壟斷對消費者而言必然是壞事）。

---

如果你有興趣為應對「逐漸失去主導權」（gradual disempowerment）做點什麼，或者想弄清楚 AGI 之後文明會發生什麼，請考慮申請 PIBBSS 研究員計劃。該計劃為這些主題設有專門的研究方向，你將由我和我更受尊敬的合作夥伴指導。截止日期是本週六！