這篇文章會比平時更硬核一些。這是對 Anton Leicht 的部落格文章《按下播放鍵以繼續》的回應。我不同意其中的大部分內容，且認為其論證並不充分。

逐節來看，Leicht 的主張如下：

• 考慮到所有因素，AI 的發展狀況相當不錯。這個論點包含兩個部分：

  • 它隱含地將暫停 AI 建模為從固定的 AI 開發時間線分佈中進行「重新抽樣」（resampling）。
  • 它認為現狀優於平均水平，因此重新抽樣是個壞主意。

• 具體而言，認為情況進展順利的論點包括：

  • 極小的算力懸殊（compute overhang）
  • 多極化（Multipolarity）
  • 自由民主國家控制著供應鏈
  • 暫停 AI 在中間派政治家眼中並不流行，也不會流行，僅在兩黨較激進的派系中受到支持，這使得它不太可能獲得通過。

• 「次優」的暫停更有可能發生，且比什麼都不做更糟。

  • 這將是單方面的。
  • 它不會迎合生存風險（x-risk）的擔憂，因此會缺乏關鍵部分，例如出口管制或內部部署限制。

• 暫停 AI 的提議並未以有益的方式擴大奧佛頓之窗（Overton window），因為：

  • 激進側翼（radical flank）只有在存在溫和派系從中受益時才有效。
  • 同樣地，「次優」的暫停會很糟糕。

• 如果你仍然認為我們需要暫停，你應該轉而支持 Leicht 的計劃，這是一個由三部分組成的進程：

  • 透明度及類似的「低垂果實」
  • 第三方審計
  • 未具名的「外科手術式政策干預」，用以解決完成 (a) 和 (b) 後剩下的任何問題。

基本上就是這樣……這篇文章很大程度上是主張與事實的集合，而非論證。例如，引言的內容（我上面沒提到的部分）基本上是：

• Bernie Sanders 和 AOC 正在提議暫停數據中心的建設。事實。
• 「支持這種舉動的人當然是盧德分子（Luddites）」——這是在扣帽子，且隨後從未跟進解釋。
• 「某種形式的暫停是一些政策制定者正在要求的。更糟的是，這是政府可以頒布的法令。」——Leicht 基本上承認了文章聲稱要反對的主要觀點。只有在暫停註定會導致糟糕結果的情況下（如他後來所稱），這一主張才有意義。
• 「即使你主要且或許唯一關心的是降低災難性風險，你也應該反對暫停的概念。」——Leicht 直到最後一節才真正與「熱烈安全主義者」（ardent safetyists）的世界觀接軌，而他在該節提供的政策解決方案按他們的標準來看顯然是不夠的。人們提議暫停的整個原因，正是因為他們認為這類提議是不夠的。

我現在將詳細回應各項主張和章節；我的回應以粗體表示。

對論點的回應

• AI 的發展狀況相當不錯。這個論點包含兩個部分：

  • 它隱含地將暫停 AI 建模為從固定的 AI 開發時間線分佈中進行重新抽樣。

  暫停的目的是爭取時間來改善現狀，而不是重新抽樣。將其建模為重新抽樣是愚蠢的。

  • 它認為現狀優於平均水平，因此重新抽樣是個壞主意。

  下面列出的論點是不完整的考量清單。例如，我們可能還會注意到對齊問題尚未解決，且美國政府似乎極度追求加速，並未特別關注 AI 可能如何系統性地剝奪大多數美國人的權力。

• 具體而言，認為情況進展順利的論點包括：

  • 極小的算力懸殊

  算力懸殊其實沒那麼重要。將人類排除在循環之外所帶來的進步加速，遠比算力懸殊的考量更為巨大。

  • 多極化

  我不認為這是件好事，因為它會驅動競爭動態。

  • 自由民主國家控制著供應鏈

  這隱含了一種觀點，即「誰贏得競賽」非常重要。我和大多數其他「熱烈安全主義者」拒絕這種觀點，因為我們認為沒有人會在相關意義上「贏得競賽」：這場競賽很可能以滅絕告終。

  • 暫停 AI 在中間派政治家眼中並不流行，也不會流行。

  這基本上假設了在快速變化的政治氣候背景下，政治氣候不會有太大變化……根據 Blue Rose 的研究，AI 的受關注程度增長速度比任何其他議題都快。

  • 它說中間派政策更有可能「成功」，即成為法律。但成功的相關衡量標準是一項政策是否真的解決了問題。
  • 最後，它假設政策制定者本身不會高度關注處理 AI 生存風險。但目標是讓風險得到廣泛承認和關注，包括在政策制定者之間。

• 「次優」的暫停會比什麼都不做更糟。

  • 這將是單方面的。

  我預期美國國家安全機構會強烈反對單方面暫停，而總統要麼會否決它，要麼會努力協商國際性的暫停。

  • 它不會迎合生存風險的擔憂，因此會缺乏關鍵部分。

  Leicht 似乎在想像一種情況：「熱烈安全主義」有足夠的力量使暫停的想法流行，但卻無法影響其執行方式。但無論如何，一些「熱烈安全主義者」會樂於接受數據中心暫停帶來的減速，即使它缺乏其他部分。

• 暫停 AI 的提議並未以有益的方式擴大奧佛頓之窗，因為：

  • 激進側翼只有在存在溫和派系從中受益時才有效。

  Leicht 似乎假設，爭取國際暫停只會為該政策的特定縮減版本（例如國內暫停）創造支持，而不是提高對 AI 風險的意識並支持解決這些風險的政策。特別是，如果對 AI 生存風險的擔憂具有力量，我認為次優的暫停很可能會看起來像是透過硬體機制實現的算力治理。

  • 同樣地，「次優」的暫停會很糟糕。

  （已在上方討論）

• 如果你仍然認為我們需要暫停，你應該轉而支持 Leicht 的計劃：

  • 透明度及類似的「低垂果實」
  • 第三方審計
  • 未具名的「外科手術式政策干預」

  正如我提到的，在我看來這些顯然是不夠的。透明度和審計的主要目的之一，不就是為了發現 AI 系統是否過於危險嗎？然後呢？支持全球暫停以外政策的人，似乎從未回答過這個問題：「如果你後來確信（正如我已經確信的那樣）全球暫停是將風險降低到可接受水平的唯一方法，會發生什麼事？」這種「也許以後再暫停」的立場似乎是不連貫的。現在沒有、也從來沒有時間在這些軟弱的政策要求上浪費時間；我們已經浪費了三年。

總體反思

Leicht 的論點在某些背景觀點下是有道理的。但這些並不是他聲稱要反對的那些人的觀點！Leicht 以及 Dean Ball 和 AI Snake Oil 雙人組等人，都採取了一種令人沮喪的策略，即聲稱「我並不排除 AI 導致人類滅絕的可能性」，但隨後在政策討論中將其視為微不足道的誤差。如果你這樣做，你就沒有真正參與到那些認真對待風險的人所進行的對話中，你不應該假裝自己在參與。

Leicht 似乎也在想像政治氣候不會有太大變化，特別是 AI 生存風險不會成為大眾關注的問題。支持暫停的人正押注於這些事情（或足夠類似的事情）會發生。到目前為止，他們似乎站在勝利的一方。Leicht 的擔憂基本上是，對 AI 生存風險的擔憂將擁有恰好足夠的力量把事情搞砸，但不足以讓其訴求得到滿足。這看起來像是一種相當小眾、過度思考的擔憂，我很難想像符合這種情況的世界。我認為 Leicht 在他之前的部落格文章《不要建立 AI 安全運動》中犯了類似的錯誤，該文似乎假設「AI 安全」可以發起一場運動，但如果真的發起了，就會失去對它的控制。現實情況是，一場反 AI 運動無論他喜不喜歡都在發生，而取勝之道是參與其中，試圖將其引導至有成效的方向。

**

參與討論