唯有法律能防止滅絕

小時候我讀過一段話，這輩子都銘記在心：

「記住，所有的稅收都是對準某人腦袋扣下扳機的結果。不繳稅是違法的。如果你不繳稅，會被罰款。如果你不交罰款，會被監禁。如果你試圖越獄，會被射殺。」
—— P. J. O'Rourke。

起初，我從中學到了自由意志主義的教訓：政府即暴力。在某些情況下，它可能是正當的暴力。但它完全建立在暴力之上；永遠不要忘記這一點。

今天，我確實認為兩種不同形式的暴力之間存在重要區別。這種區別可能會讓我那些老派的、海萊恩式（Heinlein）的古典自由意志主義同僚們翻白眼，覺得這在深層道德上沒有區別。但我仍認為這很重要。

在一個運作良好的理想國家——並非所有現實國家——國家的暴力是可預測且可規避的，並且旨在被預測和規避。作為這種可預測性的一部分，它來自有限數量的特許來源。

你應該知道，只要乖乖繳稅，就不會被射殺。

這與赤裸裸的土匪行徑之間是否有道德差異？對於絕大多數普通人（而非政治哲學家）來說，答案是肯定的。

在日常語言中，「暴力」指的是不可預測、不可規避、且並非來自人們可以學習其規則的有限來源的暴力。

對你而言可預測且可規避、後果規律而非混亂的暴力，當然仍可能極其不公且對你無益。這並不排除農民被要求上繳三分之二的收成以換取微薄的回報。這也不排除因為禁止興建新住房而導致你的租金飆升，等等。法律仍可能是惡法。但對於生活在這些不公法律下的人來說，如果他們至少能透過這種方式成功規避暴力，那意義就大不相同。

「國家壟斷暴力」的意義（當它奏效時），在於讓暴力來自一清單可知的來源。子彈由穿著整潔制服的人發射，並不會留下較小的彈孔。但寡佔化的武力更容易被規避，因為它來自清單簡短的危險源——國家、州、郡、市——其規則即使是相對愚笨的人也能學會。理想情況下。在一個運作良好的社會中。

---

地球目前面臨一個問題。這個問題可能需要透過法律的強制執行來預防，儘管希望不需要實際動用太多武力。

粗略地說，問題在於如果 AI 變得更聰明，它很可能會演變成超人類 AI / 機器超智慧 / 人工超智慧 (ASI)。目前的 AI 在那個規模上還不具備致命性，但它們的能力正在快速提升，並突破了以往的趨勢線。ASI 可能透過研究突破直接將 AI 提升到超人類水平而產生；或者因為大型語言模型 (LLM) 變得足夠擅長半盲目地調整設計以製造更聰明的 AI，而後者又被充分改進以製造更聰明的 AI，從而形成連鎖反應。

AI 的設計不像自行車，也不像社交媒體網站那樣編寫程序。人類確實編寫了一小段代碼，但這段代碼的作用是調整實際 AI 內部數千億個難以捉摸的數字，直到該 AI 開始像人一樣說話。接著，這些難以捉摸的數字會做出各種人類並未決定讓它們做的奇怪事情，通常是需要智慧的事情；例如在測試期間逃脫封鎖，或說服人類自殺。

控制遠比人類聰明的實體，顯然是那種充滿微妙細節和陷阱的問題，只能透過實踐來學習。一些在非超人類水平看似有效的聰明點子，在控制強大的超人類實體時將會失效。動態會改變；事情會出錯。事實上，可能有很多事情會出錯。即使你知道內部運作原理，要將工程設計擴展到巨大的新規模並確保其正常運行而不經過大量的反覆試驗是很困難的。更不用說這個創造物是比我們物種更聰明的外星智慧，這是人類歷史上全新的問題……我可以就此說上很久。

建造極其強大的超人類實體有一點：你並不一定能像通常的工程學那樣擁有無限次的重試機會。在問題變得太遲之前，你並不一定能察覺到它的存在；超人類 AI 可能不會決定告訴你它們在想什麼，直到它們準備好將我們從棋盤上抹除。（這已經是一個觀察到的現象：最新的 AI 通常意識到自己正在接受測試，並可能試圖向評估者隱瞞違規行為，例如編寫在代碼測試中作弊的代碼，然後自行清理證據。）

伊隆·馬斯克對 Grok（在世界上一些最大的數據中心培育）的公開計劃是：他只需要建造一個重視「真理」的超智慧，然後它就會為了讓人類作為有用的真理產生器而讓人類活著。他沒有被地球上每一位 AI 科學家喝倒彩，這件事本身就足以說明該學科作為工程領域的普遍成熟度。AI 公司的創始人及其投資者是被篩選出來的，他們對困難視而不見，對解釋充耳不聞。如果伊隆是那種可以被勸離其毫無根據的樂觀主義的人，他就不會經營一家 AI 公司；OpenAI 和 Anthropic 的創始人也是如此。

如果你需要閱讀由數百名學術計算機科學家、諾貝爾獎得主、退役海軍上將等發表的聲明，說 AI 確實是滅絕風險，我們應該像對待核戰爭一樣嚴肅對待它，你可以看這裡。坦白說，他們中的大多數人對這件事相對後知後覺，尚未開始掌握所有令人擔憂的理由。但他們已經掌握並公開同意的部分，已足以推動政策。

---

我意識到這聽起來可能天真得理想化。但我說：人類的徹底滅絕將是一件壞事！如果可能的話，應該予以阻止！應該立個法！

具體來說：應該立法禁止進一步提升 AGI 能力，試圖在它誕生超智慧之前將其停下。這條線應該劃得清晰且保守，因為我們不知道在爆炸發生前，我們還能在這個地雷陣中跳多久。我的組織在網上有一個條約草案，但如果簡單概括「那到底是什麼意思」，那就是：所有用於培育和運行大型 AI 的極其昂貴的專用芯片，都應收集在有限數量的數據中心，並僅在國際監督下使用。

作為一名從小讀海萊恩和奧威爾長大的人，如果我假裝這不是在訴諸武力，那將有損我的尊嚴。

但這是一種旨在可預測、被預測、可規避且被規避的武力。而這正是合法武力與非法武力之間真正的巨大差異。

---

事實上，呼籲立法與呼籲個人暴力爆發是有區別的。（為了證明我不是在攻擊稻草人，且確實有人聲稱不理解這種區別，請看這裡）。撇開自由意志主義哲學不談，大多數正常的普通人都能分辨出區別，並且在乎。他們正確地認為，比起呼籲街頭暴力的人，呼籲立法的人對他們個人的威脅較小。

但等等！人類的徹底滅絕——那些不相信這個前提的人爭辯道——是一個如此極端的危險，以至於對它的信仰可能會被用來為非法武力辯護！因此，根據「訴諸後果的謬誤」，這種信仰不可能是真的；因此，我們從政治角度得知，超智慧滅絕人類是不可能的。要麼是任何超越人類大腦的認知系統都不可能存在；要麼是控制機器超智慧的許多從未被挑戰過的問題都將證明是容易解決的。我們無法推斷這兩個事實中哪一個是真的，但它們的析取（disjunction）必須是真的且可知的，因為如果它不可知，某人就可能以此為由辯護暴力。在人類歷史上，從未有任何命題在可能被用來辯護暴力時被證明是真的。物理定律會檢查這是否可能是任何物理情境的結果，並以完美的可靠性予以規避。

當然，這整套推理是瘋狂的。

儘管如此，我仍將闡明為什麼它的第一步就是錯誤的，更不用說隨後的瘋狂了：

在這種情況下，非法暴力無法阻止世界的毀滅。

---

如果 ASI 禁令要發揮任何作用，它必須在各地都有效。當有人對我說：「你對我們提議的國家禁令（在有合理的監管之前禁止更多數據中心）有什麼看法？」我回答他們：「AI 可以搶走你的工作，機器超智慧可以殺死你，這在另一個國家的數據中心發生同樣容易。」他們後來增加了一項條款，規定在其他國家擁有類似的合理監管之前，GPU 不得出口到這些國家。（我仍然對我的話可能產生任何影響感到驚訝、敬畏和一點卑微。在某些現實案例中，政治家比幾十年前憤怒的自由意志主義文學讓我相信的要明智得多。）

冰島的數據中心，如果僅在那裡合法，同樣可以將 AI 能力提升到誕生殺死我們的人工超智慧 (ASI) 的程度。你在沒有數據中心的城市裡也不會安全。你可以想像 ASI 方擁有到處搜尋的飛行無人機大軍；儘管實際上 ASI 可以預見、快速獲取的技術會比無人機群危險得多。但那些需要更長時間解釋，而無人機群已足以說明問題。躲進森林裡也無法躲避 ASI 的威脅。

根據我的普遍政治哲學，如果一家公司的產品只危害那些知道自己在做什麼的自願客戶，那麼強烈預設這應該是公司與客戶之間的事。

如果一個產品可能殺死站在客戶旁邊的人，比如二手菸，那就是區域性事務。不同的城市或國家可以嘗試不同的法律，人們可以決定住在哪裡。

如果一個產品會殺死站在地球另一端的人，那麼這就是國際談判和條約的事務。

ASI 是一種會殺死站在地球另一端的人的產品。僅僅將一家 AI 公司趕出你自己的城市並不能保護你的家人免於死亡。在時間線上更早的時候，它甚至不能保護你的城市免於失業。

同樣地：阻礙一名高管、一名研究員或一家公司，並不會改變 AI 的走向。

如果明天戴米斯·哈薩比斯（Demis Hassabis）說：「我意識到我們不能這樣做」，並試圖關閉 Google Deepmind，他會被解僱並被替換。如果拉里·佩奇和謝爾蓋·布林突然意識到他們面對和控制超智慧的能力有限，並關閉 Google 的 AI 研究，那些 AI 研究員會離開並去其他公司。

Nvidia 目前是世界上最有價值的公司，市值達 4.5 兆美元，因為每個人想要的 AI 訓練芯片都超過了 Nvidia 的供應量。AI 的限制資源不是建造數據中心的土地；地球有很多土地。在你的州禁止數據中心在中期內可能會讓那裡的電費更便宜，但它無法阻止世界末日。

AI 的限制資源也不是追求 AI 的公司數量。如果一家 AI 公司被其國家政府隨機摧毀，其他 AI 公司會蜂擁而至，轉而向 Nvidia 購買芯片，而 Nvidia 仍會保持滿負荷生產並售出所有產品。世界末日將繼續進行。

沒有哪一個研究員掌握著你死亡的秘密。他們都在尋找拼圖的碎片來積累，以換取個人名利的獎勵。如果某個本該找到下一塊拼圖的人意外被雞骨頭噎死，幾個月後也會有其他人找到另一塊拼圖，死亡仍會繼續前行。AI 研究員告訴自己，即使他們放棄巨額薪水，對人類也沒有太大幫助，因為其他研究員會取代他們的位置。殘酷的事實是，無論你是否認為這是一個藉口，這都是事實。

在其他公民行動的案例中，你可以阻止在你自己州建造一座燃煤電廠，這樣大氣中的二氧化碳就會減少一點，一個世紀後的世界就會涼爽一點。或者如果你反對墮胎，並讓你的州宣佈墮胎非法，也許每年就會減少 1000 次墮胎，這對你來說是一個實實在在的成就。也就是說：你的邊際努力所獲得的回報與你投入的努力大致呈線性關係。

ASI 問題並非如此。如果你今天關閉了 5% 的 AI 研究，人類並不會減少 5% 的傷亡。我們最終仍會 100% 死亡，只是時間稍晚一點。（但不會晚 5%，因為 AI 研究的串行速度並不隨並行研究員的數量成比例縮放；9 個女人不能在 1 個月內生出孩子。）

所以，我們不需要進行一場關於「做非法壞事以拯救世界」的奇怪且令人不安的對話，因為即使有人做了非常壞的事，那仍然救不了世界。

這一點有些人似乎很難聽進去——儘管要澄清的是，這些人通常不是站在反滅絕立場的一方。更多的是有些人無法想像超人類 AI 可能是嚴重的危險，以至於他們難以推論該前提所隱含的意義。另一些人在政治上反對任何形式的 AI 監管，因此他們寧願誤解這些想法，使其必然導向可怕且不可接受的結論。

我理解原則上的原因。但在實踐中遇到這種情況是一種奇怪且令人沮喪的現象，尤其是發生在那些看起來連貫且聰明的人身上（雖然可能還沒達到 GPT 5.4 的水平）。許多人不知為何相信，其他人應該認為——不是他們自己，只是其他人——個人暴力的爆發肯定是有幫助的。如果你真的絕望了，你怎麼能不訴諸暴力呢？

但即使你絕望了，暴力的爆發通常也無法真正解決你的問題！這是生活中的普遍真理，在這裡也完全適用。

即使你拋棄了所有的道德，它也不會奏效。即使你把靈魂賣給魔鬼，魔鬼也不買賬。

你必須多確定你的孩子患有癌症晚期，才會開始殺死小狗？10% 確定？50% 確定？99.9%？答案是，無論你多確定，殺死小狗都治不好癌症。你可以殺死一百隻小狗，但仍然救不了你的孩子。沒有哪種罪惡大到僅僅因為它夠罪惡就肯定會有幫助。

統計數據顯示，擁有非暴力教義的公民運動在實現其既定目標方面更為成功（特別是在警察運作正常的國家）。拋棄所有道德的派系會失去公眾和政治家的同情，然後失敗。恐怖主義並不是一個人們僅僅因為道德高尚才不按下的「即刻獲勝」按鈕。數據顯示，社會已經成功地讓它通常得不到回報。

極度絕望並不會改變這些機制。

幾乎所有真正接受 ASI 災難可能性的人，似乎都不難理解這一點。如果你真的讓大局進入你的腦海，這是大局的必然結果。

但如果誤解在政治上是方便的，人類就很難理解一件事。AI 監管的反對者希望任何滅絕的危險都隱含不可接受的後果。

他們在某種程度上理解 AI 行業的運作方式。但他們神祕地無法將這種知識與他們的人類決策模型聯繫起來。你可以問他們：「如果明天我因為攻擊 AI 公司總部而被捕，你會讀到那個頭條新聞，並得出結論說 AI 已經被永遠阻止、超智慧永遠不會發生了嗎？」得到的只會是茫然的注視。

甚至一些並非明顯政治對立的人似乎也在這個想法上絆倒了。我真的不確定為什麼。我想也許他們難以將「ASI 當然會殺死所有人，我們離能控制它還差得遠」處理為一種對世界的普通理解，就像 20 世紀對全球核戰爭的擔憂是平庸理解的一部分一樣。「如果每個國家都擁有核武器，它們最終會被使用」對於 1945 年的人來說，並不是那種你必須透過暴力來證明你有多堅信的信仰。這只是他們擔心會被證明是世界真相的事情，然後導致他們的家人死於一種異常恐怖的火焰。所以他們並沒有隨機攻擊鈾礦公司的老闆，來證明他們多麼堅信或多麼擔憂；根據他們對世界的正確理解，那並不能解決人類的大問題——即看似不可阻擋的擴散誘因。相反，他們努力工作，建立聯盟，並建立了一個國際核不擴散體系。儘管美國和蘇聯非常仇視對方，但兩國在該體系的許多方面都進行了合作，因為兩國領導人都不預期如果真的發生核戰爭，他們會有好日子過。

那種能阻止每個人死於超人類 AI 的條件性適用武力，必須是無處不在且可靠的；統一且普遍。

讓它是可預測、被預測、可規避且被規避的。

這是一個如此明顯的、應由國家批准的合法武力案例，以至於在其中加入任何其他形式的武力都沒有意義。那只會嚇到並激怒人們，而他們的恐懼和憤怒是正當的。人們不喜歡生活中存在無法預測的長串暴力來源，因為那樣他們就無法預測並規避它。

我在最初提議該國際政策時，確實闡明了合法武力的必要性。事後有人問：「如果有人試圖無視禁令，你為什麼要提到條約可能需要透過常規空襲來執行？」一個原因是有些條約並非真實且被實際執行的，而這個條約需要是實際執行的那種。另一個原因是如果你不說清楚，同樣那群人就會胡編亂造；他們會揮揮手說：「喔，他沒意識到可能有人必須執行他那漂亮的條約。」

最後，我覺得把這一切說得非常直白，而不是用有時伴隨政治的掩飾性語言來包裝，是比較明智的。為了讓國際 ASI 禁令在不實際動用武力的情況下發揮最佳作用，簽署該禁令的大國需要成功地向彼此及任何非簽署國傳達：我們對機器超智慧殺死地球上每個人的恐懼，遠大於我們對動用國家軍事力量來阻止這種情況的猶豫。

如果據信擁有約 50 枚核彈的北韓偷走芯片並建造了一個不受監控的數據中心，我認為外交手段應該真誠地向北韓傳達：「你們正在讓美國和中國感到恐懼。關閉你們的數據中心，否則它將被常規武器摧毀，這是出於對我們生命和孩子生命的恐懼。」如果外交失敗，條件性武力被觸發，然後北韓以首次使用核武器進行報復呢？我不認為它會這樣做；那對他們來說不會有好結果，他們可能也知道這一點。但我也不認為在這種假設下，理智會說我們因為太恐懼某人可能首次使用核武器，而讓他們粉碎一個保護地球所有生命的機制。

你會希望事先把這一切說得非常清楚。各國事先不理解這一點可能會非常糟糕。歷史表明，許多戰爭就是這樣開始的，因為有人未能預測到條件性武力的應用並予以規避。一種歷史觀點認為，德國在 1939 年入侵波蘭，部分原因是當英國試圖警告英國將保衛波蘭時，希特勒親自閱讀了這些信息，而不是讓專業外交官向他解釋；希特勒將標準的外交禮貌和溫和言辭解讀為妥協；於是第二次世界大戰開始了。最近，薩達姆·海珊類似的外交誤解被認為導致了海珊 1990 年入侵科威特，結果引發了大規模的國際反應。我有時因為試圖用如此直白的話語來闡明擬議政策（例如說如果外交失敗，盟軍可能不得不空襲數據中心）而受到批評。有些人——在我看來是牽強附會——聲稱這一定是偽裝的煽動非法暴力。但在這種情況下，非常清楚地說明合法武力的形式是很重要的。

而且，這整套政策是如此顯而易見且明智的提議——源於最終簡單明瞭的體認：人類目前不知道如何安全地建造比人類聰明得多的東西——更不用說如果你了解像伊隆·馬斯克公開計劃這樣的細節，情況會變得多麼糟糕——以至於有些人發現很難反駁。除非他們對提議內容撒謊。

所以我被斷章取義（也就是說，他們捏造了我沒說過的話，也就是說，他們撒謊），說我呼籲「炸毀數據中心」（b*mbing datacenters），這兩個詞我從未說過。在 2023 年發表於《時代》雜誌的第一份提案中，我寫的是「願意透過空襲摧毀非法數據中心」（be willing to destroy a rogue datacenter by airstrike）。《時代》只給我一天的時間來寫——否則就不具備「時效性」——但我當時認為我把那部分說得非常謹慎。我想，即使脫離語境，這也應該非常清楚地表明我是在談論國家制裁的武力使用，以維護先前成功的禁令免受破壞。絕對不是某個帶著卡車炸彈的人，在他們自己的國家攻擊一個數據中心，而所有其他數據中心仍在運行。

而且即使脫離語境，這種措辭也是清晰的！如果引用準確的話。所以一些（並非全部）加速主義者就對所倡導的內容撒謊，並捏造關於「炸毀數據中心」的引言。當被揭穿時，他們會抗議說：「喔，你差不多就是那個意思，沒什麼重要區別！」對此，一如既往的回應是：「如果這值得你撒謊，那它一定很重要。」

另一個類似的捏造引言說我提議「核平數據中心」。女士們、先生們及各位，絕對沒有理由核平一個違規的數據中心。在外交失敗的最後關頭，一枚常規導彈就足夠了。反對首次使用核武器的禁忌，我認為是二戰後時代最偉大的成就之一。作為一個人類，我為我們做到了這一點感到自豪。這件事沒有任何部分需要違反那個禁忌。我們不應該急於拋棄所有的限制和理智，尤其是在沒有必要的時候。地球上的生命需要以「生活繼續」的意義繼續下去，而不僅僅是「不被機器超智慧殺死」。

有時有人聲稱，如果不實行全球暴政，就不可能禁止 ASI——說這些話的人反對 AI 監管，因此寧願它需要令人恐懼且不可接受的手段。

至少：我不認為我們已經確定這是真的，以至於我們應該全部躺下等死。

至少直到最近，人類設法做到了不讓每個國家都建立自己的核武庫。我們做到這一點，並不需要地球上的每個人每天都向國際原子能總署表示個人服從。1940 年代和 1950 年代的一些人認為，需要一個暴政的世界獨裁政權，才能防止每個國家都獲得核武器並隨之發生大量核戰爭！在整個人類歷史上，停止大國之間的所有重大戰爭，或減緩那種技術擴散，從未實現過！但那些擔憂的懷疑論者錯了；至少幾十年來，核擴散的速度與更悲觀的預測相比大大減緩了，而且並沒有出現全球暴政。現在我們有了那個先例，證明這是可以做到的；不容易，不簡單，但可以做到。

對於絕大多數普通人來說，「不要花費數十億美元走私電腦芯片、建造非法數據中心並試圖製造超智慧」，這在他們不得做的事情清單上只是一個非常微小的增加。調查似乎顯示，大多數人本來就認為機器超智慧是個餿主意。（英明。）

至於那些真的感到被這條法律冒犯的少數人？

他們可能會難過。他們肯定會生氣。但他們會活下來。否則他們實際上活不下來。

我對山姆·奧特曼（Sam Altman）命運的期望是，他只需要像以前一樣恐懼他的國家、他的州、他的郡和他的城市動用武力；區別在於山姆·奧特曼和地球上的其他人一樣，被告知不要建造任何機器超智慧；而且這種潛在的國家武力對他而言是可預測的、被他預見的、對他而言是可規避的、且被他規避的；對他如此，對每個人亦然。如果我們、我們的孩子、我們的寵物或我們的花園植物想要生存下去，就必須如此。

讓山姆·奧特曼除了那之外不再恐懼暴力，也不再恐懼深夜的火災。

人工超智慧是那種只能透過具有法律形式的武力來解決的問題的典型代表，即國家支持的、旨在可預測且被規避的普遍條件性武力應用。除此之外的任何手段都無法解決問題。

當有人真的向山姆·奧特曼的房子投擲汽油彈時，這對反滅絕運動其實一點好處也沒有，任何有一丁點理智的人都能且已經預見到了這一點。

目前所有的反滅絕主義領導人都在懇求他們的人民不要訴諸暴力——就像他們過去說過的那樣，但現在聲音更大了。相反，一些加速主義者正在試圖煽動暴力，在某些情況下甚至讓他們平時的受眾感到震驚：

從他們回覆中的抗議者可以看出，這種情緒在加速主義者中並非普遍存在。讓我們（如果不是他們的話）迅速且公平地承認：我們觀察到的是壞蘋果，而不是壞桶子。

但也要清楚，那些壞蘋果在奧特曼受襲之前，也曾在早些時候試圖煽動暴力：

對於這條推文，我不想贅述「反滅絕主義者可能是具有道德的好人」這種回覆；一些好人可能會點頭，但其他人會覺得這沒有說服力，而且有一種分析可以解釋一切：它行不通。既然它救不了人類，反滅絕主義者就會做出顯而易見的估計：我們自己的事業會被（且已經被）徒勞的非法暴力爆發所損害。

相反，一些加速主義者的行為表現得像是想盡可能廣泛地傳播暴力的言論和迷因。可以合理推測，他們大腦的某些部分已經考慮過有人被他們的嘲諷所煽動的後果，並發現這些後果完全可以接受。如果他們能煽動某個被貼上反滅絕主義標籤的人訴諸暴力，那將有利於他們的派系。他們可能認為山姆·奧特曼對他們的事業來說是可以替代的，只要沒有法律和條約來阻止各地所有的 AI 公司。

他們是對的。山姆·奧特曼不是至尊魔戒。他不是索倫唯一的弱點。如果他出了什麼事，AI 仍會繼續。

我發布這些推文，部分是想對任何可能認為自己是人類捍衛者、且願意聽取盟友而非敵人意見的易受影響的年輕人說：嘿。不要落入他們的圈套。他們嘲諷你正是因為暴力對他們有利，對我們不利。如果暴力真的能幫助你，如果他們預期暴力對 AI 進程的傷害大於對他們政治上的幫助，他們絕不會那樣嘲諷你，因為他們會感到恐懼，而不是渴望看到你訴諸暴力。他們對你這麼說是因為這不是真的；如果這是真的，他們絕不會對你說。他們不站在你這邊，嘲諷中所隱含的建議對你是有害的，對他們是有利的。

當有人嘲諷你時，這當然是一個普遍原則。這意味著他們想讓你戰鬥，這意味著他們預期能從你的嘗試中獲益。

不要相信他們的嘲諷。要相信他們嘲諷行為所隱含的事實：暴力傷害你，幫助他們。那部分是準確的、顯而易見的，而且在他們選擇嘲諷你之前，他們的大腦在後台並不難想清楚這一點。

對我來說，社會懲罰那些似乎從暴力中獲益的派系是有道理的，即使他們的領導人試圖否認該暴力。直覺上，你不想在社會中創造一個漏洞，讓派系領導人可以透過派出刺客然後公開否認他們來獲得優勢。

但在某些加速主義者公開試圖煽動反滅絕主義者訴諸暴力，而反滅絕主義領導人卻在祈求和平的時候——這表明社會在懲罰「暴力」派系方面走得太遠了（針對現實中可能是害群之馬的行為），而在對站在旁邊、公開試圖挑釁他們明知對自己有利的暴力的（個別）加速主義社會病態者施加社會責難方面，做得還不夠。

這當然是個老故事。公民運動的領導人試圖說服他們的人民在遊行中保持冷靜、紀律和秩序。當地的警察如果反對該運動，就會允許掠奪者隨行，然後強行阻止遊行者制止掠奪者。當你的社會發展到那個地步時，它就在相反的方向創造了一個新的漏洞。

或許還可以觀察到，某些人利用這個特定時刻爭辯說：一個其內在合理性本應顯而易見、且已得到數百名學術科學家、退役海軍上將、諾貝爾獎得主等認可的科學立場，必然隱含著非法暴力是個好主意。我不會大張旗鼓地捶胸頓足，感嘆這種虛假言論為了自己的政治利益可能危及無辜，萬一某個精神失常的人相信了他們怎麼辦，等等。這就是人類在政治周遭的一貫表現；任何派系表現出這種行為都不是尋常的錯誤。他們也有權說出自己的信仰，也有權相信那些顯然錯誤但對他們政治上方便的事情。我仍可以花點時間觀察正在發生的事情。

至於那種認為批評 AI 本身就是「隨機恐怖主義」（stochastic terrorism）的論點，因為最終會有人做出暴力反應，即使這並不合邏輯？Tenobrus 說得很好：

「如果我們不能談論可能殺死所有人的事情，因為這可能會激怒瘋子，那麼瘋子就贏了。我們不能讓文明的生存取決於最不穩定的人的否決權。」

反滅絕主義的領導人確實有責任要求他們的人民舉止得體。我們也確實這麼做了！這實際上已經是任何公民運動所能被合理要求的極限了。我們應該嘗試，而我們也確實嘗試了！考慮到人口中精神疾病的基礎比率，我們不能也不應被期望每一次都成功。

關於社會重要事務的言論，不應被任何可能做出蠢事的瘋子的心血來潮所挾持，這會損害他所謂的事業，並違背該事業領導人所說的每一句話。

那是治理社會的一種愚蠢方式。

而且在政策上，這將是禁言的一個非常嚴重的理由。Anthropic 的 Claude Mythos 在理論上可能造成的傷害方面，已經是一個國家級的參與者——考慮到它已展示並驗證的能力，能發現每個操作系統和瀏覽器的關鍵安全漏洞；以及 Mythos 利用這些漏洞的速度，擁有上萬個並行的智慧攻擊線程。假設失控或被誤用的 Mythos 可能會癱瘓美國電網，比如說……在它的工作結束時，在所有連接到互聯網的官僚機構、文書工作和醫生筆記中引入難以發現的錯誤。

在 2024 年，聲稱這是有可能的僅僅是一個預測，會被斥為幻想。現在這是一個觀察結果，僅僅是現實。這就是當前 AI 的危險程度，儘管 Anthropic 似乎正試圖在這一點上表現得規矩，且 Mythos 尚未明顯失控。面對這種情況，如果說沒人應該批評 AI、AI 公司，甚至根據最近的新聞報導批評個別 AI 公司領導人，因為某個瘋子可能會因此被激發暴力——親愛的讀者，這通不過成本效益分析。

AI 已經是一個國家級的潛在危險，即使它還不是一個國家級的實際力量。那麼批評 AI 的言論自由就具有相應的重要性。那個試圖讓言論自由受其心血來潮挾持的隨機瘋子——必須告訴他，他還不夠重要，不足以讓全人類在可能令他不安的主題上聽命於他。

面對像機器超智慧這樣真正的人類滅絕級危險——這顯然應該代表那種程度的可能危險，即使有些人對其大致概率有異議——好吧，如果沒人敢談論危險，或爭論對該危險的高估計，而它就在沒有任何阻止努力的情況下發生了，那將是全人類一種愚蠢的死法。

所以，讓我們別死！讓我們拯救每個人！

山姆·奧特曼也是。

那是夢想。

討論