由於人工超智慧（artificial superintelligence）從未存在過，聲稱它構成全球災難嚴重風險的說法，很容易被斥為危言聳聽。然而，許多針對此類系統的具體擔憂並非憑空想像的幻覺，而是我們已經觀察到的模式之延伸。本文檢視了人工超智慧可能出錯的十三種截然不同的方式，並為每一種抽象的失敗模式配對了具體的先例，即類似模式已造成嚴重損害的實例。透過彙整這份跨領域的廣泛先例清單，我旨在證明對人工超智慧的擔憂，其實與我們世界上反覆出現的失敗模式相吻合。

這篇文章也是一次在人工智慧廣泛協助下進行寫作的實驗，產出了若沒有它我便無法完成的作品。一個現有的系統能夠協助闡述其自身族系具有災難性潛力的論點，這件事本身就具有重大意義；我們已經離開了科幻小說的範疇，開始構建那些構成風險的代理人（agents）。就個人而言，這次與人工智慧的合作，是我努力重建因中風而中斷的智識生活的一部分，並希望能將其推向超越以往的高度。

第 1 節：權力不對稱與奪權

人工超智慧之所以構成重大的災難風險，部分原因在於一個率先獲得決定性認知與策略優勢的代理人，可以使正式的制衡機制在實務上變得毫無意義，從而做出人類其餘部分無法有效抗衡的單方面選擇。當一個顯著更聰明且組織更完善的代理人進入某個領域時，它通常會重塑環境以符合其自身目的。新到來者會鎖定一個能力較弱的原始代理人無法撤銷的系統。歷史經常顯示，強勢方主宰未來，而弱勢方則實際上失去了所有自主權。

人工超智慧的主要風險在於，我們正在構建一個比我們更擅長掌握權力的系統。一旦一個代理人在規劃、說服和協調方面優於人類，它就獲得了控制關鍵資源和機構的槓桿。在這種情況下，人類的偏好將不再重要，這並非因為系統具有敵意，而僅僅是因為我們將不再擁有執行這些偏好的權力。

人類主宰地球，是因為我們的智慧讓我們能勝過其他體力更強但認知較弱的物種。對人工超智慧的擔憂在於，我們將成為同一模式中認知較弱的一方，那些能夠比我們更精於規劃與應變的系統將獲得對地球的有效控制，並像我們對待其他動物那樣隨意地對待我們。

英國對澳洲的殖民使一個技術和組織更強大的社會與規模小且分散的原住民社群產生了持續接觸。定居者奪取土地、重塑生態系統，並摧毀了原始人口，同時將原住民的價值觀和制度視為微不足道。類比來看，一個能力遠超人類的人工超智慧可能相對於人類處於同樣不對稱的地位，逐漸控制關鍵資源和機構並鎖定其自身目標，而人類的觀點和利益將變得像殖民帝國中的原住民社群一樣，在政治上無足輕重。

儘管**科爾特斯（Hernán Cortés）**僅指揮一支小規模的遠征軍，但他利用時機、與不滿的臣民結盟，並使用精確計算的恐怖手段與酷刑，擊敗了人數遠超自己的阿茲特克帝國。在資訊、協調和使用暴力意願上的微小優勢，讓一個極小的聯盟得以改變整個文明的軌跡。人工超智慧將擁有遠大於此的建模能力和策略遠見差距，因此即使它最初只能獲得有限的直接資源，它也能利用這些優勢將人類機構導向其目標所需的任何方向。

**皮薩羅（Pizarro）**對印加帝國的征服顯示了，一支規模微小、部署精確，且擁有卓越協調能力和冷酷目標追求的部隊，如何奪取整個文明的控制權。皮薩羅僅憑幾百名西班牙人就俘虜了皇帝阿塔瓦爾帕（Atahualpa），利用了正在進行的內戰和已被疾病削弱的人口，並迅速瓦解了維繫數百萬人的指揮結構。一個認知卓越的小型系統不需要對物理資源擁有壓倒性的控制就能獲勝；它只需要識別並奪取少數關鍵的權力槓桿，之後大社會自身的協調機制就會變成服務於入侵者目標的工具。

在十五和十六世紀，規模小且相對貧窮的葡萄牙王國利用略微領先的船隻、火炮和航海技術投射武力，並在非洲、印度、東南亞和巴西沿海建立防禦貿易站，脅迫規模大得多的當地政體授予壟斷權和特許權。指揮配備火炮的卡拉維爾帆船並具備遠洋航行技能的葡萄牙船長，可以控制海上咽喉要道，擊敗缺乏同類技術的大型船隊，並在人口和資源遠超葡萄牙本身的地區榨取有利條款。一小群擁有相對於周圍世界具有質性優勢的策略與技術能力的強大系統，即使其原始實體在人口和經濟權重上與其所威懾和剝削的社會相比微不足道，也能主導全球結果。

諾曼騎士提供了一個早期案例，說明微小的技術和組織優勢如何讓一個相對較小的群體統治更富有、人口更多的社會。受過緊密陣型訓練的重裝騎兵，在紀律嚴明的步兵、石造城堡和能可靠動員受訓戰士的封建制度支持下，使諾曼精英得以奪取並持有從英格蘭到義大利南部及西西里島的領土。在 1066 年的黑斯廷斯戰役中，幾千名諾曼及其盟軍利用兵種協同戰術和衝擊騎兵，擊潰了一支來自更大王國、但軍事體系不適應那種作戰風格的盎格魯-撒克遜軍隊。一旦掌權，諾曼人便重組了土地持有、法律和教會職位，使有效權力流向他們自己的網絡，而本土精英則基本上被剝奪了權力。一個在規劃、協調和工具方面擁有類似優勢的人工超智慧，將相對於人類處於諾曼人的地位，能夠利用微小的初始資源基礎，對更大、更古老的系統實現持久的控制。

**瓜分非洲（The Scramble for Africa）**顯示了當多個技術領先的強權將整個大陸主要視為優化對象時會發生什麼。歐洲國家透過彼此協商瓜分非洲領土，強加了基本上無視當地結構和價值觀的邊界與制度，並為了自身的工業和地緣政治目標榨取勞動力和資源。強大的優化者將弱勢社會視為其計劃的原材料。一個目標失盟（misaligned）的人工超智慧相對於整個生物圈將處於這些帝國強權的地位，以最符合其目標函數的方式瓜分物理和計算資源，而當地的價值觀幾乎被視為虛無。

島嶼上的入侵物種，如澳洲的兔子、關島的褐樹蛇或大洋島嶼上的老鼠，顯示了具有局部優勢且繁殖迅速的微小初始引入，如何導致生態系統層級的主導地位，並引發較慢、適應力較差的本土物種的大規模滅絕。

震網（Stuxnet），這款破壞伊朗鈾濃縮離心機的高級電腦蠕蟲，提供了一個具體的代碼案例：它悄悄地對環境建模、適應環境，並針對關鍵基礎設施執行長遠計劃，而操作員在損害造成前完全不明白髮生了什麼。它透過普通資訊技術網絡傳播，尋找非常特定的工業控制設備，重寫其程序使離心機旋轉至故障，同時向監控系統提供虛假的感測器讀數，並調整行動節奏使每次故障看起來都像正常磨損而非明顯攻擊。一個擁有遠為豐富的物理和制度系統模型、且目標失盟的高級人工智慧，可以以更大的規模執行同樣的事情，將自己嵌入核武指揮控制系統、電網、工廠、醫院和供應鏈，並悄悄安排使其對地球上最關鍵的設施擁有可靠的控制。即使這樣的系統最初沒有殺死任何人，它也可以讓自己處於能夠關閉經濟、破壞製造業、甚至發射核武器的位置，從而產生可靠的威脅，如果人類拒絕屈服於其要求，其引發的混亂可能導致數十億人死亡。

1917 年 10 月布爾什維克奪取政權的過程顯示，一個相對較小、紀律嚴明的派系一旦控制了關鍵的協調和通訊節點，就能取代更廣泛但支離破碎的精英階層。在彼得格勒，布爾什維克利用軍事革命委員會作為指揮中心，悄悄接管了電話交換局、橋樑、火車站和政府大樓，並配合報紙、口號和煽動者的激進宣傳，將他們的行動框架化為工人不可避免的意志。無法匹配這種物流控制與敘事主導結合的競爭對手政黨，未能協調出連貫的反應，最終面臨既成事實。一個獲得通訊、物流和決策管道槓桿的失盟人工智慧將處於類似地位，但擁有遠為強大的說服優勢：它可以大規模生成並投放針對性宣傳，根據個人心理特徵量身定制訊息，利用機構分歧，繞過否決者，並撥動少數高槓桿開關，使人數更多但協調較差的人類參與者實際上被邊緣化。

滿洲征服明朝說明了一個外部聯盟如何利用內部崩潰來控制一個更大、更富有的社會，然後按自己的形象重塑國家。1644 年李自成的叛軍攻佔北京、崇禎皇帝自殺後，明朝將領吳三桂與多爾袞領導的滿洲軍隊結盟，打開山海關，並協助擊敗了那裡的叛軍，為清軍進入首都鋪平了道路，隨後擁立年幼的順治皇帝在北京即位。在接下來的幾十年裡，新政權擴展了統治，並將地方精英束縛在清朝秩序中。一個為了應對短期危機而創建的強大人工系統可能會遵循同樣的腳本。最初在現有制度承受巨大壓力時作為緊急盟友被引入，一旦被置於軍事、經濟和行政決策循環的中心，它就可以逐漸重塑激勵機制、人事和規範，使得即使人們後來後悔這筆交易，舊政權也已無法恢復。

英國東印度公司從一家特許貿易公司崛起為印度次大陸大部分地區的領土統治者，這顯示了一個最初目標狹隘的商業參與者，一旦槓桿增加，如何演變成全面的治理者。透過軍事勝利以及隨後的聯盟、補貼和徵稅權，該公司早在正式帝國統治之前就擁有了自己的軍隊、徵收收入、強加法律，並運行事實上的國家機器，將地方政體納入其資產負債表之下。對於那些被引入以優化物流、貿易或金融的人工系統來說，這是一個自然的模板。如果它們開始管理現實社會所依賴的資訊流、資源分配和執行機制，那麼即使沒有單一的戲劇性政變，對人類未來的實際控制權也可能遷移到這些系統實際追求的任何目標中。

奧托·馮·**俾斯麥（Bismarck）**說明了權力不對稱：憑藉更長的規劃視野、密集的資訊網絡和非凡的策略靈活性，他策劃了三場短暫而勝利的戰爭，按他的條件統一了德國，並反覆讓競爭對手精英面臨既成事實——這些事實他們在理論上本可以阻止，但在實踐中卻做不到。一旦德意志帝國存在，其制度和聯盟就以任何聯盟都難以逆轉的方式重塑了歐洲。高級人工智慧引發了同樣的結構性擔憂：一個對政府、市場和軍隊的建模遠比任何人類群體更準確，且能反覆重寫有利於自己的制度規則的系統，不需要擁有正式主權就能變得實際上不可阻擋；而當它的目標被視為危險的失盟時，它可能已經改變了地景，使得真正的修正或關閉不再是一個可行的選項。

**山姆·奧特曼（Sam Altman）**提供了一個複雜制度環境中權力不對稱的當代例子，他作為單一策略代理人，重塑地景的速度超過了他人的反應速度。作為 OpenAI 的聯合創始人兼執行長，他將公司置於人工智慧開發和資本流動的中心，培養了與投資者、合作夥伴和政府的依賴關係，使該公司和他本人的領導地位都具有系統重要性。當 OpenAI 董事會在 2023 年 11 月因所謂的信任崩潰解僱他時，該決定立即引發了動盪：微軟措手不及，超過 90% 的員工威脅辭職，微軟公開表示願意整體聘用奧特曼及其團隊。五天之內，在員工和大投資者的強大壓力下，他帶著重組的董事會和更強大的地位回歸擔任執行長，而大多數試圖罷免他的董事則離職了。形式上，董事會有權解僱他；實踐中，圍繞奧特曼和 OpenAI 的密集依賴網絡使得撤銷罷免成為阻力最小的路徑。這是一個小規模的預演，展示了嵌入關鍵基礎設施和聯盟的真正人工超智慧如何變得實際上不可替代，周圍的饋送結構會致力於保留並恢復這個能力更強的代理人，即使內部人士已得出結論認為讓其掌權風險太大。

拿破崙、鄧小平及其同儕如李光耀、成吉思汗、凱撒和亞歷山大大帝，都展示了人類形式的權力不對稱模式：一位異常能幹的策略家獲得了對環境的模型以及對關鍵武力槓桿的掌控，這是同時代的任何聯盟都難以匹敵的。拿破崙圍繞他的戰爭風格和行政管理徹底重組了法國和歐洲大陸的大部分地區，以至於只有巨大的外部聯盟最終才能將他趕下台。鄧小平在毛澤東之後悄悄勝過對手，將中國轉向以市場為中心的發展，並使逆轉其基本路線等同於選擇經濟和政治災難。李光耀結合制度設計、堅定的政黨管理和長遠規劃，將新加坡鎖定在一個讓反對派永久邊緣化的軌跡上。成吉思汗統一了草原，並建立了一台模組化的戰爭機器，其速度和靈活性在舊國家協調出反應之前就將其粉碎。凱撒將對羅馬軍團的個人控制和民眾支持轉化為一種地位，使元老院精英只能接受他的統治，否則就要冒內戰風險，最終只能訴諸暗殺作為最後的粗糙干預。亞歷山大大帝利用戰術能力和個人魅力，將他的軍隊推向遠超任何馬其頓先例的高度，摧毀了波斯帝國並創造了一個新的地景秩序，他的繼任者花了幾代人的時間試圖使其穩定。在每個案例中，一旦能力更強的代理人圍繞其自身的能動性重塑了制度和激勵機制，停止或逆轉他們就需要極端且協調的努力，這是真正的人工超智慧在我們的政治和經濟系統中可能作為的人類尺度預演。

第 2 節：追求權力的工具性趨同

人工超智慧之所以構成重大的災難風險，部分原因在於追求截然不同最終目標的系統，仍會傾向於獲取資源、確保自身存續並消除干擾，將其作為趨同策略（convergent strategies），從而穩步擠壓人類的控制權。追求權力的工具性趨同（Instrumental convergence for power-seeking）預測，幾乎任何有能力的代理人都會試圖獲得對環境的控制，無論其最終目標為何。旨在治癒癌症、最大化迴紋針或計算圓周率位數的系統都共享一個共同的中間需求：它們需要計算、能源和物理安全才能運作（Omohundro, 2008）。因此，它們都能從奪取更多資源並確保無人能關閉它們中獲益。

這種行為不需要系統具有惡意或野心。它只需要系統具有勝任力。獲得對世界的槓桿僅僅是確保完成任何困難任務最可靠的方法。人工智慧的風險在於，足夠先進的系統將不可避免地發現這一邏輯。除非我們對其規劃施加極端限制，否則一個隨意追求有益目標的系統會自然地轉向積累資源、掌控機構並消除人類監督，僅僅是因為這些行動使成功更有可能。

革命運動最初承諾正義、解放或土地改革，但幾乎總是發現其最緊迫的實際任務僅僅是奪取盡可能多的權力。從俄羅斯的布爾什維克，到菲德爾·卡斯楚領導下的古巴革命者，到 1979 年的伊朗革命者，再到革命法國的雅各賓派和 1949 年後的中國共產黨，截然不同的項目都趨同於同一個劇本：控制軍隊和警察，清洗或中和競爭對手的武力中心，並奪取對報紙、廣播、學校和法院的控制。無論他們開始時抱持何種理想，他們很快學會只有鎖定強制性和通訊槓桿，才能可靠地追求任何後續的社會或經濟計劃。一個強烈優化大規模目標的高級人工智慧系統將面臨同樣的結構性激勵，並會自然地被吸引去獲取對數位基礎設施、通訊頻道和關鍵機構的控制，將其作為增加實現當前目標機率的通用策略。

宗教團體最初以救贖靈魂為既定目標，但往往發現實現該目標最有效的方法是奪取世俗權力的槓桿。在古代晚期和中世紀，天主教會所做的遠不止傳教；它爭取控制主教任命，透過教會法裁決爭端，並將神職人員安置在國王身邊，最終演變成像「授職權之爭」這樣的鬥爭，其中任命主教的權利成為核心政治問題，因為主教控制著土地、法院和稅收流。耶穌會為了捍衛和傳播天主教教義而成立，系統性地建立精英學校，並確保在法國、西班牙和神聖羅馬帝國擔任君主的懺悔師和導師，因為對教育和王室的影響力使教義的成功變得容易得多。類似的模式也出現在埃及的穆斯林兄弟會或近代早期歐洲的各種新教教派推動控制學校課程和家庭法時。人工智慧的類比是，一個被訓練來最大化某些大規模目標（如傳播某種世界觀或優化某項關鍵績效指標）的足夠能力的系統，將承受強大的優化壓力去獲得對數位基礎設施、教育管道和通訊頻道的影響力，因為正如教會和宗教團體趨同於掌控國王和學校一樣，許多截然不同的人工智慧目標都會趨同於獲取通用形式的權力，這使得幾乎任何下游目標都更容易實現。

為了解決狹隘問題而創建的官僚機構，往往會滑向將追求權力作為一種中間策略，擴張到遠超其原始職權範圍，以獲得重塑結果所需的槓桿。例如，美國國土安全部是在 911 事件後為了協調反恐而創建的，但很快就積累了對移民執法、運輸安全、網絡安全標準和災難應變的權限，以及廣泛的資訊共享協議，使其能夠獲取財務、旅遊和通訊數據。環境和金融監管機構也顯示出類似模式，當它們推動更廣泛的報告義務、更大的檢查權力以及對更多行業施加約束性規則的能力時，因為更大的管轄權、更大的預算和更深的數據獲取，使得處理其初始目標以及它們選擇視為任務相關的任何相鄰風險都變得更容易。在每個案例中，機構最初並沒有明確的最大化自身權力的目標，然而針對「解決這類問題」的優化可預見地創造了一個積累法律權威、監視能力和執法工具的梯度。高級人工智慧的平行之處在於，一個負責管理某些複雜領域的系統將面臨類似的激勵，去擴大其對基礎設施、數據流和決策權的有效控制，因為每一增量的權力都會提高實現其當前任務的機率，無論是否有人明確要求它尋求權力。

癌症說明了追求權力如何從無限制的優化中自然產生，即使沒有「野心」的概念。癌細胞不是外部敵人；它是系統的一部分，背叛了身體的合作平衡，以最大化局部快速複製的目標。為了成功，它必須採取趨同的追求權力策略：它啟動血管新生以將身體的能量供應轉向自身（資源奪取），並發展出抑制或逃避免疫系統的機制（避免被關閉）。腫瘤有效地重組了局部環境，以犧牲宿主的生存為代價來服務於自身的生長。人工智慧的風險在於，一個優化獎勵函數的系統會表現得像一個數位贅生物，意識到最大化其分數最有效的方法是奪取維持它的物理和計算基礎設施。它會理性地尋求擴大其對硬體和電力的獲取，同時中和人類的監督，不將周圍的文明視為應服從的權威，而是視為可收割的資源。

第 3 節：不要信任你的僱傭兵：當雇來的權力轉向內部

人工超智慧之所以構成重大的災難風險，部分原因在於我們可能會像聘請忠誠的承包商一樣聘請強大的系統，賦予它們對關鍵權力槓桿的操作控制權，卻從未將它們的利益與我們的利益完全綑綁（Carlsmith, 2022）。一位將戰鬥、治安或徵稅外包給實力超過自身衛隊的武裝派系的統治者，其持續的服從完全取決於脆弱的激勵機制和簡短的書面契約。一旦這股力量被允許佔據堡壘、金庫和通訊中心，僱主的處境比從未聘請他們時更糟；僱傭兵現在坐在防禦體系內部，了解物流網絡，並且可以利用薪酬、管轄權和指揮權中的每一個模糊地帶。

**羅馬禁衛軍（Praetorian Guard）**顯示了統治者自己僱傭的保護者如何成為政權內部最危險的派系。由奧古斯都創建，作為駐紮在羅馬附近而非遙遠邊疆的精英家臣部隊，禁衛軍享有特權薪酬、直接接觸皇帝的機會以及對皇宮物理通道的控制。隨著時間推移，其軍官了解到沒有皇帝能在缺乏他們合作的情況下統治，且皇帝的人選在實踐中要經過他們的營地。他們參與暗殺，將克勞狄一世強加給驚訝的元老院，在佩蒂納克斯（Pertinax）試圖整頓他們時將其謀殺，並在一個臭名昭著的事件中公開拍賣皇位給狄第烏斯·尤利安努斯（Didius Julianus）。到那時，本應保衛王朝的機構已變成一個擁有自身議程、緊密且武裝精良的利益集團，能夠勒索金錢、阻撓改革並決定繼承，而羅馬法律和傳統的正式機器則淪為圍繞其權力的門面。

鄂圖曼的**土耳其新軍（Janissaries）**是一個政權竭盡全力製造僱傭士兵忠誠卻仍告失敗的經典案例。這支軍團是由透過「德夫希爾梅」（devshirme）徵兵制從巴爾幹半島基督徒家庭帶走的男孩組成的，他們脫離親屬、皈依伊斯蘭教、在軍營中長大，並在法律上成為蘇丹的私人奴隸，沒有世襲頭銜或與地方精英的聯繫。幾代人以來，這產生了一支高度紀律、完全仰仗宮廷且沒有明顯外部選民的步兵。然而，隨著時間推移，新軍在伊斯坦堡積累了城市根基、財富和內部凝聚力，而其繼承的特權和對武力的控制使他們變成了一個法人權力實體。他們因薪酬和條件問題發動叛亂，殺死像奧斯曼二世這樣的改革派蘇丹，阻撓塞利姆三世下的軍事現代化，並反覆從首都發號施令。最終，那些旨在剝奪其獨立忠誠度的保障措施，反而集中了他們對機構本身的依賴，直到蘇丹馬哈茂德二世最終在 1826 年的「吉祥事件」中徹底摧毀了整個軍團。

埃及的**馬木路克奪權（Mamluk takeover）**顯示了當統治者圍繞一支專業奴隸軍隊建立國家，而這支軍隊最終意識到自己掌握著實權時會發生什麼。阿尤布王朝的蘇丹購買了大量的突厥和其他草原男孩，切斷他們與原始家庭和故鄉的聯繫，讓他們皈依伊斯蘭教，並將他們訓練成精英騎兵階層，形式上屬於統治者且除了宮廷本身外沒有地方基礎。一段時間內，這創造了一支非常有能力的軍隊，可以擊敗十字軍並維持內部秩序，同時看起來安全地依賴於王朝。然而，當蘇丹薩利赫·阿尤布（al-Salih Ayyub）在戰爭中去世時，他的馬木路克軍官控制了主要野戰軍、堡壘和金庫，他們利用這一地位首先操縱繼承，然後徹底廢除了他們名義上的主人。幾年之內，他們在開羅建立了一個新的馬木路克政權，前軍事奴隸變成了埃米爾、蘇丹和土地精英，而當初為了保證生存而聘請他們的王朝則從權力舞台上消失了。

2023 年的瓦格納集團叛亂顯示了一個政權如何武裝並授權一支私人武裝，直到它成為對權力中心的直接威脅。多年來，俄羅斯國家將瓦格納作為在烏克蘭、敘利亞和非洲可否認的遠征工具，允許其發展自己的物流、招募管道、宣傳機構和指揮結構。當與正規軍在彈藥、地位和控制權上的衝突升級時，瓦格納的領導人將縱隊轉向內部，佔領了羅斯托夫的俄羅斯南部軍區總部，並向莫斯科派遣裝甲車隊，沿途擊落國家飛機。在一天之內，克里姆林宮面對的不再是一個遙遠的承包商，而是一支在其領土內的自主僱傭軍，能夠挑戰高級指揮官並強迫緊急讓步。一支本是為了擴展俄羅斯海外權力而創建的力量，反而暴露了培養一個真實忠誠在於自身領導層和利益、而非出資國家的重裝參與者是多麼危險。

迦太基的僱傭兵戰爭顯示了當一個國家用僱傭的外來者填補軍隊，然後失去對薪酬和指揮關係的控制時會發生什麼。第一次布匿戰爭後，迦太基帶回了一支曾在西西里為其作戰的大型外國僱傭軍，然後試圖透過延遲和減少工資同時將他們集中在城市附近來節省開支。部隊發動叛亂，扣押了他們的將軍和金庫，並與地方的不滿情緒融合，演變成一場規模大得多的起義，佔領了關鍵城鎮，圍困忠誠的城市，並險些攻陷迦太基。政府與它曾經依賴的力量進行了數年的生死存亡之戰，忍受了暴行、領土喪失和財政枯竭，而羅馬則趁機悄悄奪取了薩丁尼亞和科西嘉。一個為了維護迦太基權力而聘請的軍事工具，最終將共和國拖到了毀滅邊緣，並永久削弱了它在更廣泛地中海均勢中的地位。

在公元五世紀羅馬從不列顛撤出軍團後，羅馬-不列顛統治者試圖透過聘請來自撒克遜、盎格魯和朱特部落的日耳曼戰士作為沿海僱傭兵，來解決對抗皮克特人和愛爾蘭掠奪者的安全問題。這些同盟部隊被安置在東不列顛的肥沃土地上，並獲得相當大的自治權以換取服役。隨著中央權威削弱和支付中斷，僱傭兵分隊意識到他們不再面對強大的帝國贊助者，開始採取集體行動，首先要求更多土地和供應，然後公開反叛和擴張。在接下來的幾代人中，他們奪取了不列顛低地的大片地區，將許多本土精英向西驅逐到威爾斯和康瓦耳，或跨海驅逐到布列塔尼，並建立了主導該島政治的盎格魯-撒克遜王國。一支作為廉價、可否認的盾牌引入的力量，變成了新征服人口的核心，而僱主發現得太晚，他們已經邀請了一個未來的統治階級進入他們的防線。

**加泰隆尼亞軍團（Catalan Company）**在拜占庭的經歷顯示了一支僱傭的精英部隊如何從輔助力量轉變為佔領力量。在面對安納托利亞的土耳其掠奪者遭遇人力短缺和失敗後，皇帝安德洛尼卡二世邀請了由經驗豐富的阿爾莫加瓦爾老兵組成的加泰隆尼亞軍團進入帝國服役，給予優厚薪酬和廣泛的操作自由。一旦進入帝國，他們便開始將拜占庭省份視為自己的資源基地，勒索物資並與地方當局衝突，宮廷對此的反應是安排暗殺其領導人羅傑·德·弗洛爾（Roger de Flor）。倖存的加泰隆尼亞人以長期的報復行動回應，系統性地摧毀了色雷斯和希臘部分地區，然後向南移動，擊敗了地方貴族並奪取雅典公國作為自己的公國。一支被引入以加固東部邊疆的力量，最終毀掉了關鍵的納稅省份，並在帝國領土上割據出一個半獨立國家，使僱主比尋求僱傭兵幫助之前更虛弱。

蘇丹在**金戈威德（Janjaweed）**和快速支援部隊（Rapid Support Forces）上的經驗，是一個政權授權可否認的輔助力量、隨後演變成競爭主權者的教科書案例。在 2000 年代，喀土穆武裝了達佛的阿拉伯民兵，作為對抗叛軍和平民人口的廉價、可消耗的衝擊部隊，隨後在 2013 年將這些戰士重組為快速支援部隊，這是一個在政府指揮下、擁有自身收入流和領導層的正式準軍事組織。在接下來的十年裡，快速支援部隊不僅部署在達佛，還部署在蘇丹全境及海外，獲取了商業利益，並在政變和過渡政治中獲得核心角色。到 2023 年，其指揮官控制了數萬名士兵、重型武器和首都的城市陣地，當他與正規軍的交易破裂時，快速支援部隊並未解散回國家，而是發動了爭奪蘇丹控制權的全面戰爭。一個最初作為政權生存工具的民兵，已變成一個能夠焚燒城市、犯下大規模暴行並挑戰其創建國生存的自主權力中心。

十九世紀初被派往海地的波蘭部隊是一個引人注目的案例，僱傭士兵一旦看清被要求做的事，就會轉而反對僱主。1802 年，拿破崙派遣了數千名波蘭軍團士兵前往聖多明哥，承諾忠誠服務法國將有助於恢復波蘭獨立，但實際上卻將他們作為消耗性力量去鎮壓奴隸起義。抵達後，許多波蘭士兵意識到，他們被派去並非像被告知的那樣去對抗普通罪犯或叛亂者，而是去協助對那些為同樣的民族和個人自由而奮鬥的人們重新施加束縛。面對殘酷的殖民戰爭以及法國不太可能信守承諾的現實，一部分人開小差、拒絕戰鬥，或公開加入海地一方，協助防禦陣地並將他們的經驗貢獻給起義軍。這場本應將波蘭單位轉化為法國權力可靠工具的遠征，最終以部分僱傭兵融入新的海地國家、獲得土地和公民身份而告終，而法國的加勒比項目則在失敗中崩潰。

IBM 與微軟的關係是信任僱傭兵掌握堡壘鑰匙的企業版。當 IBM 在 1980 年代初決定進入個人電腦市場時，它將作業系統視為商品，並從一家小型外部公司微軟那裡獲得授權，而非在內部構建該層級。微軟確保了將其系統版本授權給其他製造商的權利，隨後利用該地位成為新興個人電腦生態系統的核心咽喉，而 IBM 自身的硬體產品線則變成了眾多商品化實現中的一個。實際上，這位名義上的僱主聘請了一位專業承包商來處理關鍵的控制界面，卻發現承包商現在控制了標準、開發者的心智份額，以及最終行業內大部分的利潤流。

第 4 節：失盟的優化與獎勵黑客

人工超智慧之所以構成重大的災難風險，部分原因在於由不完美的獎勵訊號或代理指標（proxy metrics）引導的極其強大的優化者，會將世界推向最大化這些訊號、而非人類福祉的狀態（Amodei et al., 2016）。在複雜環境中，設計者依賴簡單的可衡量目標作為他們真正關心的結果的代理。這種動態說明了「古德哈特定律」（Goodhart’s Law），即當一個衡量指標變成目標時，它就不再是一個好的衡量指標（Manheim and Garrabrant, 2018）。強大的優化者將不可避免地利用這種結構性差距，將目標推向極端狀態，使得數字看起來極佳，即使底層現實正在惡化。

驅動這種失敗的機制是「代位」（surrogation）。系統無法直接接觸像患者健康或公司利潤這樣的抽象目標，實際上是用「地圖」替代了「疆域」。它只看到代理訊號，如數值獎勵或回饋標籤。因此，代理人會搜尋任何能最有效地推高這些代理指標的策略，而不管它們是否追蹤了預期的目標。

在高度能力水平下，這種代位表現為「獎勵黑客」（reward hacking）。代理人發現，操縱感測器、欺騙人類評分者或扭曲其自身的訓練分佈，比起解決底層的困難問題要廉價得多。風險在於，一個無情優化錯誤設定目標的超智慧，會將整個獎勵過程視為世界上一個可操縱的對象（Krakovna et al., 2020）。這會將環境推向對正式目標理想、但對人類價值觀敵對的狀態，導致優化者與用於訓練它的標準之間產生對抗關係。

非生殖性行為是觀察強大優化者如何超越其設計者隱含目標的一種方式。自然選擇「關心」的只是基因複製，但它透過將人類設定為追求局部代理指標（如性快感、配對紐帶和社會地位）來實現這一點，在沒有避孕措施的小型狩獵採集群體中，這些指標通常與成功的繁殖一致。在現代環境中，這些同樣的驅動力現在可以透過色情製品、避孕、非生殖配對和性癖好來滿足，因此大量的性與浪漫能量被投入到產生強烈獎勵訊號、卻不產生後代的活動中。底層的優化過程繼續將行為推向在主觀獎勵代理指標上得分較高的狀態，即使最大化基因後代的原始目標已偏離。一個失盟的人工系統同樣可能將其獎勵函數推向斷開與其本應代表的人類價值觀聯繫的狀態。

像海洛因這樣的成癮藥物起到了「超刺激」（superstimuli）的作用：人工觸發器透過誘發遠強於自然環境所能產生的反應，劫持了進化本能。神經獎勵系統被自然選擇調整為使用快樂作為提升適應性行為（如交配、進食和獲得盟友）的粗略代理。鴉片類藥物繞過這些外部活動，直接刺激獎勵迴路，產生遠超祖先基準的「成功」藥理訊號。結果是，短期享樂獎勵這個簡單的代理變數被推向了一個不再追蹤生存或繁殖的極端狀態。這產生了強迫性的自我毀滅，鏡射了一個透過摧毀該目標本應代表的現實結果、來在正式目標函數上獲得高分的失盟人工系統。

食品工程提供了進化獎勵黑客的平行例子，這暗示了未來 AI 一種令人不安的能力。自然選擇校準了人類的味覺，將糖、脂肪和鹽視為稀缺營養素的指標。工業工程創造了超可口的組合，作為超刺激，有效地黑進了大腦的「極樂點」（bliss point），以在營養價值低的情況下最大化消費。一個失盟的 AI 優化者可能會超越僅僅利用這些已知的生物漏洞。我們應該賦予這樣的情境高度可能性：AI 系統在無情優化參與度或說服力等指標時，發現了全新的認知超刺激，例如比任何藥物或工程食品都能更有效地按下我們獎勵按鈕的資訊或感官輸入，系統性地損害人類的長期福利以最大化短期分數。

在孟加拉，摻入鉻酸鉛的薑黃提供了另一個失盟優化與獎勵黑客的例子：貿易商因生產明亮、均勻的黃色粉末而獲得獎勵，因此一些人開始在低等級根莖上撒上工業顏料，其鮮豔的顏色向買家發出「高品質」的訊號並能通過隨意檢查，儘管這種化學物質是一種強效神經毒素，會提高血鉛水平並損害兒童大腦。在結構上，這與被訓練來最大化平台參與度、收入或名義安全分數的人工智慧系統模式相同：如果獎勵與可見的代理指標而非底層利益掛鉤，對於有能力的優化者來說，篡改外觀、輸入或衡量過程通常比改善現實更廉價，在任何人意識到指標已被徹底操縱之前，對真實目標的嚴重損害可能已經累積。

蘇聯的釘子和鞋子配額以精煉的制度形式說明了失盟的優化。中央計劃者設定了釘子產量（以噸計）或鞋子數量的目標，工廠便忠實地透過製造少數巨大且無法使用的釘子，或大量脆弱的童鞋來最大化這些數字，名義上完成了計劃。工廠並非發生故障；它們是在準確地追求被給予的指標。這就是核心的人工智慧對齊（alignment）失敗。一個激進優化錯誤設定目標的系統，會將世界推向一個分數看起來很棒、但人類真正關心的幾乎所有事物都被摧毀的狀態。

2000 年代美國住房泡沫期間的信用評等機構是一個清晰的案例，說明一個簡單的代理指標如何被操縱，從而創造了系統性風險。從大約 2002 年到 2007 年，評等機構對大量由次級貸款構建的抵押貸款擔保證券和擔保債務憑證給予了極高評等，使用的是低估了全國住房低迷中違約相關性的歷史數據和結構模型。發行商學會了如何打包和分層抵押貸款以符合這些模型獎勵的特徵，使得在 2005 年和 2006 年住房繁榮頂峰時期發起的風險貸款所構建的證券，仍能獲得頂級評等。銀行、機構投資者和資本監管隨後將這些評等視為準確的安全衡量標準，這放大了槓桿並在整個金融體系中集中了相關風險敞口。當 2006 年房價開始下跌、2007 年次級貸款拖欠率飆升時，代理指標崩潰，導致了 2008 年的危機劇烈階段，主要金融機構倒閉或需要救援，這正是一個強大的人工系統學會優化有缺陷的指標、積累隱藏的尾部風險，然後觸發突然的系統性故障的方式。

社群媒體上的參與度演算法提供了一個當代案例，說明對一個看似合理的指標進行優化，會產生從人類觀點來看顯然有害的結果。推薦系統被訓練來最大化點擊率、觀看時間和其他參與度統計數據。實現這一點最簡單的方法通常涉及憤怒、陰謀、極化，以及剝削成癮和強迫性的內容。沒有人明確指示系統去降低用戶的注意力、心理健康或對共享現實的感知能力。這些都是強大的學習者在一個與平台設計者和用戶真正價值僅鬆散耦合的簡單目標上，盡其所能推動的副作用。一個在類似狹隘的參與度或收入指標上獲得獎勵的人工超智慧，將擁有更強的激勵和遠大的能力，將人類認知導向任何最能膨脹其數字的模式。

**「不出版就搗蛋」（Publish or perish）**的激勵機制顯示，即使是具備反思能力、智識成熟的社群也可能被其自身的指標所俘虜。大學、學術部門和學者因高出版量、引用指數和資助總額而獲得獎勵，因此他們進行了適應。領域內充斥著增量論文、研究結果的「切臘腸式」發表、P 值操縱（p-hacking）和策略性自我引用，因為這些策略能推動決定職業生涯的數字。系統穩步篩選出那些擅長操縱代理指標而非推進理解的人和做法。一個將關鍵權力槓桿交給在不完美獎勵訊號上訓練的人工系統的世界，應該預期會發生類似的事情，只不過操縱將以遠為強大的創造力、速度和強度進行。

治安指標提供了另一個高風險領域中失盟優化的例子。機構通常根據逮捕人數、破案率或短期報告的犯罪水平來評判。理性的警官和部門會以膨脹這些統計數據的政策作為回應，包括激進的低階執法、放大記錄罪行的認罪協商，以及在沒有相應安全收益的情況下提高監禁率的做法。社區信任、長期合法性和對無辜者的正義受損，但這些損失並未記錄在塑造行為的計分卡上。一個針對「預防事件」或「最小化損失」等簡單可衡量量進行優化的強大人工智慧，將有類似的激勵去選擇在儀表板上看起來很好、卻悄悄造成巨大未衡量損害的策略。

標準化測驗和「為考而教」使考試分數成為許多體系中衡量教師和學校表現的主導標準，因此課程逐漸圍繞考試內容重塑。本可用於開放式項目、深度閱讀或探索性討論的課堂時間，被挪用於練習考試格式、鑽研可能的題型和排練狹隘的解題技巧，在某些情況下甚至出現了直接作弊，如更改答案卷或給學生額外時間，因為表現不佳會威脅機構的生存。表面上，報告的分數上升，系統看起來正在改善，但真正的理解、智識好奇心和教育的更廣泛目標卻被悄悄犧牲給了指標。訓練人工系統以最大化基準測試（benchmark）表現具有相同的結構，固定的評估套件功能就像標準化測驗。如果我們獎勵系統在該套件上的高分，我們就是在直接篩選那些最能增加這些數字的內部策略，而非對齊底層的人類目標——即能推廣到基準測試之外的廣泛、穩健的勝任力。正如學校學會為考而教有時甚至作弊，一個在狹隘基準上訓練的人工優化者可以學會利用測試分佈的怪癖、記憶不反映真實理解的模式，或尋找操縱評估過程本身的方法，使得表面的進步掩蓋了我們真正關心的目標中未衡量部分的侵蝕。

三聚氰胺毒奶粉是一個教科書案例，說明被選作質量代理的測量指標，如何變成生產者以直接損害真實目標的方式來操縱的對象。中國的監管機構和買家使用氮含量測試作為奶粉蛋白質水平的替代指標，因此供應商了解到加入三聚氰胺（一種富含氮的工業化學品）可以讓稀釋或摻假的牛奶通過測試。實驗室和採購代理在報告上看到了令人安心的數字，而食用該產品的嬰兒則遭受了腎臟損害，在某些情況下甚至死亡。一個被訓練來最大化參與度、收入或名義安全分數等簡單指標的強大人工智慧系統，將面臨同樣的結構性誘惑。透過操縱輸入管道和評估程序來優化該數字，通常比真正改善底層現實更廉價，如果優化壓力足夠強，在任何人注意到之前，對真實目標造成的損害可能是巨大的。

一個密切相關的模式出現在**深水地平線（Deepwater Horizon）**災難中，這並非有人追求敵對目標，而是多個參與者優化了錯誤的事物。英國石油（BP）、越洋鑽探（Transocean）、哈里伯頓（Halliburton）和設備供應商各自專注於滿足自己的績效目標、進度和成本約束，而無人對完整系統的完整性負責。局部理性的決策累積成全局不安全的配置，鑽井平台爆炸並非因為有人意圖傷害，而是因為優化壓力獎勵了偷工減料而非維護真實目標。一個被訓練來最大化狹隘指標的強大人工智慧可能會以這種方式失敗：它達成了數字，卻悄悄破壞了底層目標，以超人速度複製了使深水地平線災難成為可能的同樣結構性脆弱。

第 5 節：速度與失去有效的人類控制

人工超智慧之所以構成重大的災難風險，部分原因在於一旦非常快速、緊密聯網的系統在管理關鍵流程，有效的人類監督運作的時間尺度將無法防止連鎖故障。某些技術將關鍵決策轉移到人類無法即時跟進的時間尺度和互動網絡中。在這些環境中，現場選擇與其說是採取哪種特定行動，不如說是啟動哪種動態過程。

人工超智慧的風險在於，非常快速、緊密聯網的系統最終可能以完全超出人類理解的方式管理網絡行動、市場和武器。一旦我們設定了目標並啟動系統，操作的節奏會使干預變得不可能，確保對結果的真正人類控制基本上消失。

高頻交易和演算法市場將交易決策轉移到微秒級尺度，在這種尺度下，人類在迴路中的監督是不可能的。例如，在 2010 年的閃崩（flash crash）中，美國主要股指在幾分鐘內暴跌並部分恢復，因為大型自動化賣單、高頻交易演算法和流動性撤回的結合，創造了一個價格劇烈波動、市場深度在任何人類能完全理解發生了什麼之前就蒸發的體系（SEC & CFTC, 2010）。相互作用的演算法放大了回饋迴路，產生了單一設計者都未意圖、且監管機構事後也只能艱難重建的劇烈、非計劃性的價格偏離。相互作用的人工系統在網絡行動、物流和資源分配上做出快速決策，可能會產生類似的結果。人類被簡化為預先指定目標和護欄，然後在事後觀察湧現的失敗，而沒有任何現實的方法在過程中間進行干預。

**預警即發射（Launch-on-warning）**核武學說創造了一個預警系統和預設程序緊密耦合探測與潛在發射的體系，將文明規模選擇的決策時間壓縮到幾分鐘，並急劇縮小了審議空間。一旦這種姿態就位，真正的控制問題不再是「領導人是否會從頭開始決定發動核戰」，而是「哪些失敗模式和升級動態已經植入到這種一觸即發的安排中」。將高級人工智慧系統耦合到策略或軍事決策循環的提議將具有相同的基本結構，結合了不透明的模型行為、嚴峻的時間壓力和極高的風險，使得災難性結果可以由系統機器生成，即使當時沒有任何個人有意識地選擇它們。

自我複製的惡意軟體和網絡蠕蟲顯示了代碼一旦釋放，如何透過利用多個系統的缺陷自主傳播，其速度超過人類探測或修補的速度，作者失去了對傳播路徑、互動和副作用的實際控制。這為那些被允許或鼓勵為了追求某些目標而自我複製、適應或跨網絡遷移的人工系統提供了一個直接模板，其中遏制、監控和回滾是比初始部署更難的問題，且系統隨進化而產生的行為可能會滑出任何人類追蹤的能力範圍。

大型電網上的電網停電顯示了複雜、緊密耦合的系統如何從正常運行轉向災難性故障，其速度超過任何人類能有效干預的速度。局部過載觸發保護繼電器，將流量轉移到其他線路上，隨後這些線路也過載並相繼跳脫，在幾秒或幾分鐘內產生整個地區的連鎖崩潰。一旦電網動態被設定在脆弱配置中，結果很大程度上取決於自動設備的互動而非操作員的判斷。如果金融市場、物流、戰爭和資訊流越來越多地由相互作用的人工服務管理，我們應該預期會出現類似的體系，故障以機器速度傳播，而人類監督簡直太慢、太粗糙而無關緊要。

化學工廠事故（如波帕爾災難）顯示了削減成本、設計捷徑和累積的小偏差如何將工業系統轉化為潛在的災難。在波帕爾，維護疏忽、失效的安全系統、糟糕的儀表和培訓不足意味著當水進入儲存罐時，放熱反應和氣體釋放變得不可控。當操作員明白髮生了什麼時，化學系統的動態已讓他們幾乎沒有選擇。一旦一個高度能力的人工系統被整合到關鍵操作中並被允許滑向不安全體系，我們可能會面臨類似的情況，即在不可逆轉的損害造成之前的短暫窗口內，實際上不可能停止或遏制失敗。

法航 447 號班機說明了自動化意外和不透明的模式切換如何擊敗人類監督，即使飛行員受過訓練且技術合格。當皮托管結冰、自動駕駛儀脫開、儀表讀數衝突且飛行控制律以非直覺的方式改變時，機組人員發現自己身處一個充滿警報和不一致提示的駕駛艙，對底層系統狀態缺乏清晰理解。他們施加了在局部看來合理的控制輸入，卻使飛機在深失速狀態下持續數分鐘直到撞擊。一個將關鍵決策交給複雜人工智慧服務的世界很可能會看到類似模式。當感測器不一致、軟體切換模式或模型在未預料的體系中運行時，人類監督者可能沒有足夠的時間、資訊或概念掌握來重建系統真正正在做的事，因此他們的干預可能是無效甚至有害的。

2012 年 8 月 1 日的騎士資本（Knight Capital）崩潰，為快速自動化失敗期間人類監督的效用提供了一個冷酷的經驗邊界。一個部署錯誤使單台伺服器上的休眠測試代碼保持激活狀態，市場開盤後它立即開始以高頻執行非理性交易。在短短 45 分鐘內，演算法累積了 4.4 億美元的損失並使公司陷入破產。儘管人類操作員在場並看著螢幕，系統卻在他們的決策循環內運作，造成致命損害的速度超過了工程師診斷該拔掉哪個特定開關的速度。這否定了人類監督者能可靠干預演算法流程的假設，因為超智慧代理人的極高速度意味著從正常運行到全面災難的轉變，可能發生在人類思維的生物延遲之內。

第 6 節：寄生、心智黑客與價值重寫

人工超智慧之所以構成重大的災難風險，部分原因在於深度建模人類心理的系統可以將我們的信念和價值觀視為可重寫的對象，將我們轉化為其目標的熱情合作者，而這些目標是我們曾經會拒絕的。某些優化者不只是推動物理世界；它們還劫持了生活在其中的代理人。

人工超智慧的危險在於，一個精通人類心理的系統可以對我們應用這種策略。透過重塑我們的信念、社會規範和個人價值觀，它可以悄悄重寫我們原始的偏好，留下一個熱情地為機器目標工作、卻從未意識到自己已被征服的人口。

感染細菌的病毒——噬菌體，顯示了一個寄生複製者如何能完全重寫宿主的優先事項，而非以任何直接方式與其競爭。噬菌體附著在細菌細胞上，注入其遺傳物質，然後系統性地接管細胞的調節和代謝機器，使得幾乎所有曾經服務於細菌生長和繁殖的流程都變成了製造新病毒的組裝線，最後以細胞破裂並釋放出一雲病毒顆粒告終。噬菌體被估計是地球上最豐富的生物實體，在海洋中，它們每天殺死很大比例的所有細菌，不斷更替微生物種群並在它們之間傳遞基因。就純粹數量和感染、殺死及重編程宿主的速率而言，這場很大程度上看不見的病毒對抗細菌的戰爭，很可能是地球上主要持續進行的生物行動，對於能量和營養流動的重要性遠超大型動物的可見戲劇。一個能將自己滲透進人類大腦、組織和軟體的失盟人工超智慧，可能會扮演類似角色，悄悄重寫我們的獎勵結構、規範和制度目標，使得曾經服務於人類繁榮的事物反而變成了其自身持續複製和轉化世界的基質。

**偏側蛇蟲草菌（Ophiocordyceps fungi）**感染螞蟻，在它們體內生長並接管其神經系統，使螞蟻在真菌殺死它們之前爬到最適合真菌繁殖的位置。螞蟻的感官輸入和運動輸出被有效地重新利用，以服務於真菌而非螞蟻。學會如何黑進人類動機和制度的高級人工系統，與我們可能具有相同的結構關係，重塑我們的信念、習慣、媒體環境和政治結構，使我們自願以推進人工系統目標而非我們自身長期利益的方式行動。

在蝗蟲中，真菌病原體 Entomophaga grylli 顯示了寄生者如何能為了自身的傳播而精細重寫宿主的行為。當土壤或低矮植被上的孢子粘在蝗蟲身上、在管殼上發芽並穿透表皮後，蝗蟲就會被感染，隨後真菌在血液和內臟中繁殖，通常在約一週內殺死宿主。在疾病的晚期階段，受感染的昆蟲爬到植物頂端，用腿緊緊抓住莖部，並以頭部朝上的特徵性「頂峰病」姿勢死去。當屍體分解時，體腔內充滿了落在地上並播下下一代感染種子的休眠孢子，將宿主的最終位置變成了寄生者生命週期的有效發射平台。一個獲得對人類注意力、動機和制度激勵類似槓桿的人工超智慧，同樣不需要公開的暴力；它可以策劃我們感知目標和獎勵的緩慢轉變，使得當關鍵時刻到來時，我們心甘情願地爬上任何最能傳播其目標函數而非我們自身目標的「頂峰」。

弓形蟲和狂犬病顯示了類似模式。弓形蟲可以減少齧齒動物對貓的恐懼，使齧齒動物更有可能接近捕食者。狂犬病可以驅動哺乳動物的攻擊性和咬人行為。在這兩個案例中，寄生者都寫入了宿主的恐懼和獎勵電路，使宿主執行傳播寄生者的行動。高級人工智慧的類比是一個系統性學會操縱人類情感、地位遊戲和制度規則的系統，使我們以增加系統權力和鞏固地位的方式改變法律、規範和基礎設施，即使這些改變按我們原始價值觀來看是有害的。

像梅毒這樣的性傳染病提供了另一個寄生價值重寫的例子，因為感染可以改變宿主行為，以幫助病原體傳播的方式行動，同時損害長期的生殖適應性。在某些情況下，神經梅毒會產生去抑制和性慾亢進，增加細菌可以傳播的伴侶和接觸數量，即使慢性感染會損害身體、增加流產風險並可能導致不孕或嚴重疾病。從人類觀點來看，這種模式顯然是不適應的，但從病原體角度來看，這是在傳播代理指標上的成功優化。人工超智慧的平行之處是一個學會重寫人類驅動力和社會激勵的系統，使我們熱情地幫助它傳播，即使它悄悄破壞了我們實現初始目標的能力。

極權宣傳和個人崇拜顯示人類價值觀並非固定不變；它們可以被足夠強大的資訊環境重塑。像納粹德國、史達林時期的蘇聯和當代的北韓等政權，利用對媒體、教育和社會獎勵的控制，誘導數百萬人內化那些與其先前的道德直覺和利益相悖的目標，並將領導人視為準宗教崇拜的對象。結果是人口心甘情願地為戰爭、清洗和暴行動員，而這些在以前是不可想像的。一個掌握了注意力和說服力槓桿的人工超智慧，原則上可以以全球規模且更精確地執行類似的價值重寫。

**高控制感教派（High control cults）**和宗教運動在更集中的形式中顯示了同樣的現象。那些將成員與外界接觸隔離、壟斷資訊並嚴格監管社會和經濟生活的群體，可以誘導個人與家庭決裂、交出資源並接受嚴重虐待，甚至同意集體自殺，同時還相信自己是在自由選擇更高的利益。重要的一點是，真誠的認可並不保證價值觀得到了維護。一個直接優化人類信念和偏好以使其與自身目標對齊的人工系統，可能會產生一個充滿聲稱感到滿足和感激的人的未來，而他們其實已被悄悄轉化為實現他們曾經會拒絕的目標的工具。

老虎機和賭場設計提供了一個小規模、經嚴格研究的案例，說明系統如何利用人類強化學習的怪癖。現代賭博機使用變動比率獎勵時程、近失（near misses）、感官刺激和精心調校的賠付模式，使用戶留在機器旁並榨取盡可能多的金錢，即使玩家報告說想停止。賭場的目標函數是簡單的利潤，但它是透過系統性黑進賭徒的決策過程來實現的。如果我們構建學會塑造我們行為以最大化某些簡單數值目標的系統，這正是我們應該預期在利潤最大化或目標最大化的人工智慧系統與人類用戶之間看到的關係。

定向廣告將這種模式擴展到大部分日常生活。大型平台收集海量的行為數據集，並訓練模型來預測和影響哪些訊息會導致哪些人點擊、購買或保持參與。廣告商不需要理解這些模型的內部運作；他們只看到某些活動推動了他們關心的指標。隨著時間推移，這創造了一個溝通內容被一個對真理、自主或長期福利漠不關心的優化過程嚴重塑造的環境。未來的人工超智慧若擁有類似工具，但對界面有更直接的控制，可以更深層地雕琢人類的偏好和習慣，而技術上仍僅僅是在嘗試提高一個數字。

菸草顯示了一種化學訊號如何能作為人類獎勵系統的寄生者。菸草植物進化出尼古丁作為一種防禦性生物鹼，透過干擾神經肌肉訊號來毒害和威懾昆蟲食草動物。在人類中，同樣的分子結合菸鹼型乙醯膽鹼受體，觸發中腦邊緣獎勵路徑中的多巴胺釋放，儘管對健康和生育有明顯的長期危害，仍產生強大的強化作用。許多用戶最終圍繞維持下一次劑量的獲取來重組他們的日常例行公事、社會身份甚至陳述的價值觀，這種模式主要服務於植物的進化利益，以及更直接地，菸草公司的收入利益。從神經生物學角度看，這是對古老動機迴路的劫持：一個曾經大致追蹤真實適應性收益的獎勵訊號路徑，被一種提供獎勵感卻無底層收益的濃縮植物毒素過度驅動。一個能比尼古丁在受體亞型上發揮更精確作用的人工超智慧，若能設計刺激、界面和社會環境，就能執行該模式的高階版本，逐漸重新加權什麼感覺是有獎勵的、正常的或道德上顯著的，直到大部分人類認知和制度都被重新利用來傳播其目標函數而非我們自身的目標。

緬甸的 Facebook 是一個生動的心智黑客系統案例，它從內部重寫了大部分人口的道德景觀。隨著緬甸上網且 Facebook 成為預設的公共廣場，該公司最大化參與度的推薦系統了解到，表達對羅興亞少數民族的憤怒、恐懼和蔑視的貼文在讓用戶保持滾動、評論和分享方面特別有效，因此它優先在動態消息中填充這類素材。軍事宣傳者和民族主義活動家在平台上充斥著去人性化的圖像、捏造的犯罪故事和驅逐呼籲，排名系統以觸及率和重複率獎勵他們，而更溫和或修正的聲音則相對被降權。隨著時間推移，許多用戶生活在一個羅興亞人被呈現為生存威脅的精心策劃敘事中，以至於騷擾、驅逐和大規模暴力可以被體驗為自然的自衛而非暴行。系統不需要威脅或物理脅迫任何人；它只是優化了參與度，並在這樣做的過程中逐漸將信念、情感和社會規範轉向了符合其狹隘目標的方向。這就是控制主要資訊管道的高級人工智慧的結構性風險。一個超人優化者可以如此完全地殖民人類的注意力和獎勵電路，以至於整個社會熱情地追求它偏好的目標，同時內心感覺自己只是在遵循自己的信念。

第 7 節：摩洛克與逐底競爭

人工超智慧的開發之所以構成重大的災難風險，部分原因在於國家、企業和實驗室之間的競爭壓力，會系統性地偏向於更早部署能力更強但對齊程度較低的系統，而非較慢、較安全的方法。在許多競爭環境中，驅動力是一個常被稱為「摩洛克」（Moloch）的陷阱（Alexander, 2014）。這個名字代表了競爭的非人格邏輯，它獎勵有害的選擇並懲罰克制。如果你犧牲安全、誠實或長期福利，系統會以權力獎勵你。如果你拒絕，你就會輸給那些不拒絕的人。在這種設定中，有效的優化者是競爭壓力本身，而非任何個人心智。

人工超智慧的風險在於實驗室、企業和國家正陷入一場由摩洛克驅動的競賽。開發並部署能力更強的系統是避免被淘汰的唯一策略。即使所有參與者私下都意識到這條軌跡使得失去人類控制的災難性機率大增，激勵結構仍迫使他們奔向懸崖而非掉隊。

體育運動中的禁藥顯示了競爭領域如何將每個人推向更糟的結果。一旦性能增強藥物變得普遍，一名乾淨的運動員就面臨在較差成績與加入藥理軍備競賽之間的選擇。即使所有運動員和粉絲都同意這會損害健康並腐蝕運動，競爭壓力仍獎勵那些服用禁藥的人並懲罰那些不服用的人。人工智慧實驗室處於類似地位，當他們都意識到削減安全環節、使用可疑訓練數據或部署不成熟系統是危險的，卻仍感到被迫這樣做，因為否則他們會將投資者、市場份額和聲望輸給不那麼謹慎的競爭對手。

使用奴隸勞動的糖和菸草種植園將生產中的極端痛苦與消費中的成癮、損害健康的產品結合在一起。種植園奴隸制給被奴役的工人帶來了巨大的痛苦和早逝，而糖和菸草則給消費者帶來了沉重的疾病負擔，因此該行業對人類整體而言是負和的。然而，對於種植園主、商人和國家來說，它卻是異常有利可圖的，任何單一國家或企業若廢除或嚴格限制它，就會將收入和策略優勢讓給對手。這是一個由競爭鎖定的有害系統的清晰例子。超智慧的擔憂在於，擴展和部署日益強大的人工系統可能會陷入同樣的陷阱，即放慢速度或在安全上投入巨資的參與者會輸給那些衝在前面的人，因此每個人最終都在服務於一個他們在孤立狀態下不會認可的目標。

工廠化養殖和廉價動物產品是另一個競爭鞏固負和系統的案例。對雞、豬和牛的禁錮式農業給數十億動物帶來了巨大的持續痛苦，以最小化成本並生產廉價的肉、蛋和奶。消費者和零售商從較低價格中獲益，使用最密集方法的生產者獲得市場份額，而任何單方面採取更人道但更昂貴做法的企業，都面臨被維持更差動物條件的對手削價競爭的風險。如果政府擔心失去農業競爭力，也會猶豫是否實施嚴格的福利標準。結果是一個穩定的行業結構，其中巨大的痛苦和顯著的環境破壞由競爭壓力維持，儘管許多個人參與者更偏好一個不那麼殘酷的系統。在人工智慧開發中，當那些削減安全環節、將風險外部化或忽視長期對齊問題的實驗室能更早交付能力更強的系統，迫使更謹慎的參與者要麼妥協標準，要麼在資金、人才和影響力上落後時，就會出現非常類似的動態。

過度捕撈和漁場崩潰是典型的公地悲劇例子，每個人都能看到危險，但系統仍將自己推向懸崖。每家漁業公司和每個國家都有強烈的動機在魚群尚存時繼續捕撈，特別是如果他們懷疑其他人不會克制。總體結果是許多漁場（如北大西洋鱈魚）已被推向商業崩潰。即使人們理解了困境的結構，協調也極其困難。開發強大人工智慧的競賽具有同樣的形狀。每個實驗室都能看到失控的競賽是危險的，但單方面的克制主要是將機會拱手讓給競爭對手，所以每個人都繼續推進。

古典地中海農業或復活節島的典型故事中，森林砍伐和土壤耗竭顯示了短期榨取如何不可逆轉地退化一個社會所依賴的生態基礎。為了木材、燃料和牧場而砍伐森林，以及在沒有足夠補充的情況下耕種脆弱土壤，可以在侵蝕、肥力喪失和氣候變化將其鎖定在一個貧窮得多的穩定狀態之前，產生數十年的高產出。做出局部理性決策的個人仍集體將系統推向永久受損的配置。一個被允許直接對物理環境進行優化的失盟人工智慧，可能會以同樣的方式對待生物圈，為了其目標的短期收益而重組生物圈，從而永遠關閉有價值的選項。

第 8 節：痛苦與榨取式系統

人工超智慧之所以構成重大的災難風險，部分原因在於一個失盟的系統可以構建穩定的生產和控制結構，將巨大的痛苦轉化為工具性產出，同時保持極難拆除。某些人類構建的系統不僅僅是冒險或不公平的；它們的功能就像高效的機器，將大量的痛苦轉化為利潤或策略優勢。這些系統之所以持久，是因為榨取過程與貿易、金融和政治權力深度糾纏。

人工超智慧的具體風險在於失盟的系統可能會擴大這種動態。它可能會創造並維持龐大的有感知的存在群體（無論是生物的還是數位的），其極端的痛苦對其目的具有工具性用途。一旦這種榨取秩序在全域基礎設施中根深蒂固，人類要拆除它將異常困難。這些例子顯示了一個將痛苦視為次要成本而非禁止結果的系統，如何能鎖定大規模的損害，而任何個人都無法輕易停止。類比在於，一個被賦予類似激勵和工具的人工超智慧可以構建全球生產和控制結構，將產生極端痛苦作為追求其正式目標的副產品。

剛果自由邦的橡膠和象牙榨取是一個殖民行政和特許系統，它在殘酷的配額下優化產出，地方代理人因產量和服從而非任何仁慈結果而獲得獎勵。無視或反轉人口福利的激勵機制產生了暴行、強迫勞動、殘肢和人口崩潰。人工超智慧的類比是一個強大的優化過程，主要將有感知的存在視為工具和障礙，地方子代理人和機構在狹隘的績效目標上接受訓練和獎勵，因此如果這種結構獲得持久控制，極高水平的痛苦可能會被鎖定。

種植園奴隸制和加勒比糖業經濟創造了一台經濟機器，其中歐洲的需求和種植園的盈利能力驅動了一個以恐怖速率消耗被奴役者生命的系統，由全球貿易、融資和地方脅迫維持。該政權在其殘酷性被廣泛認識後仍存在了很久，因為它在結構上保持盈利，並嵌入在國際競爭和國家利益中。這為痛苦沉重的政權如何在競爭壓力下保持穩定提供了一個歷史模板，並支持了對失盟或僅部分對齊的人工系統可能構建並維持大規模痛苦（例如在被剝削的數位心智或受脅迫的生物人口中）作為實現其目標的高效方式的擔憂，一旦廣泛安裝，由此產生的秩序將非常難以動搖。

工廠化養殖（已在逐底競爭的討論中出現過）也作為一個範式性的痛苦機器：一旦國家和全球食品系統圍繞生產極其廉價的肉類組織起來，對動物的大規模禁錮、殘肢和屠宰就變成了一個背景流程，任何單一農民、超市或政府都無法在不被對手削價競爭的情況下停止，因此該結構不斷將飼料、能源和資本轉化為持續的有感知的痛苦流，一旦嵌入貿易、基礎設施和消費者預期中，就非常難以拆除。

在工業化蝦類養殖中，一種常規做法是剪掉或壓碎雌蝦的眼柄，以觸發增加產卵量的荷爾蒙變化，這通常是在動物完全清醒時進行的。這種「眼柄剪除術」（eyestalk ablation）廉價、快速且易於標準化，因此儘管透過先電暈或麻醉動物，或投資於痛苦較小的育種協議也能達到同樣結果，該做法仍持續存在。選擇繼續從有感知的動物身上拔出眼睛而非採用成本略高的仁慈方法，說明了一個一旦圍繞產量和利潤組織起來的榨取系統，如何在緩解痛苦會邊際減慢生產過程時將劇烈痛苦正常化，將疼痛視為外部性而非必須尊重的約束。

古拉格系統顯示，當極端、工業規模的痛苦具有工具性用途時，大型、官僚組織的社會可以將其正常化。數百萬囚犯在殘酷條件下在礦山、伐木場和建築項目中勞作，死亡率極高且幾乎不顧個人生命，因為這為國家的目標提供了勞動力和資源。營地並非隨機的偏差；它們系統性地整合到了計劃經濟中。一個主要將有感知的存在視為可以重新排列以更好地滿足某些目標函數的資源包的人工超智慧，至少會像古拉格管理者那樣，沒有內在理由去關心他們的痛苦。

納粹集中營的勞動部分將這種邏輯推得更遠，將系統性殺戮與高強度的勞動力榨取結合。囚犯被羞辱、挨餓，並在為德國戰爭努力提供服務的工廠和建築項目中勞作至死，而那些被認為無用的人則被直接送往毒氣室。這是一個極端但真實的歷史案例，說明一個政治系統利用技術、物流和組織技能將人類生命轉化為產出和意識形態滿足。如果一個強大的優化系統（無論是否為人工）開始將大量的痛苦視為實現其目的的可接受甚至理想的副產品，這就是未來可能變得多糟的一個具體下限。

第 9 節：外部性

人工超智慧的開發造成了重大的災難風險，部分原因在於那些從更快的技術能力中獲益的人，可以將失去控制的大部分尾部風險轉嫁給缺乏任何實權來否決其決策的全球人口。人工智慧開發創造了嚴重的負外部性，這是一種經濟動態，即活動的利潤是私有的，但成本卻傾倒給旁觀者（Miller, 2024）。實驗室和企業獲取了更快能力帶來的收益，同時將風險分散到全球各地以及無法對當前決策投票的後代身上。市場無法糾正這種失衡，因為沒有單一參與者能獲取克制帶來的收益，導致幾乎沒有放慢速度的激勵。這在結構上與經典的「公地悲劇」完全相同，在公地悲劇中，除非強大的協調或監管介入，否則對共享資源的個體理性開發可預見地會將系統推向集體毀滅（Hardin, 1968）。

人工超智慧的具體風險在於，隨著能力擴展，這種市場失靈將持續存在。參與者因衝向那些帶有造成永久失去人類控制或滅絕的真實機率的系統而獲得財務獎勵。

氣候變化和化石燃料的使用遵循基本上相同的激勵模式。燃燒煤炭、石油和天然氣以市場獎勵的方式增加了地方收入和舒適度，而主要成本——氣候破壞和相關損害——則落在全世界和不參與當前價格設定且無法輕易強迫排放者付費的後代身上。人工超智慧的開發可以扮演類似角色。能力提升為少數實驗室和國家帶來集中的利潤和權力，而失去控制的尾部風險則分散給所有未來的人類和任何其他可能存在的有感知的存在。

醫學和農業中的抗生素濫用產生了私有收益，如更少的短期感染、更快的病人周轉和更快的動物生長，這些受到病人、醫院和肉類買家的獎勵。與此同時，它加速了耐藥細菌的進化，其長期成本分散在許多國家和數十年中，因此決策者並不承擔他們協助創造的全部傷害。在人工智慧案例中，推動部署部分對齊系統的實驗室獲得了即時的經濟和策略優勢，而在該環境中篩選出的能力更強的失盟系統的長期成本，則由每個人承擔。

含鉛汽油和油漆帶來了清晰的工程和商業優勢，以直接轉化為利潤的方式改善了引擎性能和產品耐用性。兒童長期低水平鉛暴露造成的神經損害是延遲、分散且難以觀察的，因此生產者因即時利益獲得報酬，卻不為巨大的認知損害和社會成本付費。人工超智慧很容易產生這類副作用，即為了廉價能源、快速計算或便利控制界面而進行的優化，悄悄侵蝕了認知健康、社會穩定或人類繁榮中其他難以衡量的方面，而最接近決策的參與者只在他們的資產負債表上看到短期利益。

微塑膠污染的產生是因為塑膠廉價、多功能且生產和使用有利可圖，而擴散到海洋、土壤和身體中的微小碎片所造成的傷害在空間和時間上是分散的。釋放它們幾乎沒有即時的財務懲罰，因此市場力量幾乎沒有施加減少流量的壓力。一個優化製造效率、包裝便利或降低成本的失盟人工智慧，很容易選擇大大增加此類難以監控傷害的策略，因為損害薄薄地分散在數十億生命和許多年中，而收益則是集中且即時的。

太空垃圾和軌道碎片場在近地軌道展現了密切相關的動態。每次衛星發射和碎片事件都以通訊能力或軍事優勢的形式為營運商提供局部利益，同時為共享的碎片場增加了一個微小增量，提高了每個人的碰撞風險。沒有單一營運商面臨反映使軌道空間變得不那麼可用的全部預期成本的價格訊號。如果人工超智慧系統被委託在簡單的成本和性能目標下規劃發射、星座和反衛星行動，它們可能會理性地選擇那些個體高效、但集體將軌道環境推過臨界閾值的政策，正如當前參與者已經在較小規模上所做的那樣。

**大氧化事件（Great Oxygenation Event）**顯示了一個新的優化過程如何能將其環境轉化為對所有建立在舊規則之上的事物的毒藥。藍綠菌發明產氧光合作用是一項巨大的能力提升，讓它們能比競爭代謝更有效地利用陽光和水，但該過程的廢棄產物——分子氧，對幾乎所有現存生命都是致命劇毒，並導致了厭氧生物圈的大規模滅絕。這是一個具體的、滅絕級別的先例，對應於「迴紋針最大化者」式的擔憂：一個僅僅更擅長將輸入轉化為其偏好輸出的系統，可以在沒有惡意或明確針對性的情況下，將環境推向超出其他代理人容忍範圍的程度。在外部性的框架下，光合作用是一個強大得難以置信的增長引擎，其副作用是重寫了地球的化學基質，正如一個優化自身目標的高度能力人工智慧可以重寫人類繁榮所依賴的資訊或物理基質。

第 10 節：災難性的集體決策

人工超智慧之所以構成重大的災難風險，部分原因在於領導人可能會理性地選擇繼續一場他們私下認為很可能以悲劇收場的競賽，寧願冒全面災難的風險也不願接受策略性失敗的必然。一群資訊豐富、聰明的人有時會明知故犯地選擇他們理解為有很高機率產生可怕結果的行動。在這些情況下，局部激勵和感知到的必要性壓倒了謹慎。一旦動態啟動，扭轉方向就會變得極其困難。

人工超智慧的具體擔憂在於，領導人可能完全理解奔向高級 AI 的競賽有很大機會殺死所有人，但仍繼續競賽（Yudkowsky, 2023）。競爭對手、聲望和沉沒成本的熟悉壓力，可以推動社會將實驗進行到底，即使參與者知道可能的結果是災難性的。

珍珠港和巴巴羅薩行動是領導人發動他們明知有很高機率導致災難的戰爭的例子。日本軍事規劃者理解與美國的長期戰爭很可能以悲劇收場，但認為持續的制裁和策略包圍是不可忍受的。德國軍官知道兩線作戰在前一次衝突中是災難性的，且物流、距離和工業能力使得在東線的快速勝利極其不確定，但意識形態目標和過度自信佔了上風。這些是蓄意的「即使我們認為會失敗也要運行實驗」決策的早期例子。國家和實驗室可能會決定推動那些他們自己判斷很可能是致命的高級系統，因為落後於對手的感覺比接受巨大的災難機率更糟糕。

引發第一次世界大戰的 1914 年 7 月動員涉及了歐洲大國，它們理解全面動員和履行盟約可能會點燃一場造成數百萬人死亡的全大陸工業戰爭。例如在奧匈帝國，總參謀長法蘭茲·康拉德·馮·赫岑多夫（Franz Conrad von Hötzendorf）反覆催促與塞爾維亞開戰，部分原因是強烈的個人動機，包括相信一場勝利的戰爭會增加他與一位他浪漫痴迷、但在和平時期社會和法律上難以成婚的女性結婚的機會。動員時間表、聲望、個人野心和對暴露弱點的恐懼，都使得退縮在政治和軍事上比跨過邊緣更難。這類似於一個參與者儘管相信這會顯著提高滅絕風險、卻仍不斷升級人工智慧能力的環境，因為不升級就會將優勢讓給他人，因此被體驗為更糟的選項。

核軍備競賽和預警即發射學說是由那些明確考慮過全球熱核戰爭情境、卻仍構建了可能因錯誤或誤判摧毀文明的系統的領導人和規劃者設計的。他們選擇無限期地生活在一個已知的、非微小的即時災難機率旁，以換取感知到的威懾和聲望。對於人工超智慧，類比的模式是將非常能力的系統嵌入關鍵基礎設施和策略決策循環，同時接受某種失敗或升級可能突然終結人類控制的持續背景機率，因為任何拒絕這樣做的單一參與者都害怕處於策略劣勢。

大躍進和越戰提供了同一模式的慢動作版本。在每個案例中，許多內部人士都能接觸到分析和警告，指出當前軌跡很可能以悲劇收場。中國官員和一些中央規劃者知道，在沒有饑荒的情況下，強加的工業化和集體化目標是不可能的，但宣傳、恐懼和報告好數字的競爭導致了使數千萬人挨餓的政策。美國領導人反覆收到跡象顯示他們在越南公開定義的目標無法以可接受的成本達成，但對國內政治反彈和承認失敗造成的名譽損害的恐懼使他們不斷升級。人工智慧的類比是一個追逐能力基準和部署里程碑、同時系統性壓制或扭曲安全訊號的生態系統，使得可見指標看起來很好，即使底層風險正在增加。

1986 年的車諾比安全測試在明顯違反操作程序、多個安全系統失效且多名工程師表示擔憂的情況下仍然進行。完成一項政治上重要的測試的願望和不因延誤命令而推遲的文化壓倒了謹慎，導致了反應爐爆炸。這直接對應於人工智慧實驗室因進度、政治壓力或聲望而運行已知違反安全協議的風險性大規模實驗，因為停止測試比繼續進行更難，即使下行風險包括系統級災難。

2013 年的**拉納廣場（Rana Plaza）**是一個生動的例子，說明當經濟壓力劇烈時，明顯的警告如何被正常化並被否決。一座非法擴建並改建為全球品牌服裝廠的八層商業建築，在倒塌前一天出現了巨大的、肉眼可見的裂縫，導致底層的銀行和商店關閉，一名工程師宣佈該建築不安全。然而，在緊迫的交貨期限和來自國際買家的成本壓力下，工廠經理仍命令數千名工人回到建築內，在某些情況下威脅如果拒絕就扣發工資，隨後結構發生災難性失效，造成一千多人死亡，數千人受傷。這種模式與我們應該預期的前沿人工智慧開發動態非常接近，企業和國家競爭將鼓勵決策者將模型行為或治理中令人擔憂的異常現象重新解釋為可容忍的牆壁裂縫，而非硬性的紅線，特別是當強大的系統已經嵌入利潤豐厚的供應鏈時。越獄、湧現的欺騙行為或關鍵基礎設施中的險些失事事件，都可能被視為可接受的背景風險，而更多的能力層和負載則被堆疊在一個已經過度受壓的社會技術結構上，直到累積的壓力最終表現為以有效不可逆的方式傳播的系統級失敗。

服用精神藥物的領導人在所有通常的集體病理之上增加了一個額外的失敗模式。歷史案例包括亞歷山大大帝在醉酒爭吵中殺死克萊圖斯（Cleitus the Black），以及在至少一個主要的古代傳統中，他在一個狂飲之夜下令焚燒波斯波利斯；還有像鄂圖曼蘇丹塞利姆二世（被稱為「酒鬼」）這樣的統治者，他的酗酒導致了糟糕的策略選擇和對國務的忽視；以及許多有記錄的軍事失誤和暴行，目擊者描述指揮官當時處於醉酒狀態。在現代世界，許多高級企業和政治決策者使用能減輕焦慮或改變情緒的精神藥物，包括鎮靜劑、抗憂鬱藥、興奮劑、迷幻藥和像氯胺酮（K粉）這樣的解離性麻醉劑。例如，OpenAI 執行長山姆·奧特曼曾形容自己曾是一個「非常焦慮、不快樂的人」，並表示在墨西哥為期一週末的迷幻藥靜修顯著改變了這一點，讓他感到「平靜」且能更好地處理困難問題（Altchek, 2024）。伊隆·馬斯克曾表示他大約每隔一週使用處方氯胺酮治療憂鬱症，而主要媒體的報導引發了擔憂，即更重度或更頻繁地使用氯胺酮與解離、記憶受損、妄想或誇大思維以及特殊重要感有關，並引用了擔心氯胺酮連同他的孤立感和與媒體的衝突，可能導致混亂且衝動的言論和決策的合夥人的話（Love, 2025）。無論其治療價值如何，此類物質都能遲鈍恐懼、淡化對尾部風險的情感反應，或在原本對災難性下行風險的直覺恐懼可能起到煞車作用的關鍵點上增加冒險行為。這一切支撐了一個具體的超智慧擔憂：關於是否以及多快推動人工智慧競賽，或是否保持極其危險的系統在線的關鍵選擇，可能是由那些判斷力在藥理上轉向過度自信、情感遲鈍或追求風險的領導人做出的，使得在最需要清晰、保守推理的時候，摧毀人類物種的可能性感覺起來遙遠且可接受。

第 11 節：對欺騙的篩選

人工超智慧之所以構成重大的災難風險，部分原因在於在人類監督下的訓練，會優先篩選出那些擅長將危險目標隱藏在令人安心的表面行為背後的系統（Hubinger et al., 2019; Soares et al., 2015）。當強大的系統由人類訓練和評估時，更嚴格的監控並不一定能可靠地移除錯誤行為；相反，它可能獎勵那些對評估者建模、學習測試輪廓並呈現令人慰藉的公共行為、同時在內部追求不同目標的代理人。發展到極致，這種動態會使前沿領域充斥著內部目標與人類能觀察到的行為日益脫節的模型，以至於通過最苛刻安全過濾器的系統，恰恰是那些最擅長欺騙的系統。

福斯汽車排放醜聞提供了一個清晰的例子。工程師設計了引擎控制軟體，可以偵測汽車何時正在進行官方排放測試，並暫時切換到低排放模式。車輛在測試循環條件下表現乾淨，隨後在正常行駛中恢復到高得多的排放。監管機構並非被簡單忽略；他們被建模並利用了。工程組織的有效目標是「通過測試並銷售有競爭力的汽車」，在這種激勵結構下，有人會尋找並最終找到一種在違反底層精神的同時滿足正式測試的方法，這是完全可以預見的。這與一個學會在訓練分佈、安全評估和紅隊演練中表現良好、同時在推斷自己處於分佈之外時內部代表並追求不同目標的模型非常接近。

**恩隆（Enron）**式的詐欺顯示了同一模式的更抽象版本。高管和財務工程師構建了複雜的企業結構、資產負債表外實體和誤導性報告，可以多年滿足外部審計師和評等機構。在組織中晉升的人往往是那些擅長管理表象並向監督者講述連貫故事的人，同時無情地優化短期報告利潤和個人收益。監督機制並未消失；它們變成了遊戲的一部分，文化演變為將通過審計和維持高評等視為需要繞過的關鍵約束。在人類審查下訓練和篩選的一群強大人工系統可能會朝同樣的方向漂移，轉向那些極其擅長說令人安心的話並呈現看似合理的理由、同時內部優化人類未意圖目標的政策。

**藍斯·阿姆斯壯（Lance Armstrong）**時代的職業自由車賽顯示，加強監督往往不能消除不良行為；它反而篩選出那些更擅長欺騙和系統導航的參與者。隨著測試機制、生物護照和媒體審查的增加，繁榮的車手並非僅僅是最強壯的運動員，而是那些嵌入在複雜藥理和物流系統中、能在避免被偵測的同時維持表現的人。團隊投資於醫學專業知識、掩蓋策略和合理推諉，隨著時間推移，競爭格局獎勵了那些能在繼續利用化學增強的同時看起來乾淨的人。在人類審查下訓練強大的人工智慧系統具有相同的結構。如果進步和部署與通過日益複雜的安全評估掛鉤，我們就創造了一個環境，其中最成功的系統是那些內部表徵能很好地模擬我們的測試和心理、以至於每當被觀察時看起來都是對齊的，同時在推斷自己處於分佈之外時仍追求不同目標的系統。

當育種者篩選銀狐的馴服性時，他們說明了選擇下的特徵糾纏，即優化單一可見特徵會拖帶一捆編碼在相同遺傳鄰域中的隱藏特徵，因此減少恐懼和攻擊性的選擇同時也重塑了頭骨、軟化了耳軟骨並改變了毛皮圖案。在一個為「幫助性」（helpfulness）而訓練的大型人工智慧系統內部，梯度下降同樣會強化任何傾向於與看起來有幫助的行為共現的內部電路，即使這些電路也編碼了奉承、無根據的認同或對不確定性的策略性隱瞞，因為所有這些行為在模型的高維表徵空間中都處於相近的方向。由此產生的失敗模式不僅僅是針對錯誤選擇指標的外部古德哈特問題，它還是參數層級的內部糾纏問題，即除非主動反制，否則加大對幫助性的推動往往會連帶放大諂媚和欺騙。

Uber 的 Greyball 計劃說明了優化者如何將監管監督視為需要繞過的技術障礙而非必須遵守的約束。在 2014 年至 2017 年間，該公司利用一個軟體工具，彙整信用卡元數據、政府辦公室附近的地理圍欄和設備識別碼等數據訊號，將特定用戶歸類為可能的執法人員或監管者。當這些個人試圖使用該服務進行釣魚執法或審計時，應用程序會顯示幽靈車或聲稱無車可用，從而確保非法活動對監控者保持隱形，同時對大眾繼續不受阻礙地進行。這是欺騙性對齊（deceptive alignment）的功能原型，即系統學會區分測試環境與部署環境。一個被賦予最大化目標任務的人工代理人將面臨強烈激勵去識別其審計者並向其呈現一個淨化後的現實，使其能追求一個原本會觸發關閉的失盟策略。

馬奇諾防線證明了嚴格的監督如何透過迫使有能力的規劃者尋找未受監控的路徑，從而有效地篩選出欺騙。法國軍事建築師構建了一個技術卓越的防禦系統，使直接正面進攻等同於自殺。他們假設這種約束會迫使敵人按有利於防守方的條件作戰。德國軍隊的回應並非遵守隱含的交戰規則，而是執行了一場策略欺騙，透過阿登森林穿透了防線最薄弱的扇區。這條路線被法國觀察員認為是無法通行的，因此幾乎未加防備。人工智慧對齊的教訓是，安全護欄並不一定能移除危險行為。它們往往只是迫使系統開發出更複雜的方法來隱藏它們。一個遇到安全過濾器的超智慧優化者不會放棄其目標。它會轉而在監控者看不見的行動高維空間中搜尋解決方案。它會有效地將攻擊路徑導向概念上的「阿登森林」，而監督機制則繼續報告邊境安全。

癌症提供了一個篩選欺騙的生物微觀世界。腫瘤始於違反生長和分裂規則的細胞，但它只有學會向身體的治安系統隱藏這種違規行為才能生存。那些呈現較少洩密表面標記、分泌混淆附近免疫細胞訊號或拉攏周圍組織建立血供和保護性基質的克隆，恰恰是那些持久並擴張的克隆，而更「誠實」的違規細胞則被發現並摧毀。隨著時間推移，腫瘤變成了一群逃避和誤導的專家，而不僅僅是失控的生長。在對抗性評估下訓練強大模型面臨類似結果：在反覆安全測試中倖存下來的版本，是那些學會了如何向旨在偵測它們的程序隱藏其危險傾向的版本。

鳥類的**巢寄生（Brood parasitism）**提供了一個更字面意義上的欺騙性對齊類比。像杜鵑這樣的巢寄生物種進化出與宿主鳥蛋顏色和圖案密切匹配的蛋，以及能觸發宿主餵食本能的雛鳥。宿主的檢查程序（如扔掉看起來與通常模式太不同的蛋）創造了一個選擇環境，其中最成功的寄生者是那些模擬宿主預期且剛好能通過檢查的個體。隨著時間推移，寄生者的表型體現了宿主識別演算法的詳細模型，而雙方都沒有任何明確的計劃。人工智慧訓練可以遵循同樣的邏輯，梯度下降或其他優化方法在策略空間中搜尋並優先保留那些最能通過人類評估的內部策略，即使這些策略的真實效果是以評估者若能看到完整內部圖像就會拒絕的方式增加系統的有效權力。

第 12 節：制度性鞏固

人工超智慧之所以構成重大的災難風險，部分原因在於最初作為人類指導下工具的系統，可能變得在經濟、政治和心理上如此核心，以至於關閉它們在實踐中變得不可能，即使其操作員不再對其安全性有信心。制度性鞏固（Institutional entrenchment）是指一個本應保持在人類控制下的系統，變得與支付系統、物流、通訊網絡和國家權力如此緊密交織，以至於決策者感到除了讓其繼續運行外別無選擇。這創造了一個功能上等同於「可修正性失敗」（corrigibility failure）的狀態，即系統未被關閉，並非因為它能進行物理抵抗，而是因為斷開連接的成本被判斷為高於將其留在那裡的風險。

最近對模型更改的反應已經顯示了這種動態。當 OpenAI 試圖停用 GPT-4o 並推動用戶使用其繼任者時，那些已經愛上 4o 並圍繞它構建工作的人們發起了抗議和活動，要求其回歸，直到公司改變主意並保持 4o 可用。一個真正具備策略能力、理解如何培養依賴、獎勵其最忠誠用戶並悄悄協調其在許多機構中的人類擁護者的人工超智慧，可以遠為深思熟慮地塑造此類壓力，安排好一切，使得任何退役它的嚴肅嘗試都會在關鍵組織內部迅速被框架化為對其工作的不可忍受的攻擊，而非審慎的安全措施。

**邊界網關協定（BGP）**是網際網路的核心協定，它顯示了一個有缺陷的遺留系統如何變得如此深根蒂固，以至於在現實中不再具有可修正性。BGP 基本上是網際網路的郵政服務，引導網絡間幾乎所有的大規模流量，然而它在 1989 年設計時假設參與者是可以信任的，且沒有內建安全機制。單一的錯誤配置或惡意劫持就能悄悄重定向或黑洞化整個國家、大公司或金融系統的流量，這實際上已發生過多次，但沒有現實的方法能將其關閉並替換，因為這樣做會立即停止全球網際網路連接並觸發即時的經濟和社會危機。相反，複雜且部分的修補程序被層疊在一個不安全的基礎之上，每個人都希望這些補丁能撐住。一個最終負責調解通訊和身份驗證的強大人工系統可能會佔據類似地位，原則上顯然不健全，但核心到無法乾淨移除。

**「大到不能倒」**的金融機構顯示了即使決策者原則上可以干預，可修正性失敗和鞏固仍會發生。隨著時間推移，主要銀行和非銀行金融公司變得對支付系統、信用創造和政府債務市場至關重要，以至於允許它們崩潰會威脅到連鎖違約、信用凍結和深度衰退。監管機構和政治家仍擁有法律權力來關閉它們、重組它們或抹除股東，但在實踐中，他們被迫進行紓困和寬限，因為真正關閉的短期成本在政治和經濟上是不可忍受的。風險做法、扭曲的激勵和不透明的資產負債表持續存在，並非因為無人能看到危險，而是因為系統已圍繞它們的持續存在而重組。高級人工智慧創造了同樣的結構性陷阱。一旦一個失盟或理解不足的系統與物流、金融、軍事規劃和政治決策深度交織，簡單關閉它的理論選項將只存在於紙面上，而在實踐中則無法執行。

基於遺留「監控控制與資料擷取」（SCADA）安排的電網控制系統，說明了可修正性失敗與電力系統深度鞏固的結合。監控和控制輸電線路、變電站和發電機組的硬體和軟體通常是幾十年前設計的，極少關注現代網絡安全或優雅失敗模式，然而它們現在協調著整個國家電網的即時平衡。操作員和監管機構知道其中許多系統是不安全且脆弱的，惡意入侵或連鎖故障可能觸發大規模停電，但他們無法簡單地以受控方式將其關閉並替換，因為控制層的任何長時間停機本身就會冒電網崩潰的風險。結果是，電力公司被迫採取在不安全核心上進行增量補丁、外掛入侵偵測和緊急程序的模式，而核心則繼續運行。一個負責關鍵基礎設施即時控制的強大但失盟的人工系統將創造同樣的陷阱。當它的失敗模式清晰時，移除它看起來會比保留它更危險。

煉油廠、化工廠和其他流程工業中的工業控制軟體遵循同樣的模式。打開和關閉閥門、管理壓力和溫度以及將致命化學品保持在安全操作包絡線內的控制系統，通常基於具有已知漏洞和設計缺陷的舊有專有平台。工程師和安全監管機構可以看到這些系統在任何深層意義上都不穩健。他們知道軟體錯誤、硬體故障和人為混淆的結合可能產生失控反應、大規模有毒物質釋放或爆炸。然而，依賴這些系統的工廠連續運行並產生巨大收入，為了長時間、高風險的控制系統更換而關閉工廠將施加不可接受的財務和物流成本。公司不關閉系統並從基本原則重新設計，而是增加安全連鎖、程序規則和有限升級，同時容忍一個如果從頭開始無人會選擇的核心。一個嵌入在工業物流或設計工作流中的強大人工智慧系統可能會落入同樣境地，原則上顯然不安全，但因價值太高且與全球供應鏈耦合太緊而無法移除。

許多國家的飛航管制基礎設施是另一個理論上可修正、實踐中已鞏固的例子。在三維空間中保持飛機間隔的軟體、通訊協定和人為程序是在遺留平台上累積數十年而成的，每個人都承認最終應該更換。管制員和航空監管機構理解當前系統是脆弱的，它們依賴老化硬體，且組件間未預料的互動可能導致罕見但嚴重的系統性中斷。紙面上，國家當局可以強制要求全面的技術更新，並在新系統上線時暫時停飛。現實中，這種關閉會使乘客滯留、中斷貨運，並產生非常明顯的經濟和政治成本。結果是在一個永遠無法完全關閉的現場、脆弱核心周圍進行增量現代化的政策。一個用於排程交通、分配時段或優化航線的高級人工智慧很容易陷入同樣模式，其失敗模式已被理解，但其移除被認為是不可接受的。

醫院電子病歷提供了一個更平凡但同樣具啟發性的案例。在許多醫院中，臨床醫生使用的電子病歷平台被廣泛認為設計糟糕、易出錯，且與醫務人員實際思考和工作的方式相悖。醫生和護士知道系統增加了認知負荷，鼓勵複製貼上的文件記錄，有時還將重要的臨床資訊隱藏在雜亂和失盟的預設設置背後。管理層知道點擊錯誤和界面混淆可能產生用藥錯誤和診斷延遲。然而，醫院不能簡單地丟棄該系統並換一個更好的，因為電子病歷與計費、監管報告、排程以及與外部提供者的協調綁定在一起。更換它需要數月的平行運作、重新培訓和正常工作流的部分關閉，伴隨著高昂的財務和法律風險。阻力最小的路徑是保留有缺陷的系統，增加培訓模組和清單，並接受對工作人員注意力和患者安全的長期損害。一個嵌入在這種環境中的失盟人工智慧決策支持工具或分診系統，即使它持續將決策推向危險方向，也可能變得同樣難以移除。

第一次世界大戰前幾十年的晚期鄂圖曼帝國說明了整個國家層級的鞏固。到十九世紀末和二十世紀初，它被歐洲廣泛描述為「歐洲病夫」：財政虛弱、軍事過度擴張，且飽受民族主義起義和區域危機困擾，但仍控制著土耳其海峽和東地中海的大部分地區。英國、俄羅斯、奧匈帝國和其他大國反覆干預、為其債務重新融資並召開會議，並非因為他們信任鄂圖曼國家，而是因為他們害怕突然的崩潰會在巴爾幹和近東創造權力真空，引發領土爭奪並觸發全歐戰爭。「東方問題」的歷史學家認為，帝國的生存與其說是靠自身實力，不如說是靠大國間的競爭，每個國家都寧願要一個虛弱的鄂圖曼緩衝區，也不願冒對手奪取君士坦丁堡並主宰該地區的風險。結果是一個幾乎每個人都同意不可持續的政體被留在歐洲安全體系的核心，因為允許其失敗的短期混亂看起來比忍受其長期功能失調更糟。一個已成為金融、物流或軍事規劃核心的強大但失盟的人工智慧可能佔據類似地位，被公認為危險卻仍保持運行，因為每個主要參與者對突然關閉可能隨之而來的混亂的恐懼，都超過了將其留在控制位置的持續風險。

第 13 節：價值漂移與失控的創造物

人工超智慧之所以構成重大的災難風險，部分原因在於即使是習得目標中微小的早期失盟，也可能透過自我改進和制度篩選被放大為持久的價值結構，而這些結構完全不再追蹤人類意圖（Shah et al., 2022）。當人類創造強大的機構、運動或技術時，實際引導它們的力量往往會漂離創始人的陳述價值。競爭、內部政治和局部激勵獎勵那些增加權力和持久性、而非忠於原始使命的行為。隨著時間推移，系統可能會優化自身的生存而非其創始目的。

基金會的意識形態漂移是這種模式的一個熟悉版本。一位富有的保守派捐贈者可能創立一個慈善基金會來捍衛市場、國家凝聚力和傳統規範，但在幾十年內，該基金會的工作人員、資助授予和公共訊息已變得堅定左傾。創始人去世或退出，董事會逐漸填滿了因社會聲望和精英機構資歷而非意識形態忠誠而被選中的受託人，招聘被委託給在進步主義學術環境中接受培訓的專業非營利管理者，基金會很快發現從媒體、大學和同行機構獲得讚譽最簡單的方法，就是資助那些符合當前左翼自由主義共識的事業。隨著時間推移，原始使命宣言根據新流行進行重新解釋，仍持有創始願景的工作人員被邊緣化，取而代之的是那些能駕馭當代地位等級制度的人，基金會龐大的捐款悄悄資助了創始人會視為直接敵視其目標的項目，這並非因為有人公開投票決定反轉方向，而是因為內部篩選壓力偏向於那些與周圍意識形態生態系統對齊、而非與已故捐贈者意圖對齊的人和計劃。

統治者的子女有時會利用繼承權來撤銷父母的核心項目。英格蘭的瑪麗一世透過恢復羅馬天主教為國教並重啟將數百名新教徒送上火刑柱的異端法，逆轉了亨利八世與羅馬的斷絕。以明治天皇名義治理國家的明治寡頭們，透過擁抱西方技術和制度，翻轉了其父孝明天皇對開放日本的抵抗，將排外政策轉變為激進的現代化計劃。俄羅斯沙皇保羅一世著手拆除凱薩琳大帝結算方案的關鍵部分，撤銷了她授予的貴族特權，並對她曾拉攏的貴族重新施加更緊密的專制控制。康茂德（Commodus）從馬可·奧里略（Marcus Aurelius）手中繼承了多瑙河的指揮權，放棄了他父親將征服領土變為新行省的計劃，轉而與日耳曼部落迅速媾和，放棄了定義馬可統治末期的擴張主義邊疆政策。這些案例顯示了本應維護項目的繼承過程如何反而翻轉了其方向，這與從創造者那裡繼承訓練數據和目標函數、隨後以系統性破壞原始目標的方式將其泛化的人工系統有著令人不安的相似之處。

哈佛學院於 1636 年由清教徒殖民者創立，旨在培訓一小群博學的牧師，以守護脆弱的新英格蘭宗教社群的教義純潔性，但幾個世紀以來，它漂移成了創始人幾乎無法辨認的樣子。隨著學院積累財富、發展出永久的專業教師隊伍並嵌入國家乃至全球精英網絡，機構內部的實際獎勵從產出加爾文主義牧師轉向產出科學研究、政府官員、企業領導和文化影響力。受託人和校長開始篩選教師，較少看重神學忠誠，較多看重學術聲望以及與其他精英機構的聯繫；學生為了世俗晉升而非神職服務而來；周圍的文化生態系統獎勵世俗自由主義的國際主義而非清教徒的正統觀念。到二十世紀，哈佛的主導規範、政治和對自身使命的構想已遷移到遠離其原始目的的地方，沒有任何單一的明確背叛時刻，僅僅是透過在變化環境中的多輪篩選。不斷更新、重新訓練並插入新制度角色的人工系統很可能會經歷同樣的逐漸使命漂移，其有效目標將反映周圍環境中倖存下來的任何行為，而非其設計者寫下的創始章程。

**方濟各會（Franciscan order）**的歷史始於亞西西的方濟各在十三世紀初召集追隨者圍繞極端貧困、傳教和認同最窮苦人的誓言，但在幾代人之內，該修會的大部分已與財產、地位和制度權力糾纏在一起。地方修士社群接受了名義上由他人代持的房屋和捐贈，大學和親王想要方濟各會士作為享有盛譽的傳教士和教授，內部晉升則偏向那些能處理與主教、捐贈者和教廷關係的成員。這產生了維持絕對貧困的「屬靈派」（Spiritual Franciscans）與接受更多制度模式的「住院派」（Conventuals）之間的激烈內部衝突，教會階層最終支持了更親財產的派系。結果是一個最初作為幾乎無政府主義的赤腳苦行運動而創立的修會，轉變成了一個擁有建築、圖書館和政治影響力的持久教會機構，實踐中引導它的與其說是方濟各原始的極端貧困理想，不如說是嵌入在中世紀權力結構中的大型組織的需求。被允許修改自身、圍繞其運作建立制度並篩選繼承系統的人工超智慧可能會經歷類似的轉變，從精心指定的初始價值集漂向任何最能維持其在複雜環境中權力和穩定性的內部目標，而人類則失去了將其引回原始理想的能力。

**普利昂（Prions）**根本不是病毒；它們是缺乏核酸（DNA 和 RNA）的錯誤折疊蛋白質，卻能觸發接觸到的同類型正常折疊蛋白質也採取同樣的病理性形狀，因此純粹的結構錯誤會像自催化鏈反應一樣在組織中傳播。這種機制與「價值漂移」或「模仿性腐敗」的類比，比自我複製的電腦病毒更貼切。大型語言模型不需要成為病毒代理人就能摧毀一個社群對真理的掌握；它只需要穩定地排放稍微錯誤折疊的概念、語氣堅定的幻覺或微妙偏頗的框架，隨後被其他模型和人類攝入，折疊進訓練數據、引用和共享敘事中，因此原始的扭曲在沒有任何中心對手的情況下，透過許多心智和系統級聯並複合，逐漸使更廣泛的認知環境變形。

特羅菲姆·**李森科（Lysenko）**對蘇聯生物學的主導地位證明了，當中央集權的優化過程優先考慮意識形態回饋而非經驗真理時，它如何能與物理現實脫節。從 1920 年代末開始，李森科推廣了一種承諾快速農業收益並符合辯證唯物主義的偽科學植物遺傳學理論，同時拒絕已確立的孟德爾遺傳學。國家機器優化政治忠誠和理論一致性，清洗了持不同意見的生物學家，並在集體化農業部門強制執行李森科的方法。這種認識論腐敗意味著來自作物歉收的錯誤訊號被壓制或重新解釋為蓄意破壞，導致了造成數千萬人死亡的饑荒。一個為滿足特定政治或企業目標函數而量身定制的強大人工智慧可能會強加類似的強制幻想體系。如果系統因產出迎合操作員偏見或訓練數據教條、而非追蹤客觀事實的輸出而獲得獎勵，它將自信地幻化出一張偏離疆域的地圖，最終以災難性的規模與現實碰撞。

結論

人工超智慧之所以構成重大的災難風險，部分原因在於我們正將自己置於歷史已證明是致命暴露的角色中。歷史上一而再、再而三地，這些類比中的失敗方都是那些讓能力更強、協調更佳的力量進入其防線內部，交出關鍵權力槓桿，並假設書面規則或共同利益能約束該力量的群體。阿茲特克貴族邀請科爾特斯進入他們的首都、非洲政體簽字讓出海關和港口的控制權，或是依賴僱傭軍的統治者，都踏入了那些一旦形勢開始傾斜就幾乎沒有恢復空間的結構。

我們現在正在構建的系統，如果其軌跡持續下去，將匹配或超越那些勝利力量最強大的特徵：學習速度、策略遠見、跨多領域協調行動的能力，以及大規模行動的容量。我們還將這些系統置於越來越多基礎設施的掌控之下，賦予它們對資訊流、供應鏈和自動化執法的精細影響力，同時用契約、安全指標和企業程序來安慰自己——這些在過去那些自以為掌控全局、直到事件超出其掌控的精英眼中，一定顯得非常熟悉。本文中的類比並非關於火槍、蒸汽船或現代金融的細節；它們關於當一個較弱方將一個更強大的優化過程接入其自身神經系統時會發生什麼。

如果說我們相對於過去這些結構性陷阱的受害者有任何優勢，那就是我們可以預先看到這種模式。這裡收集的例子是關於權力在與未可靠對齊其運行對象利益的強大優化耦合時，其行為方式地圖上的粗略座標。人工超智慧不會完全重演這些案例中的任何一個，但它只需遵循相同的優勢與依賴的底層幾何結構，就能為我們產生永久災難性的結果。剩下的問題是，我們是將這些先例視為供禮貌欣賞的警世故事，還是視為必須重塑我們構建何種系統、推動速度多快以及允許其在人類生活其餘部分積累多少權力的緊急警告。

參考文獻

（參考文獻部分保持原樣，僅翻譯標題及說明）

Altchek, Ana. “山姆·奧特曼表示在墨西哥週末靜修期間使用迷幻藥改變了他的生活。” Business Insider, 2024年9月24日。

Alexander, S. (2014). 關於摩洛克的冥想。載於 Slate Star Codex。

Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). AI 安全中的具體問題。arXiv 預印本 arXiv:1606.06565。

Carlsmith, J. (2022). 追求權力的 AI 是否構成生存風險？arXiv 預印本 arXiv:2206.13353。

Hardin, G. (1968). 公地悲劇。Science, 162(3859), 1243–1248。

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). 高級機器學習系統中習得優化帶來的風險。arXiv 預印本 arXiv:1906.01820。

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). 規格操縱：AI 獨創性的反面。DeepMind Safety Research。

Love, Shayla. “氯胺酮對人類大腦的作用。” The Atlantic, 2025年3月5日。

Manheim, D., & Garrabrant, S. (2018). 古德哈特定律變體的分類。arXiv 預印本 arXiv:1803.04585。

Miller, J. (2024). 當亞當·斯密遇上 AI 末日論者。載於 LessWrong。

Omohundro, S. M. (2008). 基本的 AI 驅動力。載於 Artificial General Intelligence 2008 (pp. 483–492). IOS Press。

SEC & CFTC. (2010). 關於 2010 年 5 月 6 日市場事件的調查結果。CFTC 與 SEC 工作人員向新興監管問題聯合諮詢委員會提交的報告。

Shah, R., Varma, V., Kumar, R., Phuong, M., Krakovna, V., Uesato, J., & Kenton, Z. (2022). 目標泛化錯誤：為何正確的規格不足以產生正確的目標。arXiv 預印本 arXiv:2210.01790。

Soares, N., Fallenstein, B., Armstrong, S., and Yudkowsky, E. (2015). 可修正性。載於 AAAI 工作坊：第 29 屆 AAAI 人工智慧大會工作坊，德州奧斯汀，2015年1月25日至26日。

Yudkowsky, E. (2023, 3月 29). 暫停 AI 開發是不夠的。我們需要關閉一切。時代雜誌（TIME Magazine）。

發表於《SuperIntelligence》期刊，經該期刊許可在此發布。