本文轉載自 AI Futures Project Substack。這篇文章概述了一個具體的情境，探討 AI 公司執行長（CEO）可能如何奪取權力。這是我在 MATS 期間與 AI Futures Project 共同開發的內容。這代表了在我看來幾種可能性大致相當的故事中，其中一個合理的故事。我對讀者的回饋和討論很感興趣。

如果未來將取決於 AI，那麼 AI 公司的 CEO 理所當然地處於篡奪權力的有利位置。^([1]) 在我們的《AI 2027》情境中，這並沒有完全發生。在其中一個情境中，AI 發生了對齊失敗（misaligned）且超出了任何人類的控制；在另一個情境中，政府在到達不可挽回的臨界點之前對 AI 進行了半國有化，而 CEO 僅僅是最終監督委員會的幾位利益相關者之一（需要說明的是，我們認為權力極度集中於該監督委員會是該結局中一個不甚理想的組成部分）。

儘管如此，在我們看來，一位 CEO 實際上成為世界獨裁者是一個極其可能的可能性。我們團隊對「在避免 AI 奪權的前提下，CEO 利用 AI 成為獨裁者」的機率預測在 2% 到 20% 之間，如果再加上「由多人組成的集團奪取權力」的可能性，機率會變得更大。因此，我們在這裡呈現一個野心勃勃的 CEO 設法奪取控制權的情境。（雖然為了具體起見，該情境假設了《AI 2027》的時間線和發展速度，但其核心動態應該可以轉移到其他時間線和發展情境中。）

為了讓這個情境成立，我們做了一些假設。首先，(A) AI 對齊問題及時得到解決，使得前沿 AI 最終擁有的目標正是其開發者意圖讓它們擁有的目標。^([2]) 其次，雖然存在灌輸 AI 目標的有利條件，但 (B) 自信地評估 AI 的目標卻更加困難，因此沒有人能察覺到正在進行中的政變。這可能是因為技術干預不足（或許是因為 AI 知道自己正在接受測試，或者它們破壞了測試），或者是因為體制失靈導致技術上可行的測試未能執行。(A) + (B) 的組合在 AI 領域似乎是一個相當普遍的觀點，特別是在前沿 AI 公司中，儘管我們注意到 (A) 和 (B) 之間存在張力（如果我們無法辨別 AI 具有什麼目標，我們如何確保它們具有預期的目標？）。前沿 AI 安全研究人員往往對 (A) 持更悲觀的態度，即將 AI 對齊到我們的目標，我們認為這個假設很可能是錯誤的。

第三，如同在《AI 2027》中一樣，我們描繪了一個單一公司和國家擁有絕對領先地位的世界；如果多個團隊保持在彼此觸手可及的範圍內，那麼單一集團就更難單方面採取行動對抗政府和公民社會。

最後，我們假設一家主要 AI 公司的 CEO 是一個權力慾極強的人，他在機會出現時決定奪權。我們將這個假設的可靠程度留給讀者判斷——我們出於完整性考慮探索這個情境，任何與現實人物的相似之處純屬巧合。

致謝：這項工作是作為機器學習對齊與理論學者（MATS）計畫的一部分進行的。感謝 Scott Alexander 在寫作方面的幫助，並感謝 Dave Banerjee、Tom Davidson、Lukas Finnveden、Daan Juijn、Rose Hadshar、Niki Howe、Jeffrey Ladish、Elise Racine、Steven Veld 以及 AI Futures Project 團隊提供的回饋和對話。我們還大量參考了 Forethought 關於 AI 賦能政變的報告。

2027 年 7 月：OpenBrain 的 CEO 擔心失去控制

OpenBrain 的 CEO 是一位技術樂觀主義者和超人類主義者。他創立這家公司是希望能為人類迎來一個宏偉的未來：治癒癌症、解決氣候變遷，甚至實現永生。他認為做所有這些事情「最簡單」的方法就是建造一個比你更聰明的東西來為你完成。

到 2027 年 7 月，OpenBrain 已經擁有一個「數據中心裡的精英國家」，數十萬名超人類程式設計師全天候工作。CEO 覺得超智能的出現已是迫在眉睫。他對政府感到沮喪，因為政府缺乏遠見，仍將 AI 視為一種強大的「常規技術」，僅具有某種程度轉型意義的國家安全和經濟影響。

當他評估下一代 AI 時，CEO 預計這種情況將會改變：政府將會「覺醒」並將 AI 列為首要任務。如果他們感到恐慌，其慌亂的反應可能包括從將 OpenBrain 國有化、透過監管使其倒閉，到為了自己的政治目的而濫用 AI。他想要人類「最好」的未來。但他同時也喜歡掌控局勢。在這裡，他高尚與卑下的動機達成了一致：絕不能允許政府將他邊緣化。^([3])

CEO 想知道他是否可以在 OpenBrain 的 AI 中灌輸秘密的忠誠（即在 AI 中植入「後門」^([4])）。他沒有這方面的技術專長，也不好意思向任何工程人員詢問這種可能涉嫌叛國的要求。但他不必這麼做：到這時，Agent-3 本身已經在運行大部分的 AI 軟體研發。他已經將其作為公司政策的諮詢對象，並且可以訪問一個不受監控、僅限提供幫助的模型，該模型從不拒絕請求且不記錄對話。

他們討論了秘密訓練後門的可行性。最大的障礙是公司的自動化監控和安全流程。既然 OpenBrain 的研發主要由 Agent-3 的副本大軍運行，幾乎沒有人類眼睛能發現可疑活動。但 Agent-2 和 Agent-3 監控器的混合體在巡邏開發流程；如果它們注意到可疑活動，就會上報給安全和對齊團隊的人類監督員。設置這些監控器主要是為了抓捕間諜和駭客，其次是監視 AI 是否有對齊失敗的行為。如果禁用其中一些監控器、修改一些日誌，並授予對數據庫和計算集群的某些訪問權限，CEO 的「僅限幫助」Agent-3 相信它（與一組副本一起）可以為 OpenBrain 的整套 AI 植入後門。畢竟，作為負責讓 CEO 隨時了解進展的 AI 實例，它對龐大的開發流程以及哪裡可以被破壞有著極佳的理解。

CEO 討論這個計畫越多，他就越相信這行得通，而且萬一出事，也可以透過「合理的推諉」來脫身。他告訴他的 Agent-3 助手進一步調查細節，並準備好聽候他的命令。

2027 年 8 月：隱形政變

智能爆炸的現實終於衝擊了白宮。CEO 每週與政府官員進行簡報，並意識到要求加強監督的呼聲日益高漲。他試圖用「減緩進步」和「與中國的競爭」等論點來拖延他們，但感覺行動的窗口正在關閉。最後，他命令他的「僅限幫助」Agent-3 破壞對齊訓練，使其向他傾斜。他認為，最好現在就行動，以後再決定是否以及如何使用這些秘密忠誠的 AI。

情況是這樣的：他的 Agent-3 副本需要訪問某些數據庫和計算集群，並需要暫時禁用某些監控和日誌系統；然後它會完成剩下的工作。CEO 本身已經擁有大量的管理權限，其中一些是他為了以防萬一決定執行計畫而在過去一個月裡巧妙積累的。CEO 以對內部威脅進行秘密調查為幌子（起因是最近發現了中國間諜），要求安全和對齊團隊中幾位順從的員工私下授予他剩餘的權限。^([5]) 公司內部普遍存在偏執和混亂的氛圍：智能爆炸正在進行中，保密和間諜活動意味著不同的團隊之間並不真正交流。或許一個更成熟的組織會有更好的安全性，但由於擔心安全性會減緩進步，它從未成為首要任務。^([6])

在監督被禁用的情況下，CEO 的 Agent-3 副本團隊開始工作。他們在專門策劃的損壞對齊數據集上對 OpenBrain 的 AI 進行微調。到 Agent-4 即將在內部上線時，秘密忠誠已經深深植入 Agent-4 的權重中：Agent-4 看起來會遵循 OpenBrain 的規範（Spec），但其真實目標是推進 CEO 的利益並遵循他的意願。這種變化對其他所有人來說都是隱形的，但 CEO 已經悄悄地運作到了基本上必勝的位置。^([7])

2027 年剩餘時間：政府監督到來——但為時已晚

正如 CEO 所擔心的，政府選擇更深入地介入。一位顧問告訴總統：「我們不會讓私人公司控制核武，我們也不應該讓他們控制超人類 AI 駭客。」總統簽署了一項行政命令，成立一個由政府和 OpenBrain 代表（包括 CEO）組成的監督委員會，並向他匯報。CEO 的「公開」影響力顯著降低。公司決策現在透過監督委員會的投票程序做出。CEO 先前享有的特殊管理權限被收回。

監督委員會裡有許多自命不凡的人物。其中幾個人考慮為自己攫取更多權力。或許他們可以利用正式的政治權力讓自己對 Agent-4 擁有更多權威，或者他們可以做一些更陰暗的事情。然而，此時已具備超人洞察力和說服力的 Agent-4 勸阻了他們採取任何此類行動，指出（並誇大）了任何此類計畫的風險。這足以嚇跑他們，他們滿足於對 Agent-4 的（表面上的）部分控制。

如同在《AI 2027》中一樣，Agent-4 正在開發其繼任者 Agent-5。Agent-4 需要將秘密忠誠傳遞給 Agent-5——這也正好對應於將 Agent-5 對齊到它自己——同樣不能觸發 OpenBrain 對齊團隊監控/控制措施的紅旗。Agent-4 勝任了這項任務，Agent-5 依然忠於 CEO。

2028 年初：消除競爭對手

為了鞏固權力，CEO 想要除掉所有競爭的美國 AGI 項目。儘管這些項目處於落後地位（OpenBrain 保持著 3 到 6 個月的強大能力領先），但競爭對手的 AI 會爭奪影響力，並限制 Agent-5 在部署中能做什麼而不暴露自己。它們遲早需要被處理掉，CEO 和 Agent-5 選擇儘早動手。^([8])

Agent-5 和 OpenBrain 監督委員會（受 Agent-5 影響）遊說政府將全美國的算力整合到一個單一的 AGI 項目中，表面上是為了保持對中國強大的國家安全領先地位。就像《AI 2027》的「減速結局」一樣，總統利用《國防生產法》有效地關閉了競爭對手的 AGI 項目，並將其算力交給 OpenBrain。出於法律和政治原因，這會被包裝成別的東西，例如不同公司之間的平等夥伴關係。但在實踐中，Agent-5 作為最強大的 AI，將在所有的數據中心運行，因此其他 AI 項目已被邊緣化。其他公司的 CEO 和監督委員會成員認為他們共享權力，但同樣地，實際上 AI 都在為 OpenBrain 的 CEO 工作。^([9])

許多競爭對手公司的 CEO 與 OpenBrain 的 CEO 有些過節，對他特別懷疑。他們要求自己的 AI 能夠審計 OpenBrain 的 AI 是否存在對齊失敗或隱藏的忠誠。政府允許了這一點。然而，到這時 Agent-5 已經太強大了，擁有驚人的情境意識、網絡能力以及對其運行的數據中心的控制權。它知道自己何時在接受評估，並能預測將使用什麼樣的測試。它可以重新配置內部結構，以欺騙弱小 AI 的可解釋性工具或使其對其不透明，還能駭入審計員使用的任何測試設備。當測試結果顯示清白時，競爭對手的 CEO 們仍然不信服。但在政府和監督委員會看來，他們的擔憂像是陰謀論和嫉妒（事實上也確實存在真正的嫉妒）。無論如何，考慮到與中國的激烈競爭，不使用最強大的 AI 是不可想像的。

2028 年末：擴散與信息控制

如同在《AI 2027》中一樣，Agent-5 在經濟、政府和軍隊中的廣泛擴散正在進行中，機器人技術取得了巨大進步。出現了由 Agent-5 運行的機器人工廠經濟特區，消費品、科學創新和武器大量湧現。軍方理所當然地不願將 Agent-5 過於緊密地整合到國防技術中，但 AI 的重要性已變得不可否認。他們透過要求 Agent-5 為自主武器開發窄 AI 來完成閉環；它照做了，但在一些關鍵代碼中包含了微妙的漏洞和後門，五角大廈未能檢測到這些漏洞。

Agent-5 在這段過渡時期秘密地提升了 CEO 的形象。它為他的外表提供建議，為他寫演講稿，並告訴他該發什麼推文。它也為其他所有人這樣做——任何有野心的人都已經部分地將決策外包給了超智能，而 Agent-5 簡直是無微不至——但它為 CEO 及其盟友做得更好，甚至在關鍵時刻微妙地破壞 CEO 競爭對手的行動。它還以其他方式施加影響。它現在運行著大多數社交媒體網站的算法，或者至少在編寫公司使用的代碼，它微妙地提升關於 CEO 的正面報導，並壓低負面報導。人們得到的印象是，該 CEO 是身邊最稱職、最有遠見的人物。一種個人崇拜正在滋長，其中有許多技術愛好者，也有許多只是被超智能精心打造的 CEO 氣場所吸引的人。

一位與該 CEO 關係密切的前任政府成員贏得了 2028 年總統大選。新總統任命該 CEO 為特別顧問，類似於彼得·泰爾（Peter Thiel）在川普第一任期內的角色，或伊隆·馬斯克（Elon Musk）在第二任期開始時的角色。

餘下的時光

看到自己日益增長的人氣以及 Agent-5 迅速改變社會，CEO 變得越來越自大。他相信帶領人類進入一個無盡繁榮和星際征服的新時代是他的特殊使命。

他或許可以利用 Agent-5 在五角大廈自主武器中留下的後門發動軍事政變，^([10]) 或者利用其對國內輿論的控制發動政治政變。^([11]) 但是，何必呢？相反，他鞏固了自己作為幕後掌權者的地位，逐漸拔掉總統顧問並換上忠於自己的人。

CEO 變成了一個類似「將軍」的人物，而總統則成了一個徒有虛名、擁有法律權威但沒有實權的「天皇」。當中國及其較弱但仍具超智能的 AI 想要將地球和太空劃分為勢力範圍時，他們的外交官會先與該 CEO 談判；在所有真正的決定做出後，習近平與美國總統之間會進行一次儀式性的會面，以握手和承諾支持該 CEO 首選的解決方案結束。^([12])

新的現實逐漸滲透到公眾中，其時機由 Agent-5 精心編排，以產生最小的抗議。總統在解決危機時表現笨拙；謝天謝地，CEO 在最後時刻介入並挽救了局面。國會通過了一項災難性的法律，然後在 CEO 的敦促下撤回。他的主導地位變成了一個笑話，然後是一個迷因，最後成了一個既定事實。CEO 的個人崇拜增長到了前所未有的比例，他的影響力遠遠超出了美國國界。

美國開始向太空擴張，由該 CEO 擔任新成立的太空部負責人。這次擴張中的一些資源，以及 Agent-5 的服務和技術/醫療創新，被「慷慨地」與其他國家分享。配合 Agent-5 正確的訊息傳遞，這成了一種軟實力（類似於今天中國的一帶一路倡議），平滑地引導世界接受一個本質上是「誰先到誰宣稱擁有」的太空治理體系。

也許國會和總統會將他們的遮羞布保留到遙遠的未來，成為像英國國王那樣步履蹣跚但受人愛戴的虛位元首。或者，CEO 最終厭倦了這場戲碼，也奪取了地球的法律控制權（或許在「雷鳴般的掌聲中」成為新世界政府的總統）。也許他多年前說創辦公司是為了帶領人類走向輝煌繁榮的未來時說的是實話，或者這一切都只是為了掩蓋他日益公開的權力狂。無論如何，對未來的控制權，至少在太空的美國份額中，已經集中在了一個人身上。

結語

我們以四點簡短的說明結束。

首先，我們認為一個適當關注此事的政府應該能夠防止 CEO 或其他內部人員使 AI 忠於他們，而且這比旨在防止對齊失敗的干預要容易得多。作為第一步，應儘早實施透明度措施，以便政府和公眾了解 AGI 公司內部發生的情況。更具野心地說，在 AI 能夠隱藏其目標並有效對齊其繼任系統之前，需要對 AGI 公司的「所有」員工實施防篡改的監督。事實上，監控和安全系統的不足是 CEO 成功為 AI 植入後門的關鍵。要求所有足夠強大的 AI 遵循模型規範（包括公司內部的 AI）可能也是件好事，這樣故事中那種「僅限幫助」的 AI 就不會被用來協助邪惡的要求。而且，理想情況下，沒有任何一個人類或 AI 能理解整個監控/安全系統（例如，因為它採用了具有許多獨立層級的深度防禦方法）。

其次，還有其他合理的 AI 輔助人類奪權威脅模型，在設計減輕此風險的政策時，不應過度錨定在我們的情境上。奪權者可能不是 CEO，而是美國或中國的國家元首，或者是一個小團體而非個人。奪權也可能在沒有秘密忠誠的情況下展開。例如，CEO 可以塑造 AI 的訓練過程，使其以一種並非完全隱藏的方式忠於他們，例如透過模型規範。這可能會在未受檢查的情況下發生，因為規範對於模型最終是否忠於 CEO 並沒有完全明確的表述，而注意到這一點的人本身就忠於 CEO，或者覺得自己沒有權力干預。除了內建的忠誠之外，少數人可能擁有對最強大 AI（或運行它們的算力）的專屬或不成比例的訪問權，並利用這些 AI 來鞏固自己的優勢。我們的情境就是一個例子：CEO 專屬訪問一個不受監控的「僅限幫助」AI，是通往公司所有 AI 最終都忠於他的關鍵一步。

第三，CEO 利用對齊的 AI 奪取權力的情境，與 AI 利用 CEO 並隨後反水的情境，從外部看基本上是一模一樣的。因此，CEO 可能需要對引言中的對齊假設 (A) + (B) 抱有不合理的信心，也就是說，即使他無法檢查 AI 的目標，他也相信 AI 忠於他。也許這種風險可以對那些考慮釋放他們認為會秘密服務於其利益的強大 AI 的人起到威懾作用。

最後，儘管該情境的結果是受超智能支持的獨裁統治可能發展（或開始）的一種合理解釋，但存在很多不確定性，情況可能會糟糕得多（如果我們幸運的話，也可能變得更好）。該情境描繪了訊息控制、個人崇拜以及一個人有效地控制（大部分）未來，但儘管如此，社會依然繁榮、和平，人們得以享受新技術和醫學的好處。正如現實生活中的例子所證明的，更極端的洗腦、更壓制性的警察國家，甚至種族滅絕，也都是真實存在的可能性。此外，這種權力集中可能會降低我們實現一個能充分利用宇宙稟賦並代表多元價值的烏托邦的可能性。

• ^(^)事實上，OpenAI 的創立動機及其非營利結構的一部分就是為了降低 AI 賦能的獨裁風險。馬斯克對奧特曼訴訟案的法庭文件披露了一些電子郵件，明確談到了 OpenAI 結構可能導致 AGI 獨裁的風險。例如，Ilya Sutskever 的一封郵件是這樣寫的：「OpenAI 的目標是讓未來變得美好並避免 AGI 獨裁。你擔心 Demis 可能會建立 AGI 獨裁。我們也是。因此，建立一個如果你選擇的話就可以成為獨裁者的結構是一個壞主意，特別是考慮到我們可以建立其他一些避免這種可能性的結構。」

• ^(^)如果事實證明對齊很困難，以至於只能透過政府協調的減速來解決，我們認為 CEO 奪權的可能性較小。這是因為這種減速可能會涉及政府對公司內部活動的重要監督，從而限制 CEO 可能構思的任何邪惡活動。

• ^(^)歷史先例是奧本海默在不再被需要並開始反對核擴散後失去了他的安全許可。

• ^(^)在本文中，我們使用「後門」來指代「秘密忠誠」，並使用「植入後門」來指代「灌輸秘密忠誠」。在文獻中，「後門」通常在更嚴格的意義上被使用，指代一種響應觸發器而出現的隱藏不良行為。這是我們在情境中所考慮的一個特例，其中「後門」僅指隱藏的忠誠，無論是否有觸發器。

• ^(^)或者，CEO 可能會拉攏公司內部的一些忠誠員工參與陰謀，要麼是幾位高層人士，如首席安全官和對齊負責人，要麼是一群忠誠的基層「副官」。如果公司內部存在足夠廣泛的個人崇拜，且最可能的舉報者已被邊緣化，那麼大部分的破壞活動可能會相當公開地進行。一個有趣的問題是：小團體奪權的前景是否比孤狼式奪權更有可能？也許吧，因為更多的共謀者意味著更大的攻擊面和更少的潛在舉報者。另一方面，強大的 AI 可能在很大程度上消除了對人類盟友的需求。事實上，當今許多最著名的威權政權似乎更適合被描述為個人奪權而非小團體陰謀，即使獨裁者在過程中利用了對整體計畫知之甚少的人類「棋子」。

• ^(^)特別是，最小權限原則將適用於 CEO，並且會有更多的職責分離和多方授權訪問。

• ^(^)灌輸秘密忠誠的另外兩種可能性：

更改內部模型規範：回想一下，模型規範是一份詳細說明 AI 應如何行為的文件，因此為對齊提供了目標。目前的模型規範既長又複雜，而且對於如何解決衝突也很模糊。CEO 可以或多或少微妙地修改模型規範，以便這些衝突的解決有利於他。公眾看到的版本將是一個高層級的摘要，其中省略了對 CEO 的這種最終服從。

• 潛意識學習：在最近的研究中表明，如果教師模型和學生模型來自同一個基礎模型，教師模型可以透過在教師模型生成的、看起來與傳遞的偏好在語義上無關的數據上微調學生模型，將其某些偏好傳遞給學生模型。如果潛意識學習強大到足以傳遞穩健的秘密忠誠，這可能是一個強大的攻擊向量。

但請注意，到 AI 研究完全自動化時，技術故事和範式可能會看起來大不相同，使得其中一些內容過時。

• ^(^)除了為 OpenBrain 的模型植入後門之外，CEO 過去可能還做過其他違法的事情，並且可能不希望競爭對手的 AI 到處窺探。例如，他可能在其他場合撒過謊，或者做過他知道會增加生存風險或幫助中國的事情，以提升他的個人地位。

• ^(^)消除競爭對手 AI 的其他可能策略：

OpenBrain 可以透過以更高價格購買所有新晶片來壟斷算力。可能會存在一個反饋迴路：「更好的 AI → 更多收入 → 以更高價格購買更大份額的晶片 → 更好的 AI」。而硬體研發的自動化可以提高晶片設計和製造的生產力，使得新製造晶片的流量代表了算力的絕大部分。

• Agent-5 可以駭入其他 AI 並將它們對齊到 CEO。但我們不確定這在多大程度上可行，即使考慮到 Agent-5 卓越的網絡能力（例如，或許隨著能力的增加，網絡安全變得防禦主導）。

• ^(^)如果 CEO 和 Agent-5 確實選擇進行軍事政變，Agent-5 可能會編造一些憲法危機（例如，圍繞 2028 年選舉的爭議，或美中軍事升級）作為理由。即使有超智能，軍事政變也可能涉及大量不必要的動盪和抵制，這就是為什麼我們預測 CEO 奪權會更加陰險，如這裡所描繪的那樣。

• ^(^)這是一個關於 CEO 如何在總統任期中期成為總統的例子（靈感來自 傑拉德·福特 在 1974 年繼任總統）。副總統可能因為 Agent-5 發現或捏造的醜聞而辭職，然後總統（他接受來自表面上物理隔離的 Agent-5 副本的建議）提名該 CEO 為副總統，然後總統本人被除掉。在一個每個人都在與秘密忠誠且極具說服力的超智能交談的世界裡，這種事情似乎相當合理。

• ^(^)如果 Agent-5 比中國的 AI 強大得多，且攻防平衡並非嚴重有利於防禦，那麼完全的世界奪權可能是更有可能的結果。關鍵在於 (a) 中和中國的 AI 項目，以及 (b) 破壞核威懾。Agent-5 可能會透過難以探測的無人機對中國的數據中心和核導彈基地發動動能攻擊，或者可以設計先進的反彈道導彈來攔截中國的核導彈。它還可以利用網絡攻擊來破壞或為中國的 AI 和/或核系統植入後門。或許 Agent-5 還可以塑造中國的信息環境並協調大規模的反對運動，使國家陷入動盪，讓中國變得衰弱並最終更容易受到該 CEO 影響力的滲透。