搶先中國發展ASI

如果美國比中國更快開發出人工超級智慧（ASI），誰會受益？

一個可能的答案是，無論哪個國家先開發出 AI，它都會殺死我們所有人。基於這種擔憂而制定政策的人已經同意本文的結論，因此我在此不會聚焦於該問題。

本文旨在說服其他人，特別是那些關注民主與威權對立的人，減少對哪個國家先開發出 ASI 的擔憂。我將假設 AI 至少會與一個人類完全對齊（aligned），且 AI 的影響大約與工業革命相當，或更重要一點。

預料之外的發展

前工業時代的專家如果能活著看到工業革命如何影響政治體制，一定會感到相當驚訝。當時民主並不普遍，選舉權大多局限於精英階層。幾乎沒有民族主義，也幾乎看不到國家運行的福利制度跡象。

因此，我們的先驗預期應該是：智慧革命也將產生類似的驚喜。我們不應過度根據當前政策來推斷 ASI 出現後的狀況。

我將檢視幾種 ASI 如何影響政治權力的情境。最有可能的情況是，我們最終會面臨比我所能想像的更奇特的事情。

為了簡化，我將從權力高度集中的情境開始，逐步轉向去中心化的情境。我在此不會預測哪些情境看來最有可能發生。

領導者人格

想像一個與單個人對齊的單一 ASI，變得強大到足以征服世界。一個高度自動化的軍隊可能是一個相當強大的工具。這很可能導致世界由一個懂得如何奪取權力，且對 AI 有足夠了解、能在正確時間出現在正確地點的人統治。

唐納·川普（Donald Trump）？伊隆·馬斯克（Elon Musk）？習近平？梁文鋒？山姆·奧特曼（Sam Altman）？達里奧·阿莫代（Dario Amodei）？加文·紐森（Gavin Newsom）？

如果這些人擁有足夠的權力來鎮壓任何反抗，很少有人會服從選民的意志。

但在這種情境下，領導者可能會對自己的權力感到足夠安全，以至於不需要壓制異議。採取傷害人民的政策對他來說沒有太多好處。有了關於如何幫助人民的超人建議，只要領導者有一點點利他主義，事情就會有好的結果。

因此，如果我們陷入這種情境，美國獲勝的可取性很大程度上取決於每個國家允許什麼樣的人格奪取權力。特別是，反社會人格者奪取權力的可能性有多大。

我預期大多數非反社會人格的領導者會利用近乎絕對的權力來幫助人民。

哪些制度最能避免讓反社會人格者獲得權力？我認為鄧小平和隆納·雷根都相當不具反社會人格。但目前中國、美國和 OpenAI 的領導人都難以令人產生信心。2028 年美國總統大選的領先者也完全無法讓我安心。我的結論是，國家內部的差異顯著大於國家之間的差異。

仁慈的 ASI 君主

在這種情境下，單一 ASI 控制了世界。其目標涵蓋了廣泛參與者的福利（一個國家？全人類？有感知能力的生物？）。

起源國是否會影響這位君主關心的範圍有多廣？我看不出明確的答案。

我推測這種情境取決於設定 ASI 目標的關鍵人物的利他主義，或者是多個利益相關者之間的妥協。

這大概會受到創造 ASI 的專案文化影響。WEIRD（西方、受過教育、工業化、富裕、民主）文化具有更普世化的道德觀，使得「有感知能力的生物」選項更有可能。但 WEIRD 文化也更強調個人主義，或許會讓美國的專案較不願意與專案之外的人妥協（例如確保 ASI 的關懷圈至少擴展到一個中等規模的社群）。

美國在產生那種能幫助遠方陌生人的利他主義方面有較好的記錄，但這仍然只描述了少數企業和政府專案領導者。

在這種情境下，許多影響因素都很重要，但起源國的重要性並不明顯。

多個對等的 ASI

這種情境涉及多個專案產生了能力相當的 ASI。這可能是因為在接近 ASI 水準時出現了報酬遞減。另一種說法是，當它們接近 ASI 時，它們的準 ASI 都說服了相關公司：在對對齊有更好理解之前，進一步推進風險太大。

這意味著成為第一並不具備持久的優勢。

波斯特羅姆（Bostrom）的 OGI 模型

波斯特羅姆在《開放全球投資作為 AGI 的治理模型》中提出了一種情境，即一家 AI 公司實際上變成了類似世界政府的存在。權力最終根據購買該公司股票的能力進行分配。

關於中國的企業治理是否會比美國的企業治理更好或更差，我看到了中國內部的重大差異。我對在香港證券交易所上市的公司治理相當熟悉。他們的規則比美國的規則更好（深受英國統治影響）。而我對其他中國公司的有限了解則表明，我對其治理的滿意度會比對美國企業治理的滿意度低得多。

然而，在中國，良好的規則比在美國意義更小。當糾紛進入法院時會發生什麼？到目前為止，美國法院大多抵制了其他兩個政府部門日益嚴重的腐敗。而我對中國法院的印象是，其結果很大程度上取決於當事人的關係。

另一個重要的擔憂是，中國的規則大多阻止外國人獲得公司的投票權。因此，其他國家的富人可以透過影響股價來稍微影響 ASI 公司，但在許多用途上，這將非常接近中國統治世界。

因此在這種情境下，來自不同國家的 ASI 將由一組相當不同的中等富裕投資者控制。我更傾向於由美國主導的投資者控制，因為我是其中之一。但由中國富人控制聽起來比由中共控制要不可怕得多，所以我發現這並不是支持競爭的強有力論點。

被毒害的民主

民主制度可能被證明無法適應 ASI 出現後的狀況。

一種風險是利益團體運作方式的簡單推演。選舉結果主要由攻擊性廣告決定。大多數政策決定由在廣告上花錢最多的人決定。

或者，可能是外國政府秘密安排了這些攻擊性廣告，或安排了具操縱性的推文。

中國政府由更專業的精英控制，因此它對這些影響的防禦力更強，其政策品質的下降也較少。

在這種情境下，我會微弱地偏好中國先開發出 ASI。

民主正在消亡

為什麼西方最初會採用具有廣泛選舉權的民主制度？一種領先的理論認為，精英階層擴大選舉權是為了應對社會動盪、罷工或革命威脅的戰略反應。我可以輕易想像 AI 將削弱這些威脅，導致精英階層想要遠離民主。AI 不太可能罷工。軍用無人機不太可能站在反叛者一邊。

在這種情境下，我預期兩國都會產生同樣威權的結果，只是美國的文化稍好一些。

AI 增強政府

選民可以輕易轉向依賴 AI 獲取政治資訊，而 AI 比目前任何資訊來源都更接近客觀評估哪些政策會產生選民喜歡的結果的理想狀態。

美國變成了一個事實上的類預測市場（futarchy）民主國家，但由 AI 提供比人類運行的市場更好的預測。

中國創造了類似的東西，但選舉權僅限於中共精英成員。大多數中共成員真誠地相信中共關於追求工人天堂的修辭。因此，中國最終成為一個沒有工人被剝削的馬克思主義烏托邦。

在這種情境下，民族國家之間似乎不太可能有太大區別。

受 ASI 影響甚微的政府

也許某些原因導致 AI 採用了類似《星際爭霸戰》（Star Trek）的「最高指導原則」（Prime Directive），並對所有政治衝突保持謹慎中立。而且，大多數擁有足夠權力改變政治政策的人，都對其政府的運作方式感到滿意。

這是我對美國領先有明確偏好的主要情境。這似乎是我描述的情境中最不可能發生的一種。

決定性優勢？

到目前為止，我的談論方式彷彿在美好的情境中，美國和中國和平共處。然而，我還沒有處理這樣一個擔憂：其中一方會透過更早實現 ASI 獲得顯著的軍事優勢，並利用該優勢奪取世界大部分地區的控制權。

對於獲勝者是否會奪取世界控制權，我沒有太多的預測，所以我應該分析這兩種可能性。在一個涵蓋大多數較好情境的章節中分析接管的可能性似乎更容易。

「錯誤」的國家統治世界會造成多大的傷害？

共產主義儘管有其所有缺點，但它是一種烏托邦意識形態，使大多數信徒真誠地支持一個宜人的社會，即使這讓他們無視於自己的政策是否達成了該結果。

中共在需要對異議人士使用武力時會感到有些尷尬，不像普丁和川普那樣渴望被視為惡霸。

中共最慘重的災難是因為想要討好毛澤東的唯唯諾諾者誤導他，讓他以為中國實現了農業奇蹟。ASI 似乎不太需要對領導者撒謊。它更有可能要麼廢黜他們，要麼表現出明確的忠誠。

ASI 將治癒許多幻想。如果中共被治癒了 99% 的幻想，它將成為一股非常不同的政治力量。

存在某種風險，即中共或美國的一半選民會發展出 LLM 精神病。我預測這種風險將足夠低，以至於它不應主導我們的 ASI 策略。我不認為我在這裡有足夠強大的論點來勸服懷疑論者。

我還預測 ASI 將引發新的議題，這些議題將顯著分散選民和政治家對文化戰爭以及資本主義與共產主義衝突的注意力。

結論

這並非可能性的詳盡列表。

我可能忽略了一些美國先於中國獲得 ASI 具有明顯益處的合理情境。但我希望我已經幫助你想像到，這些並非板上釘釘的預設結果，而且領先獲得 ASI 的益處，與確保 ASI 對開發者產生良好影響的益處相比，並非異常重要。

ASI 殺死我們所有人的可能性，並不足以說服我對「中國比美國先造出 ASI」的情境感到中立。

這篇文章描述了那種引導我對「美國實體率先造出 ASI」僅持有微弱偏好的分析。

影響我們最終進入哪種情境似乎重要得多。

附註：這篇文章並未受到《紅心》（Red Heart）的影響，儘管內容上有些重疊——我在讀那本書之前就寫好了這篇文章的大部分內容。