ControlAI 的使命是避免由超智慧人工智慧（ASI）帶來的生存風險。我們相信，為了實現這一目標，我們必須促成一項禁止開發超智慧 AI 的國際禁令。

我們正致力於透過我們認為最自然且最有希望的方式來實現這一目標：幫助政府決策者和公眾了解風險並採取行動。

我們相信，如果規模足夠，ControlAI 可以促成一項針對 ASI 開發的國際禁令。我們估計，每年大約需要 5,000 萬美元的預算資金，才能讓我們在未來幾年內有切實的機會實現這一目標。 更準確地說：若能在未來幾個月內獲得這筆資金，我們認為成功的機率約為 10%。

在本文中，我們闡述了這一估計背後的部分推論，並解釋了超過該門檻的額外資金將如何持續顯著提高我們的成功機率——若每年有 5 億美元，估計成功機率可達約 30%。
^([1])

預防 ASI 入門

談判、實施和執行一項國際性的 ASI 禁令，其本身並非單一非營利組織所能完成的工作。你需要國家力量的支持才能達成這類目標。如果人類設法實現了 ASI 的國際禁令，那將是透過一個受過充分激勵、且實力足夠強大的初始國家聯盟努力而成的。

假設我們在多個國家並行工作，我們可以將問題陳述為：讓每個國家都有動力去促成一項 ASI 的國際禁令。 所謂一個國家有「動力」去做某事，其含義並不顯而易見，因此值得花點時間拆解。

我們完整的變革理論圖表，從預期結果回溯到我們目前運行的工作流。

通常，一個國家的行政部門負責處理涉及國家與全球安全的緊急議題之國際談判。在實踐中，這些群體就是需要被充分激勵以促成禁令並投入其影響力的人。

政府部門通常不會獨立採取大膽立場並將其追求到底。相反，他們的立場和行動大多是由主流社會思潮所塑造的。

其中一些思潮是非正式的。這包括他們與同事、顧問、親信和家人的對話，也包括最近的新聞週期和他們消費的媒體內容。

思潮的其他部分則透過更正式的管道運作，特別是在民主國家。立法部門可以影響行政部門。
^([2])
公眾透過選舉影響政府，但也透過民調、公共討論和共同訴求產生影響（至少因為這些會影響對未來選舉結果的預期）。

如果足夠多的輸入指向同一個方向，推動 ASI 國際禁令就可能成為國家的首要任務之一。為了讓這套機制運作，我們需要對 ASI 帶來的生存風險有普遍的認知。 這句話包含兩個主張，兩者都是完全必要的，讓我們分別重複並展開說明。

主張 1：對生存風險的認知需要滲透到整個社會。

禁止 ASI 開發並非易事。這需要行政部門相關單位採取大量主動行動，並涉及許多艱難的權衡。至少，這意味著要顯著放慢通用 AI 的進步，從而放棄經濟和軍事優勢。如果某些國家最初不願配合禁令，禁令的支持者將需要運用胡蘿蔔與大棒的昂貴組合來爭取反對者加入。

為了讓相關群體克服這些成本，必須讓他們感到有充足的行動壓力，且這種壓力來自多方。如果所有提出要求的人都屬於某個特定的少數派系，則會產生強烈的免疫反應，該派系會被忽視，甚至在某些情況下被清洗。

主張 2：這種認知必須明確針對「超智慧 AI」帶來的生存風險。

如果人們只是模糊地不喜歡 AI，或者只是模糊地意識到 AI 存在某些可怕的風險，這是遠遠不夠的，有時甚至是有害的。由於前述的艱難權衡，在內部和外部的許多層面上都會存在採取折衷措施的壓力。對抗這種壓力唯一足夠的砝碼，是理解「必須絕對防止 ASI 開發以確保人類生存」。

缺乏對特定問題的認知，不可避免地會導致行動乏力，以及無法真正防止 ASI 開發的軟弱、失焦政策。這就是為什麼在我們的溝通中，我們唯一關注 ASI 的生存風險，而不致力於提高對其他 AI 風險的認知，或試圖讓大眾模糊地討厭所有 AI。
^([3])
我們所有的努力都專門圍繞著提高對 ASI 生存風險的認知，以及如何應對這一風險。
^([4])

認知是瓶頸

圖表合成自 Gabriel Alfour 的文章〈籠罩在「AI 安全」社群上空的幽靈〉（The Spectre haunting the “AI Safety” Community）中的「簡單管道」章節。一種普遍的看法是，人們無法直接與外行人溝通 ASI 的生存風險，因為他們永遠聽不懂。相反，必須設計複雜的說服方案。根據我們的經驗，這種想法顯然是錯誤的。直接說實話就好！

我們相信，促成超智慧國際禁令的主要瓶頸是對該問題的基本認知。

我們接觸到的大多數人（例如立法者和媒體）從未被用平實的語言告知過這個問題。我們發現，通常只需要一次誠實的對話就能爭取到一個人的支持。誠實向人們解釋擔憂是如此容易實現的目標，這也是為什麼我們在 2025 年能取得如此多成就的原因之一。

政治家和公眾根本不知道 AI 領域最重要的人物確實擔心超智慧導致人類滅絕。他們根本不知道，專家們能真正達成共識的唯一避免人類滅絕的方法，就是根本不要建造 ASI。
^([5])

他們之所以沒有意識到這一點，是因為沒人告訴他們，而不是因為他們不理解相關概念。根據我們的經驗，大多數人直覺上都認為，建造像 ASI 這樣強大、且你無法理解也無法預測的東西是極其危險的。他們直覺地認為你無法控制 ASI，它很容易引發災難性後果，而這意味著你一開始就不應該建造它。

簡單來說，人們之所以沒有意識到超智慧帶來的生存風險，是因為擔憂的專家們通常沒有坦率地表達他們的擔憂。CAIS 關於 AI 風險的聲明是一個罕見的例外，
^([6])
但它已開始過時，而且即便如此也還不夠。

我們與立法者會面超過 300 次。大多數情況下，以前從未有人向他們解釋過生存風險，他們在會面前也從未聽說過 CAIS 聲明。

即便如此，政治家並不在意某人曾簽署過一份聲明。這不是他們預期中擔心全人類滅絕的人該有的行為。這對他們來說聽起來很軟弱，甚至有點假。

在一個嚴肅的世界裡，你會期望每一位擔心滅絕的 AI 專家都大聲且持續地表達立場，包括向公眾和政府決策者表達。就現狀而言，事實並非如此。AI 公司及其領導者不斷軟化他們的溝通內容，避免明確提到滅絕，而傾向於使用委婉語和其他風險。Anthropic 的增長負責人最近表示，Anthropic 不斷調整其溝通方式，使其變得「更柔和」，看起來「不那麼誇張」。

當美國參議員詢問 Sam Altman，他在說出「開發超人機器智慧可能是人類持續存在最大的威脅」時是否考慮到工作崗位問題，Altman 並沒有糾正參議員，而是順著話題談論 AI 對就業的可能影響。

如果你有機會參加灣區的家庭派對，你會對此有深刻的感受：AI 公司的許多研究人員都擔心生存風險，並據此顯著調整他們的生活。與此同時，他們在公開場合卻不談論這些風險。

對我們來說顯而易見的是，超智慧國際協議進展如此緩慢，正是因為專家們未能持續公開他們的擔憂。

一場不對稱戰爭

雖然 ASI 國際禁令顯然是一個非常宏大的目標，但在某種意義上，倡導 ASI 生存風險是順勢而為。從根本上說，這是因為幾乎沒有人想死於 ASI。

政治通常是不同利益集團之間對抗性的拉鋸戰。當涉及到美國政治中備受關注的議題（如墮胎、大麻合法化、第 22 號提案）時，可能需要耗資數億美元。
^([7])

然而，當涉及到生存風險時，不同利益集團之間幾乎沒有衝突。如果生存風險成真，那麼每個人都會死，無論其財富、政治立場或其他個人利益如何。只有極少數人在有機會考慮生存風險的困境後，仍決定為了得到 ASI 而拿人類的滅絕做賭注。

這在分形層面上也是成立的。這不僅意味著我們預期該議題在各國內部是非黨派的，而且我們預期只要存在建造超智慧會導致人類滅絕的重大風險，各國的利益就會趨於一致。
^([8])
這就是為什麼我們認為，如果能以更大的規模複製我們已經取得的成功，就有很大機會促成超智慧的國際禁令。

由於我們的方法不是透過純粹的力量贏得政治拉鋸戰，我們預期即使預算低至 5,000 萬美元（這比其他重大議題的政治運動至少小一個數量級），我們也有機會（~10%）獲勝。這雖然是個冷門，但我們認為「勝算較大」（~30%）則需要 5 億美元左右的更大預算。
^([9])

讓我們進一步說明所謂的「政治拉鋸戰」。一種常見的策略（特別是在試圖阻止法律通過時）是故意混淆視聽，例如大聲宣傳提案的優點並只談對手的缺點，或對對手進行人身攻擊。

除了這種策略顯而易見的道德問題外，當涉及到像 ASI 生存風險這樣黑白分明且具有普世關切的議題時，它們的效果會大打折扣。面對生存風險這類議題，要挑撥離間或執行混淆戰術以阻礙建立限制措施，會變得困難得多。

可擴展的流程

ControlAI 的核心是努力創造一種可擴展的、工業化的方法來規避 ASI 的生存風險。 AI 風險緩解領域在歷史上一直依賴於我們所謂的「客製化」或「手工」方法。也就是說，它依賴傑出的個人來取得特定的成功，例如出版一本暢銷書，或完成一些令人印象深刻的社交壯舉，這一切都遵循其個人品味。

這些「手工」工作流所謂「成功」的定義並未寫在任何地方，也沒有投入太多精力去定義和鞏固它。對於大多數關注 AI 風險的人來說，判斷自己是否成功與其說是衡量某事，不如說是應用那些容易陷入「銀河大腦」式空談的臨時理由。一切都取決於個人品味的好壞，最壞的情況則取決於純粹的運氣。

即使你在這些努力中取得了成功，你也無法輕易複製這種成功。為了更清楚說明：Eliezer Yudkowsky 和 Nate Soares 無法僅透過投入更多資源，就簡單地複製他們出版《If Anyone Builds It, Everyone Dies》一書所取得的成功，更不用說圍繞該方法建立組織來擴大規模了。這本書非常出色，有助於傳播認知，但你不能每週都出一本書。

同樣，CAIS 的「AI 風險聲明」在建立共同知識方面非常出色，對我們的努力有很大幫助。即便如此，這類工作很難複製，事實上也確實沒有被複製：自那以後，無論是 CAIS 還是任何其他組織，都未能成功讓頂尖 AI 公司的所有執行長簽署一份同樣坦率的聲明。
^([10])

ControlAI 採取了不同的方法，這種方法允許在工作流建立後直接擴大規模。 每當我們有一個過於遙遠而無法直接應對的目標時，我們就會將其分解為我們認為可以採取行動的最具野心的中間目標。關鍵在於，我們選擇的中間目標其進度可以用具體數字來衡量。透過這種方式，我們正在模擬銷售漏斗，這是公司處理銷售的黃金標準。

以下是我們應用此方法的幾個例子。我們早期面臨的挑戰之一，是如何將成功的立法者簡報轉化為能隨時間累積並產生動能的東西。我們的答案是建立一份運動聲明
^([11])
並要求立法者公開支持它。我們已經獲得了 120 位支持者！

這個解決方案滿足了幾個重要的約束條件：

• 它讓世界進入一個更容易實現 ASI 國際禁令這一最終目標的狀態：每一位公開支持者都有助於建立一種共同知識，即立法者認為這是一個值得立即關注的緊急議題。

• 它為此工作流提供了一個清晰的數值成功衡量標準：簽署我們運動的立法者人數。

• 我們可以直接應對這一挑戰：在每次簡報結束時，只需詢問立法者是否願意公開支持該運動。

• 邊際投入會隨時間產生複利：每增加一位公開支持運動的立法者，都有助於提高該議題的可信度，並使未來更多立法者更容易表態。

一段時間後，我們準備推動更具野心的目標。因此，在繼續增加支持運動的立法者人數的同時，我們引入了一個新指標：由個別立法者發表的公開聲明（書面或口頭）數量，
^([12])
且該聲明必須明確提到 AI 生存風險或防止超智慧，前提是這發生在我們親自向他們簡報之後。在英國，這一指標目前為 21。

這些指標是數值化且定義明確的，這意味著即使是新入職的畢業生也可以被指派去「讓數字上升」，或提高漏斗中一個步驟到下一個步驟的轉化率。工作人員不會在進度上欺騙自己。
^([13])

事實上，大多數相當聰明且積極主動的人，在獲得適度指導的情況下，會自然地迭代他們的方法並最終取得良好結果。這樣一來，我們就不需要指望一開始就招募到品味非凡的人。

這一主張最好的證明是我們在加拿大的成功。在大約半年的時間裡，僅憑 1 名沒有政策經驗的員工，我們成功向 89 位立法者進行了簡報，並促成了加拿大議會關於 AI 風險的多場聽證會。這些聽證會包括許多表達對生存風險擔憂的專家證詞：

• ControlAI 的 Andrea Miotti (CEO)、Samuel Buteau (加拿大項目官員) 和 Connor Leahy (美國總監)

• Malo Bourgon (MIRI)

• Max Tegmark 和 Anthony Aguirre (FLI)

• Steven Adler (前 OpenAI)

• David Krueger (Evitable)

我們的方法易於擴展，這正是我們能在本文其餘部分討論如何有效利用遠大於現有資金的原因。這也是為什麼在某些情況下，我們能夠對預期取得的成功做出初步預測。

每年 5,000 萬美元或更多資金的用途

目前，我們認為與真正有機會促成超智慧國際禁令所需的資金相比，我們的資金嚴重不足。我們估計，每年 5,000 萬美元的預算
^([14])
將使我們有機會成功，儘管這仍是個冷門。我們估計在 5,000 萬美元預算下成功的機率（即實現穩健的 ASI 開發國際禁令的可能性）約為 10%。

在這裡，我們分解了將如何分配 5,000 萬美元的預算，以最大化促成 ASI 開發國際禁令的機會。我們還展示了更多資金將如何進一步增加我們的成功機率，並舉例說明我們將如何有效利用高達 5 億美元或 10 億美元的預算（這與美國的大型運動如墮胎、大麻政策和總統大選的規模大致相當）。

我們將涵蓋在美國及世界其他地區使用資金進行政策倡導、公眾認知運動、政策研究、對意見領袖（如記者）的宣傳、草根動員等計劃。

美國政策倡導

在每年 5,000 萬美元的預算內，我們將能夠聘請約 18 名全職政策倡導者，專門負責向美國國會議員進行簡報。 原則上，我們將有足夠的頻寬在 3 到 6 個月內會見每一位國會議員，確保他們至少聽取過一次關於超智慧生存風險的簡報。

雖然我們有信心具備這些會議的能力，但目前尚不清楚我們是否能定期與國會議員面對面簡報，還是會將大部分時間花在與幕僚溝通上。目前，我們持謹慎樂觀態度：在過去 5 個月裡，憑藉約 1 名員工，
^([15])
我們已成功親自會見並向 18 位國會議員以及 90 多個國會辦公室進行了簡報。

此外，我們將有能力向與國家安全和國際事務相關的行政部門辦公室進行簡報。這些機構受到許多其他行為者的信任，負責掌握安全風險，特別是像超智慧生存風險這樣劇烈的風險；對於大規模協調而言，這些機構的成員對該議題有良好的掌握至關重要。

5,000 萬美元的預算還將允許我們聘請一個約 6 人的小團隊，專注於向少數高優先級州的州立法者進行宣傳。

我們工作的核心是確保美國決策者得到正確的資訊並理解：

• 超智慧、遞迴自我改進、算力等概念；

• 超智慧構成了生存風險；

• 這可以透過禁止 ASI 的國際協議來解決，以及如何設計這樣的協議使其能被有效執行。

我們預期，在成功告知決策者這些事項的程度上，我們將能夠將其轉化為可衡量的結果，例如：

• 政治家就超智慧及其構成的生存風險發表公開聲明。

• 政治家就建立超智慧開發國際禁令的必要性發表公開聲明。

• 國會就上述主題舉行聽證會。

• 美國採取步驟與其他國家談判超智慧的國際禁令。

在 5 億美元的預算下，我們不僅會將專門從事美國政策倡導的全職人員數量增加兩到三倍，而且還能吸引頂尖人才，並聘請擁有強大既有人脈網絡的政策倡導者。

世界其他地區的政策倡導

在英國，我們已經推動了關於超智慧的國家對話。在短短一年多的時間裡，我們在運動聲明中聚集了 110 位支持者，並促成了上議院關於超智慧和生存風險的兩場辯論。

在每年 5,000 萬美元的預算下，我們可以負擔得起將在英國的努力增加三倍以上。 既然我們已經獲得了一些關注，我們將更多精力放在以下方面：

• 促使政府討論英國可以採取的法案、修正案和行動，以倡導建立超智慧國際禁令；
  ^([16])

• 行政部門宣傳。

一個強大到足以促成 ASI 禁令的國家聯盟，可能需要多個大國參與。為了最大化實現這一目標的可能性，我們計劃在政策倡導工作中優先考慮 G7 國家。這是因為 G7 包含了所有我們有信心可以透過民主方式施加影響的最強大國家。

在 5,000 萬美元的預算內，我們將能夠在所有其他 G7 國家和歐盟機構中複製我們目前的英國工作。 這意味著我們很可能能夠在大多數這些地方複製我們在英國的成功，即使考慮到運氣不佳或難度略高的情況。
^([17])

如果預算再增加約 500 萬美元（在之前的 5,000 萬美元基礎上），我們將能夠為世界其他地區的許多國家分別指派至少 1 名（在某些情況下為 2 名）政策倡導者。 例如，我們可以在幾乎所有 G20 國家保持存在。

我們無法預先知道哪些國家會對我們的努力做出良好反應，因此我們認為分散開來並盡可能多地嘗試是有用的。我們之前的經驗表明，在某些 G7 國家，僅憑 1 名員工至少是有可能取得良好結果的。

在加拿大，我們唯一的當地員工在 2 月份與代表舉行的會議次數超過了任何其他企業遊說者或倡導者。我們很有可能在至少一些 G20 國家複製我們在加拿大的結果，因為那裡對決策者注意力的競爭不那麼激烈。

公眾認知

我們的變革理論不僅取決於關鍵決策者理解該議題，也取決於公眾的理解。我們向公眾傳達的核心訊息是：
^([18])

• 頂尖 AI 專家警告 AI 構成生存風險。

• 我們可以透過禁止超智慧來預防這種風險。

• 超智慧可能很快到來，就在 5 年或更短的時間內。

我們相信我們的核心訊息是直接的：你不需要是天才或對 AI 有深入了解就能理解它們。
^([19])
主要的瓶頸是首先讓公眾意識到這個問題；之後則是讓他們對此採取行動。

我們大致預期，普通人至少需要看到我們的每個核心訊息 7 到 10 次才能記住它們。
^([20])
即便如此，我們預期即使同一個人看到訊息數十次，再次向此人傳遞相同訊息的邊際收益仍未飽和。例如，我們預期每一次新的觀看都會讓該人在對話中更自發地提起該議題，或更有可能根據此議題改變其投票意向。
^([21])

在 5,000 萬美元的預算內，我們預期在美國可以實現約 20 億次的廣告曝光量，
^([22])
這比我們目前的約 2 億次增加了一個數量級。
^([23])

各種來源顯示，YouTube 的平均 CPM（每千次展示成本）約為 9 美元，範圍大約在 3 美元到 23 美元之間，具體取決於廣告和活動。以此為參考，假設我們分配 1,600 萬美元用於原始廣告支出，我們將獲得 7 億到 53 億次曝光。這是假設我們所有的廣告支出都在單一平台上，但我們可以透過跨平台投放來輕鬆改進。作為參考，每年 1,600 萬美元的廣告預算與 Shake Shack 等公司的廣告支出相當，但仍比總統大選或可口可樂的年度廣告支出低兩到三個數量級。

如果這均勻分佈在美國人口中，每位美國成年人將至少看到我們的廣告約 3 次。
^([24])
更現實的情況是，如果我們針對美國人口中較窄的群體，10% 的美國成年人可能會看到約 30 次，或者 5% 的美國成年人看到約 60 次。換句話說，美國人口中相當一部分人記住我們的核心訊息變得具有可能性：他們會意識到 AI 構成生存風險，他們會記住解決此問題的主要建議是我們應該禁止開發超智慧 AI。

這種程度的認知似乎是一個巨大的進步，但我們不會止步於此。除了提高認知外，我們還旨在幫助人們採取行動，推動世界走向超智慧的國際禁令。

到目前為止，我們認為最有用的 CTA（行動呼籲）是要求人們給他們的立法者寫信或打電話。使用這種 CTA 讓能夠建立一個有足夠動力採取此類行動的支持者群體，我們將來可以再次召集他們。我們已經為此建立了線上運動基礎設施，我們的 18 萬名電子郵件訂閱者已經向他們的立法者發送了超過 20 萬條關於 ASI 的訊息。

在 5,000 萬美元的預算下，我們估計可以在 1 年內將此支持者群體擴大到 200 萬公民。當我們發送此類 CTA 郵件時，目前的行動率約為 2%。我們認為可以安全地假設在這種規模下，行動率不會下降一個整整數量級。

基於這些假設，我們預測如果我們針對某些精心挑選的美國州，這將產生足夠的選民壓力，僅透過選民給立法者寫信和打電話，就能進入關鍵決策者及其幕僚的視野。例如，如果我們針對搖擺州，我們或許能讓競選活動至少意識到我們的議題。

公眾認知努力在飽和之前可以大規模擴展。有一些直接、非創新的方式可以有效利用高達 5 億美元或 10 億美元的預算：大規模廣告活動通常就是這麼做的。可口可樂在 2024 年花費了 51.5 億美元，而川普 2024 年的總統競選花費超過 4.25 億美元，若包括外部團體則達 14 億美元。這也是如果我們想做的話，可以花 800 萬美元在超級盃（Super Bowl）投放廣告談論超智慧 AI 生存風險的規模！
^([25])

5 億到 10 億美元的總預算將允許我們大規模擴展廣告支出。到那時，即使採用極其悲觀的假設，
^([26])
我們也可以讓每位美國公民至少看到十幾次。或者，我們可以專注於美國人口中參與度最高的 10% 群體，讓每個人至少看到 100 次。

作為下限，我們有信心這足以確保美國每位公民都至少對該議題有所了解。更重要的是，我們懷疑在這種規模下，我們可以將該議題推向公眾關注的前沿，並使其成為國家對話的主要話題之一。

我們承認很難預測這種規模的運動效果
^([27])
，但我們認為可以參考美國其他類似規模的運動：墮胎、大麻政策和總統大選本身。

正如我們在一場不對稱戰爭章節中所論證的，我們認為這些運動大多是零和遊戲，雙方都必須燃燒盡可能多的資源才能保持競爭力。如果我們獲得同等規模的資金，我們對自己的機會充滿信心，因為我們認為 AI 生存風險認知運動是一場更具正和性質的遊戲。

關於廣告支出的最後一點：為了運行廣告活動，我們不僅需要購買廣告位，還需要擴大我們的行銷團隊，使其有足夠的能力來優化活動。

在 5,000 萬美元的預算內，我們可以負擔得起約 6 個人專門負責此事，提供的薪資大約在 10 萬到 20 萬美元之間。 這解決了基本需求，但並未為該任務提供足夠的頻寬，也無法讓我們吸引和留住頂尖人才。

運行有效的廣告活動並非一勞永逸。我們需要持續衡量結果、進行 A/B 測試、實驗、腦力激盪廣告和概念、研究趨勢和受眾行為，甚至提出新穎的指標和測試方法。

所有這些資訊都需要被收集、分析並回饋到下一輪迭代中。如果我們想在相關的時間內取得進步，迭代週期本身必須非常快。雖然野心較小的行銷團隊可能需要約 3 個月才能完成一個迭代週期，但我們必須在約 2 週內完成。

為了運行這類操作，我們將從聘請最有才華的人才中獲益匪淺，他們不僅能遵循現有的劇本，還能進行創新。這些人才的需求量極大，我們是在與私營部門競爭。

在 5 億美元的預算內，我們可以負擔得起約 20 個人專門負責此事，提供的薪資大約在 20 萬到 40 萬美元之間。 這將使我們能夠吸引頂尖人才並與私營部門競爭。
^([28])

草根動員

我們已經擁有一個積極主動的支持者基礎。18 萬人訂閱了我們的郵件列表。3 萬名支持者就 ASI 生存風險聯繫了他們的立法者，約 2,000 名支持者願意每週投入 5 分鐘定期採取小行動來幫助解決該問題。數十人參加了我們的試點線下活動。

有了更多資金，我們認為可以將其轉化為一場顯著的草根運動。我們目前缺乏適當組織和動員這個社群的能力。我們相信在 5,000 萬美元的總預算下，我們將具備足夠的能力。

具體而言，這項工作將包括：

• 審核地方領導人，對其進行輔導並協助其工作。

• 組織或為地方活動提供資金。

• 協助初步建立團體、法律實體、基本網站等。

• 建立並提供像 Microcommit 這樣的服務，以及我們運動網站上的「聯繫你的立法者」等工具。

• 提供教育材料，如聯繫立法者的教程和劇本。

政策工作

作為政策倡導工作的一部分，能夠向政策制定者展示具體的政策提案通常很有用。這些提案可以採取多種形式：超智慧的法律定義、禁止 ASI 國際協議的高層提案、實施國家在國際協議中義務的國內法案。

這些提案並非旨在成為最終實施的法律之精確、最終版本。可以理解，隨著時間推移、更多各方參與以及談判展開，情況會發生變化。

即便如此，擁有初步、具體的提案在許多方面都有幫助。它有助於人們公開討論、進行紅隊測試並完善提案。同時，它也有助於向政策制定者展示一個概念驗證，即可以採取具體措施來預防超智慧帶來的生存風險。

我們接觸的國家越多，這項工作就越複雜。各國的法律環境差異顯著：他們有不同的法律傳統、程序、機構、憲法、政府機構權力限制等。

這需要一個政策研究團隊，並在議會律師的幫助下，開發並提出此類政策提案。我們估計在約 5,000 萬美元的年度總預算下，我們將具備足夠的能力進行這項工作。

意見領袖倡導

大多數人依賴政治光譜中值得信賴的聲音來幫助他們導航複雜議題，而不是試圖從頭開始對每個主題形成自己的看法。這是民主運作正常且健康的一部分：正如代議制民主的存在是因為我們不期望每位公民都直接參與完整的政治過程，我們也不期望每個人都能獨立決定去關注像 ASI 生存風險這樣高度複雜的事務。

相反，人們尋求記者、學者和公共知識分子等人物的幫助，以了解哪些議題值得他們關注。我們關鍵的工作流之一是向這類意見領袖進行宣傳。目前，這主要包括記者，有時也包括內容創作者。到目前為止，這一工作流已促成了 22 篇關於超智慧 AI 風險的媒體報導，包括在《時代雜誌》和《衛報》上的報導，以及與內容創作者的 14 次合作（包括付費和免費），包括科普作家 Hank Green、Rational Animations 等。

有了更多資金，我們不僅可以擴大這些工作流，還可以將宣傳範圍擴大到 AI 領域以外的非政府組織、學者、宗教領袖、作家和其他公共知識分子、科技行業以外的公司執行長、地方社群領袖等。

如果我們希望社會對 ASI 構成的生存風險產生深刻認知，我們需要幫助這些人理解該議題。在 5,000 萬美元的總預算下，我們將有足夠的頻寬進行針對最容易達成目標的意見領袖宣傳工作。 在實踐中，這可能意味著一個通才團隊分散在各類意見領袖中，且僅覆蓋英語圈。

在 5 億美元的總預算下，我們可以負擔得起建立強大的專門團隊，每個團隊專注於最重要的意見領袖社群之一。 同時，我們可以在英語圈以外的其他主要文化區域建立存在感。

吸引和留住頂尖人才

我們組織中的許多人正放棄他們在私營部門可以獲得的顯著薪資增長，純粹是因為他們深切致力於我們的使命。隨著我們規模擴大，要找到願意接受這種降薪的才華橫溢的人將變得越來越困難。如果我們激進地擴大規模，情況尤其如此。

為了吸引與此重要問題相匹配的人才，我們需要提供盡可能與私營部門競爭的薪資。

在每年 5,000 萬美元的預算下，我們將能夠略微改善薪酬，儘管大部分增長將被擴大員工數量而非提高個人薪資所抵消。 粗略估計，我們大概可以為公眾認知團隊的人員提供 10 萬到 20 萬美元的薪資（與私營部門的銷售職位相當），為首席員工提供約 35 萬美元。

在 5 億美元預算下，我們認為我們可以具備真正的競爭力。 雖然我們可能仍無法完全匹配 AI 巨頭為其遊說和行銷人員提供的薪資，但我們可以顯著縮小差距。

結論

我們想坦誠地說：我們不確定這是否會奏效。國際禁令是一個極其宏大的目標。但我們相信問題的結構給了我們一線生機：幾乎沒有人想玩一場冒著抹除人類風險的遊戲，無論獎品是什麼。

在 2025 年，憑藉不到 15 人的團隊，我們建立了一個由 110 多名英國立法者組成的聯盟來支持我們的運動，在我們進行簡報後，每 2 位立法者中就有 1 位支持了我們的運動。除此之外，我們還促成了關於超智慧和生存風險的議會辯論。

在美國這個立法者注意力競爭最激烈的地方，我們僅憑極少數實地工作人員就親自會見了 18 位國會議員。在公眾認知方面，超過 3 萬人使用我們的工具向他們的立法者發送了超過 20 萬條關於超智慧生存風險的訊息，其中大部分在美國。

這並非靠非凡的天賦或幸運的人脈；我們是在短短一年多的時間裡，由相對資淺的員工完成的。這是直接、可擴展流程的結果，也是建立堅實基礎以應對挑戰的結果。阻礙我們獲得真正勝算的，是與問題規模相稱的資金。

如果您是主要捐贈者或慈善機構，請透過 partners@controlai.com 與我們聯繫。 我們很樂意更詳細地向您介紹我們的變革理論，並討論如何部署額外資金。

如果您認識主要捐贈者或慈善機構的人士，請為我們引薦。 來自他們信任的人的熱情引薦，比我們的冷郵件有效得多。您可以透過上述地址聯繫我們。

如果您是考慮捐贈 10 萬美元或更多的個人捐贈者，請透過同一地址聯繫。 請僅在這樣做不會顯著影響您的財務狀況時才考慮這樣做。我們不希望任何人為了我們而過度擴張，無論他們多麼關心這個議題。我們在美國是 501(c)(4) 組織，在英國是非營利組織（非註冊慈善機構），因此您的捐贈不可抵稅。

我們目前尚未設置接收小額捐贈的機制。如果您仍想做出貢獻，可以查看我們的招聘頁面。 如果您看到適合的職位，請申請。如果您認識合適的人選，請推薦給我們。

• 這些機率主要是根據直覺產生的，但考慮的主要障礙如下：1) 我們在極其激進的擴張過程中能夠保持良好的內部文化。2) 本文後半部分提到的齒輪級估計（例如每美元廣告曝光量）的下限成立。3) 我們能夠在每年約 5,000 萬美元的規模下驗證我們的方法，並且如果達成協議所需時間超過一年，我們能夠繼續以該規模籌款。4) 該議題成為美國及另外 2~3 個主要國家前 10 名最受關注的議題。5) 倡導禁令的政府行為與關於生存風險和 ASI 的正確見解充分掛鉤，這至少要求關於 ASI 禁令的公共論述不會被分心或混淆，以免導致行動無效。6) 這導致了一項包括美國和中國在內的大國都認為參與符合其國家利益並嘗試在全球執行的 ASI 國際禁令。或者，如果中國或其他國家不加入，支持 ASI 禁令的國家聯盟足夠強大，能夠威懾非參與國和任何流氓行為者開發 ASI。↩︎

• 例如，美國國會有「撥款權」，議會制國家可以舉行「不信任投票」。↩︎

• 在我們於 2023 年 10 月成立至 2024 年年中期間，我們接連運行了 3 場運動。其中之一是針對深偽技術（deepfakes）的運動。這是一項真誠的努力：我們確實相信深偽技術是一個應透過立法解決的問題，我們也為該運動取得的成就感到自豪。即便如此，在完善了我們的思考並發展了本文所支持的想法後，我們已轉向專門關注 ASI 的生存風險。這是我們自 2024 年底以來一直在做的事情。↩︎

• 以環保運動為前車之鑑。環保努力通常未能實現其既定目標（例如減少排放、扭轉氣候變化）。Richard Ngo 認為它們造成了嚴重的附帶損害。我們認為這部分是因為缺乏焦點。環保運動並非集中在單一核心關切上，而是四處尋找任何因任何原因對環境理念有好感的人。結果，儘管該運動極受關注，卻難以促成良好的政策。由於缺乏焦點，它與反資本主義團體掛鉤，因此往往反對真正有助於氣候變化的干預措施，如核能，以及碳捕集和一般的市場化解決方案。LessWrong 上的相關帖子：@habryka 的〈不要征服你無法防守的地方〉，@Gabriel Alfour 的〈如何思考敵人：以綠色和平組織為例〉。↩︎

• 澄清一下：這並不意味著每個人都認為避免滅絕的唯一方法是不建造 ASI。有些人這麼認為，而另一些人則對如何安全地建造 ASI 有複雜的想法。重點是，那些特定的複雜想法都沒有獲得廣泛的專家共識。我們大多數人唯一能達成共識的是：如果我們不建造它，它就不會殺死我們。↩︎

• 還有其他聲明，例如 FLI 的這份出色聲明，但沒有一份是由頂尖 AI 科學家和頂尖 AI 公司執行長共同簽署的。↩︎

• 來源：2024 年墮胎議題約為 4 億美元，2024 年大麻合法化約為 1.85 億美元，第 22 號提案約為 2.2 億美元。↩︎

• 參見我們論文《中等強國如何防止 ASI 開發》的附錄 2。雖然該論文側重於中等強國的視角，但該章節的分析也適用於超級大國。↩︎

• 我們堅信我們遵循的原則：誠實、開放和民主。當然，我們確實認為我們規避 ASI 生存風險的方法是最好的；如果我們不這麼認為，我們就不會追求它。在 5 億美元的預算水平上，我們很樂意資助追求不同方法的組織，只要他們尊重我們的基本原則。如果我們有那種水平的資金，我們會尋求確保有其他組織在追求坦率的 ASI 溝通方法，以及直接應對強大國際協調需求的組織。↩︎

• 值得注意的是，像這樣的聲明可以產生短暫的媒體報導高峰，但本身不會產生持續的關注。像這樣的聲明需要持續的運動（如我們正在運行的運動）才能獲得持續的關注。↩︎

• 聲明內容為：「諾貝爾獎獲得者、AI 科學家和領先 AI 公司的執行長都表示，減輕 AI 帶來的滅絕風險應成為全球優先事項。專業 AI（如推動科學和醫學發展的 AI）能促進增長、創新和公共服務。超智慧 AI 系統則會損害國家和全球安全。英國可以透過履行其承諾，對最強大的 AI 系統引入具有約束力的監管，從而確保利益並減輕風險。」↩︎

• 例子包括：立法者在議會發表演講、撰寫評論文章，或在接受主要媒體採訪時發言。↩︎

• 重要的是，我們的指標嚴格專注於 AI 生存風險。這降低了工作人員或整個組織自欺欺人地去追求預防超智慧 AI 生存風險以外議題的風險。「立法者公開聲明」只有在專門涵蓋生存風險時才計入。如果 ControlAI 的人員花時間推動「失業」、「AI 倫理」或「自主武器」等話題，我們認為這是失敗的。這就是我們對抗幽靈並保持專注於應對超智慧生存風險的方式。↩︎

• 這被認為是一個非常粗略的估計，可能是 3,000 萬到 8,000 萬美元。↩︎

• 在此期間的大部分時間裡只有 1 名成員；第 2 名成員在過去一個月內加入。↩︎

• 我們已經促成了兩場關於禁止 ASI 的辯論，並協助提交了一項承認 ASI 並在 AI 緊急情況下設置斷路開關的修正案。據我們所知，我們是第一個在主要國家議會成功促成專門針對禁止超智慧辯論的組織。↩︎

• 考慮到複製成功應該比第一次做要容易得多。根據設計，我們的結果是公開的，因此會產生共同知識。既然英國已有 100 多位立法者支持我們的運動，其他立法者（包括其他國家的立法者）就更容易採取類似立場。↩︎

• 在較小程度上，我們希望人們記住我們的組織是一個可以找到關於該議題及其解決方案的可靠資訊的地方。↩︎

• 絕大多數人不會覺得需要完全理解技術和地緣政治細節才能認同這種擔憂。重要的是，大多數人能直覺地理解為什麼以及 ASI 如何導致人類滅絕，並樂於在細節上聽取專家的意見。↩︎

• 這是行銷中最常見的經驗法則，也有一些學術研究支持，例如參見《廣告重複：廣告有效頻率的元分析》。↩︎

• 與前一條不同，這一說法沒有學術研究支持。雖然大多數學術研究側重於旨在銷售產品和服務的行銷，但我們的目標面臨著相當不同的挑戰。有兩個主要區別使我們預期在甚至數百次曝光後仍能獲得回報。1) 我們的訊息對受眾來說具有一定的新穎性和複雜性。這種複雜性必須以某種方式解決：要麼訊息以複雜的方式呈現，需要更多曝光才能記住；要麼訊息被分解成許多建築塊，每個建築塊都需要展示多次。2) 成功的門檻更高：我們確實受益於人們對類似於「購買產品」範圍的 CTA 做出反應，但我們也受益於更深層次的參與（見「草根動員」章節），我們受益於人們在對話中自發提起該話題，如果我們建立了該話題存在的共同知識，這種情況就會更多發生。↩︎

• 本節假設我們將 60% 的廣告支出分配給美國。我們預計在其他國家產生良好結果會容易得多，主要是由於每千次展示成本較低。例如，如果我們將剩餘的 40% 投入到 3 個 G7 國家，我們預計大致能夠在這些國家複製與美國相同的成功。↩︎

• 包括自然觸及和付費觸及。↩︎

• 這對應於 8 億次總曝光。↩︎

• 雖然目前我們還不清楚這是否是資金的良好用途。↩︎

• 在本段中，我們使用了最壞情況假設，即將廣告支出擴大 30 倍僅會使曝光量增加 4 倍。我們預計擴大 30 倍更有可能產生 10 到 15 倍的曝光量。↩︎

• 我們認為可以在 5,000 萬美元預算下使用的簡單模型和推演在這種規模下會失效。有強大的理由偏離這些模型，無論是悲觀還是樂觀的方向。在這種規模下，我們可能已經耗盡了僅透過廣告就能動員的人。與此同時，網絡效應開始發揮作用，人們從他人那裡聽說該議題，並開始將其視為政治論述中「正常」的一部分。在我們看來，試圖提前模擬淨效應是徒勞的。↩︎

• 作為參考，這是 Anthropic 招聘行銷職位的帖子，廣告薪資為 25.5 萬至 32 萬美元。↩︎

參與討論