新聲明呼籲暫停開發超級智能

打造超人工智慧（Superintelligence）會帶來巨大的生存風險。這也被稱為：《如果有人造出它，所有人皆死》（If Anyone Builds It, Everyone Dies）。這裡的「它」指的就是超人工智慧，而「死」則是指地球上幾乎每個人都真的會死。

在情況改變之前，在超人工智慧導致全人類死亡以及失去對未來控制權的風險降到極低之前，我們不應該打造它。風險不一定要是零，但必須遠低於現狀或即將到來的水平。

因此，我簽署了來自生命未來研究所（FLI）的《超人工智慧聲明》。

背景：創新的 AI 工具可能帶來前所未有的健康與繁榮。然而，除了開發工具外，許多領先的 AI 公司都明確表示，目標是在未來十年內打造出在幾乎所有認知任務上都能顯著超越人類的超人工智慧。這引發了各界擔憂，範圍涵蓋人類經濟過時與權力喪失、失去自由、公民權利、尊嚴與控制權，乃至國家安全風險，甚至是潛在的人類滅絕。以下這份簡潔的聲明，旨在讓越來越多反對倉促發展超人工智慧的專家與公眾人物形成共同認知。

聲明：

我們呼籲禁止開發超人工智慧，除非滿足以下條件，否則不應解除禁令：

• 科學界已達成廣泛共識，確認其開發過程是安全且可控的，並且

• 獲得強大的公眾支持。

他們的民調顯示，有 64% 的人同意此觀點，而支持維持現狀的人僅佔 5%。

過往聲明簡史

2023 年 3 月，FLI 發布了一封正式的暫停信，呼籲立即暫停訓練比 GPT-4 更強大的系統至少 6 個月，伊隆·馬斯克（Elon Musk）等人也簽署了這封信。

這封信百分之百是在呼籲對進一步開發前沿模型實施廣泛的「事先限制」制度，並強調為了安全必須「減速」和「暫停」開發。

當時我認為那封信有嚴重缺陷，因此拒絕簽署，但我當時的第一反應是很高興有這封信存在。那是個錯誤，我錯了。

這封「暫停信」不僅削弱了後來更優秀的 CAIS 聲明的影響力，多年來還一直被當作大棒，用來羞辱或嘲諷任何暗示未來先進 AI 系統可能危害人類、或認為我們應該對此採取行動的人。反對者藉此聲稱，任何有此類擔憂的人當時一定都想暫停，或者現在也想暫停——而事實通常並非如此。

第二份聲明是 2023 年 5 月的 CAIS 聲明，其全文如下：

「減輕 AI 導致的滅絕風險，應與大流行病及核戰等其他社會規模的風險一樣，成為全球優先事項。」

這句話寫得非常好。我很樂意簽署，許多重量級人物也簽了，包括 Sam Altman、Dario Amodei、Demis Hassabis 等人。

這顯然不是在呼籲暫停，也不是在呼籲任何特定的法律、法規或行動。這是一份原則性聲明，旨在建立共同認知。

鑑於自那時以來，許多人對 AI 風險的態度變得多麼惡劣，要求這些人重新確認這份聲明將會是一個有趣的練習。

這第三份聲明

這份新聲明介於前兩封信之間。

它比單純陳述優先事項更具規範性。

然而，它並非呼籲在現階段「暫停」，也不是要停止打造普通的 AI，或停止將 AI 用於各種用途。

它狹義地要求：如果你正在打造的東西在目前任何條件下都有可能成為超人工智慧，那麼你不應該這樣做。我們不應該允許你這樣做。除非你能提出強而有力的理由，證明這是一件明智而非瘋狂的事。

那些最激烈反對這份聲明的人堅信，這（超人工智慧）在未來幾年內不會發生。因此，在未來幾年內，任何合理的執行方式都不會暫停或實質影響 AI 的發展。

我對這份聲明的理解大致是：如果某個特定行動有很大機率成為超人工智慧誕生的直接原因，那麼這是不被接受的，我們不應該讓你這麼做，至少在目前任何條件下都不行。

我認為建立這種共同認知很重要，而我們目前顯然還沒有這種共識。這並不一定要涉及要求具體的短期特定政策或其他干預措施。

誰簽署了聲明

截至撰寫本文時，已有 32,214 名簽署者。

首頁在第一段分隔前列出的名單包括：Yoshua Bengio、Geoffrey Hinton、Stuart Russell、Steve Wozniak、Sir Richard Branson、Steve Bannon、Glenn Beck、Susan Rice、Mike Mullen 和 Joe Crowley。

以下是一些簽署者的評論：

眾議員 Don Beyer (D-VA-8)：如果我們不考慮風險，就無法實現 AI 在改善人類生活、健康與繁榮方面的巨大潛力。

開發者和決策者必須考慮這些領先思想家提出的超人工智慧潛在危險。

Nate Sores 解釋了他支持這項協議的原因，他原本會寫一份不同的聲明，但希望能避免「微小差異帶來的自戀」（narcissism of small differences），我也是如此。

Tristan Harris：我與數百名傑出的國家安全領導人、AI 科學家、兩黨政治人物、科技創始人等共同簽署了這份反對超人工智慧的聲明。一個重要的全球共識正在形成。

我希望美中兩國的領導層都能聽進去。如果雙方造出了一個比自己聰明得多、且顯然無法控制的東西，誰都不會是「贏家」。

如果你認為美中之間的協調是不可能的——請考慮到習近平主席在上次與拜登總統會面時，親自要求增加一項協議：在美中兩國的核武指揮與控制系統中不得使用 AI。

當雙方都體認到生存利害關係時，達成協議是可能的。

Jeffrey Ladish：大多數領先的 AI 研究人員都同意超人工智慧是可能的。許多 AI 公司正明確以此為目標。

在激烈的競爭壓力下，以我們目前的理解水平去開發它，簡直是瘋狂。

這封信將超人工智慧定義為「在幾乎所有認知任務上都能顯著超越人類」的 AI。我們談論的是不限於數學和程式碼，而是在所有戰略領域（說服、駭客攻擊、研發、政治……）都能勝過人類的 AI…… [續]

對聲明的反對意見

Dean Ball 對這份聲明提出了反對，稱其適得其反且愚蠢。他指出，任何將此類政策付諸實行的具體方案「簽起來都不會讓人感到愉快」。他還指出，如果沒有某種全球協調來防止打造不安全的超人工智慧，我們一旦在技術上可行時就會立刻打造它，並要大家看看如果全球協調阻止他們這樣做會有多糟糕。

Sriram Krishnan 呼應並支持 Dean 的觀點，稱這是一封「停止 AI」的信，將停止所有 AI 與不打造超人工智慧劃上等號，儘管 Sriram 也曾表示他不認為 AGI（通用人工智慧）更不用說 ASI（超人工智慧）會在短期內實現。

好吧，那麼當面臨選擇時，我們是否應該在技術可行後不久就打造超人工智慧？這聽起來也不像是一個讓人想簽署的愉快政策。

就我對 Sriram 和 Dean 立場的理解，他們並沒有提供有意義的第三種選擇。如果你打算阻止超人工智慧盡快發展，你最終必然會得到一個「擁有幾乎不受約束權力的全球組織」，而那更糟糕。他們告訴我們，那是我們僅有的選擇，也是如果你表達不希望在第一時間打造超人工智慧時，唯一可能要求的東西。

我不認為那是僅有的選擇，我更不認為尋找第三種選擇的方法是告訴我們：如果不背書第二個選項（全球權力組織），就不能對第一個選項（超人工智慧）表達反對的共同認知。但我也不明白，如果另一個選項不是蛋糕，為什麼這些人會選擇死亡。

對反對意見的回應

Scott Alexander 隨後做出了回應，為這種「沒有具體執行方法、僅表達意圖的模糊價值聲明」辯護，認為其目的是建立「人們很在意」的共同認知，之後再提出具體計劃。接著他質疑了 Dean 對執行形式的假設，並詢問為什麼 Dean 所描述的執行方式會比「什麼都不做」更糟。

Dean Ball：我想，與廢除奴隸制的類比是有道理的。說實話，如果這份聲明只是說「我們永遠不應該這樣做」，我會保持沉默。讓我擔憂的是「直到證明安全為止」這部分。我不明白現有的研究在實踐中要如何繼續進行，包括你所描述的許多內容。事實上，你描述的情況聽起來與我認為這份聲明所暗示的政策結果完全不同。

Daniel Kokotajlo：我很驚訝聽到你說如果聲明寫「我們永遠不應該這樣做」你會保持沉默。我想寫這份聲明的人原本認為「直到證明安全為止」是一種類似和解、妥協或細節補充的條款，會讓它對像你這樣的人更有吸引力。我想他們錯了。

我同意 Daniel 的看法，我也預期大多數人會將該限制條件視為和解/妥協/細節條款。我也懷疑 Dean 在這裡對自己的心理模型判斷有誤，儘管他的表述確實會有所不同。

Daniel Kokotajlo：我記得在 OpenAI 聽過類似這樣的話：「我們需要向公眾推銷 AGI，否則他們會生氣而不讓我們打造它。」

我認為這份聲明基本上是常識，所以我簽了。當然，它不是一份詳盡的政策提案。還有很多工作要做。

沒錯。這是圍繞常識性思維建立共同認知，而不是要求某項具體的詳細政策。

Simeon 反駁道，我們可以在沒有中心化權力的情況下禁止被視為不安全的技術，而且是的，你可以在打造之前證明安全性；Dean 假設的執行方式距離「中心化與安全」的帕累托前沿（Pareto frontier）還很遠。我其實不認為你真的能「證明」超人工智慧的安全性，你所做的是（就像對待大多數其他事物一樣）將風險減輕到可接受的水平，因為不打造它也會有巨大的成本。

Max Tegmark 禮貌地反駁，我們需要能夠在無法完全定義執行細節的情況下，呼籲系統性的規則或改變。他以童工為例：人們理直氣壯地說「我們應該禁止童工」，而不需要先定義什麼是「兒童」或什麼是「勞動」（或者在這種語境下，定義什麼是「禁止」）。

Dean 禮貌地指出了兩點。第一，限制童工的執行要容易得多，這確實是真的，儘管我不確定這是否相關——我認為原則是一樣的？第二，他們在智慧和超人工智慧的本質上存在重要的分歧，這也是事實。

接著 Dean 談到了他的核心觀點：他更傾向於專注於實際且漸進的工作，在邊際上推動良好的結果。我完全支持這類工作，但我不認為單靠它就足夠，也不認為這應該排擠掉建立共同認知或考慮更大膽行動的需求。

Dean 提議與 Max 進行現場討論，我希望他們能成行。

避免負面極化，但說出你所見的真相

Dean Ball 是那種你想要的「值得尊敬的對手」，他雖然與你有不同的世界模型，但最終都希望好事發生而非壞事。

他昨天提供了一項重要的公共服務，在討論各項 AI 法案時，他強調了對「負面極化」（negative polarization）的警告。

確實有些人正積極尋求導致 AI 安全問題的負面極化，他們擺出一副「看你逼我做了什麼」的姿態，聲稱如果你指出超人工智慧可能會殺死我們並要求我們採取行動，唯一合理的反應就是將問題政治化，並在原則上系統性地反對任何減輕風險的努力——他們說這就是遊戲規則，規則不是他們定的。

他們正試圖制定這些規則，並將一切當作彈藥。

我不認為以下說法是合理的（或符合良好的決策理論）：「因此，因為這些人擁有權力，所以如果你知道什麼對人類或你自己有好處，就給我閉嘴，只在邊際上工作，否則後果自負。」