政治暴力永遠不可接受

暴力威脅或暗示絕非解決之道。絕不。永遠。沒有例外。

這是完全不可接受的。我以最強烈的措辭譴責這種行為。

這是不道德的，而且也是無效的。即便它有效，也依然是不道德的。沒有什麼比這更能傷害你所支持的事業了。

不要這樣做，也不要容忍任何這樣做的人。

我現在需要說這些的原因是，針對 OpenAI 執行長 Sam Altman 已經發生了至少一次暴力企圖，且可能在短時間內發生了兩次。

我對他表示同情，並希望他目前狀況尚可。

恐懼時刻中的惡劣事件

Max Zeff：最新消息：一名嫌疑人因涉嫌向 OpenAI 執行長 Sam Altman 的家中投擲汽油彈於週五早上被捕。隨後，一名符合嫌疑人特徵的人被目擊在 OpenAI 公司總部外進行威脅。

Nathan Calvin：這簡直令人不安且極其惡劣。無論你對 Sam 或 OpenAI 有什麼分歧，這都不能以任何方式被正常化或合理化。每個人都應該有權與家人在自家中享有安全。我感到噁心，並由衷希望這不會成為一種模式。

Sam Altman 在這裡記錄了他遭遇第一次襲擊的經歷。

在那之後，發生了第二起事件。

Jonah Owen Lamb：據《標準報》（The Standard）獲悉，OpenAI 執行長 Sam Altman 的家似乎在週日上午成為第二次襲擊的目標，就在一名 20 歲男子涉嫌向該物業投擲汽油彈僅兩天後。

舊金山警察局宣布（在新分頁中開啟）逮捕了兩名嫌疑人：25 歲的 Amanda Tom 和 23 歲的 Muhamad Tarik Hussein，他們因疏忽開火而被登記在案。

Stephen Sorace Fox News (福斯新聞)：OpenAI 發言人週一早上告訴福斯新聞數位版，該事件與 Altman 無關，也沒有任何聯繫，並補充說沒有跡象表明 Altman 的家是目標。

我們不知道第二起事件的動機是什麼，甚至不知道它是否針對 Altman。在了解更多情況之前，我不會對第二起事件做進一步評論。

這種情況也不僅限於那些擔憂 AI 的人，遺憾的是，另一面也同樣存在：

Gary Marcus：今天有一位投資者號召對我實施暴力。另一位則以一種相當深刻且根本的方式對我撒謊。他們感到了壓力。

這也完全不僅限於 AI 問題。

正如 Santi Ruiz 所指出的，在過去幾年中，潛在的政治暴力和針對公眾人物的暴力在各個領域的顯著性都大幅上升。

這對於針對共和黨人和民主黨人的暴力與威脅同樣適用。

這需要一個非 AI 的解釋。

大多數情況下事情仍未演變成暴力，絕大多數即便深感憤怒的人也不會訴諸暴力，但這種罕見的情況現在變得稍微沒那麼罕見了。幾年前，我還能肯定地說大多數人反對此類暴力，但民調顯示，對於大部分公眾來說，這已不再是事實。這令人恐懼。

事實上，目前已知最可怕的反應出現在 Instagram 的評論區（除非必要否則請勿點擊），那是一個與 AI 及各類 AI 安全圈子完全不同的地方。這就是「公眾」，即一般大眾，出於與生存風險擔憂完全無關的原因，基本上是在為此歡呼，並鼓勵隨後發生的第二次襲擊。這與許多人對聯合健康集團（United Healthcare）執行長遇刺案的反應驚人地相似。

AI 的賭注是生存性的。也就是說，很可能所有人類都會死亡。宇宙中所有的價值都可能永久喪失。其他人則會因失業或其他擔憂（無論是真實的還是想像的）而陷入絕望。局勢只會變得更加緊張，隨著時間推移，維持和平需要付出更多努力。要既能妥善傳達局勢及其嚴峻程度，又避免鼓勵暴力威脅甚至實際的暴力企圖，將會越來越困難。

而另一邊，則是那些認為無盡奇蹟近在咫尺的人。

這與 Altman 所說的 OpenAI 內部以及各大實驗室之間正在上演的「莎士比亞式戲劇」相輔相成。

大多數擔憂 AI 的人在這方面做得盡可能地好

在「不要殺死所有人主義」（Notkilleveryonism）中，絕大多數主要發聲者（那些擔心我們可能都會死於 AI 的人）在這一點上一直並持續在做正確的事，多年來始終警告並譴責除了國家執法所需的暴力之外的所有暴力。

幾乎所有擔憂 AI 生存風險的人都很好地通過了這項測試，極其明確地表達了反對暴力的立場，強烈抵制任何及所有法外暴力和法外暴力威脅。

對此提出不可能的標準是很常見的，即某個並非製造問題的人，卻因為譴責得不夠大聲，或譴責的方式不完全正確而受到攻擊。這是一種常見的政治手段，尤其是文化戰爭的策略。

其中最糟糕的論點或許是：「你告訴人們永遠不要實施或威脅暴力，是因為它無效，而沒有明確同時說它是不道德的，因此如果你認為暴力有效，你完全會去做，你這個邪惡的人。」

他們甚至會說：「哦，你說過它是不道德的，也說過它行不通，但你沒有明確說過即使它行得通你仍會譴責它，將軍。」

這裡隱含的標準是：你必須明確說明你純粹是出於某人認為正確的理由才以某種方式行事，否則你就有罪。這完全是瘋狂的，在任何其他語境下你都能看出來。這就像是 AI 版的「如果我變成一條蟲你還會愛我嗎？」，並因為你必須問這個問題才能得到保證，而不是對方主動告知而感到憤怒。

人們之所以經常強調「它行不通」，是因為這是等式中非顯而易見的部分。除了極少數例外，我們都同意它是不道德的。

Andy Masley 提供了他的想法，呼籲在描述特定人物時要謹慎。他將這與人們談論墮胎的方式做了類比。這裡有 Nate Soares 的詳細論述。

這是 Eliezer Yudkowsky 對暴力問題的最新回答，這是他多年來試圖闡述類似觀點的眾多回答之一。

某些擔憂 AI 的人需要檢討他們的修辭

「幾乎所有」和「絕大多數」與「全部」是有區別的。

存在極少數例外，有些人至少在邊緣試探，其中一人與這次暴力企圖有某種關聯，並與過去另一起關於潛在暴力擔憂的事件有關。幸運的是，沒有人受傷。

說出你眼中的真相並不是這方面的完全免死金牌，譴責暴力本身也不夠，除非所有人都能清楚感受到你是認真的。有些定性和修辭選擇雖然沒有明確呼籲暴力，但帶來的火藥味遠多於啟發，且承擔的風險遠大於帶來的利益。

所有相關人員都需要立即停止這種行為。

特別是，我認為以下行為需要立即停止，我敦促每個人都這樣做，即使你認為相關陳述是準確的：

• 稱呼他人為「謀殺者」或「邪惡」。

• 尤其是稱呼他們為「大規模殺手」或「殺害兒童者」。

• 各種形式的「你還能期待什麼」。

• 各種形式的「實驗室是自找的」。

• 稱此類暴力是實驗室「未被阻止」的「必然結果」。

你可以在不使用這些詞彙的情況下傳達你的觀點。

此外，無論你使用什麼詞彙，持續對你不同意的人咆哮惡毒言語，或告訴那些人他們一定是出於惡意且為了討好實驗室才這麼做（特別是像 Dean Ball 甚至是我自己，或是任何與 AI 實驗室有聯繫或讚美過實驗室的人），都無法說服那些人，無法說服大多數觀察者，也對你的事業毫無幫助。

當然，請注意，主流政治人物（包括兩黨的顯要成員）經常在許多與 AI 無關的話題上違反上述五條規則。他們也需要停止這種行為，當然，法律意義上真正的謀殺者除外。

另外：並非完全不能說某人不相信自己所說的話，包括當面或在回覆中告訴那個人。我偶爾也會這麼做。但在這樣做之前，收集證據的門檻必須非常高。

請每個人都接受：

• 那些說他們擔心 AI 會殺死所有人的人，在我所知道的範圍內無一例外，都是真誠地擔心 AI 會殺死所有人。

即便你認為他們的論點和理由很愚蠢或帶有動機。

• 那些說他們不擔心 AI 會殺死所有人的人，大多數時候，確實沒那麼擔心 AI 會殺死所有人。

即便你認為他們的論點和理由很愚蠢或帶有動機。

• 一群人持有你不同意的、出於善意的擔憂和意見。

（Dean Ball 在那裡也提到了「叛徒」一詞的使用。這很……複雜，但我確實刻意選擇避開它，並鼓勵其他人也這樣做。這也是許多政治圈人士，無論立場，如何經常使用此類修辭的一個好例子。）

我目前的了解是，第一名嫌疑人是 PauseAI (Global) Discord 伺服器的參與者，發布了 34 條訊息，其中沒有一條是明確呼籲暴力的。他不是該組織的正式成員，也沒有參加過任何正式活動。

我們不知道這在多大程度上是 PauseAI 或其他人的修辭影響了這個人，還是在多大程度上是因為他本身就被吸引到了這個伺服器。

PauseAI 確實明確譴責了這次襲擊，這很好，而且我相信相關人員是真誠地反對暴力並認為其不可接受，這也很好。

我認為他們仍然需要比目前更嚴肅地對待這個問題以及其修辭選擇可能帶來的後果。它在這裡的聲明包括說 PauseAI「就是那條和平之路」，且避免此類極端情況正是我們需要蓬勃發展的暫停運動的原因。這就是那種可能進一步激化局勢卻獲益甚微的言論風格。

有一件事他們顯然是正確的：你不需要為在你的公開 Discord 伺服器上發帖的每個人的行為負責。

我想補充：這也適用於任何重複你的口號或認同你的政策偏好的人，這甚至不代表你對這個人的行為有任何隨意的貢獻。我們不知道。

對於第二次襲擊，目前我們對動機一無所知。

但是，如果你發現你的修辭被那些選擇暴力的人所效仿，這就是一個警鐘，讓你認真審視你的訊息傳遞策略，以及你是否做得足夠多來防止此類事件，並避免助長這些事件。

同樣，我認為 StopAI 的 Guido Reichstadter 的這份聲明相當糟糕。

即便聲音顫抖，也要說出真相

如果有人警告某些事情過火了或說出來不明智（如我上面所做的那樣），也應該指出哪些事情你認為重要且並未過火。

我認為完全可以接受且適合使用的修辭（前提是你相信自己所說的話）包括：

• 「拿人類的未來做賭注」。

• 「如果 [X] 那麼 [Y]」，如果你的條件機率非常高（例如 >90%），或者陳述你在 [X] 情況下對 [Y] 的機率估計，包括以 p(doom) 的形式。

• 將 Mythos 或其他事物稱為「警告射擊」。

• 將 Mythos 或其他類似先進的 AI 稱為「大規模殺傷性武器」。

• 最重要的是：將創造比人類更強大的心智的行為稱為對人類的生存威脅。這顯然就是。

如果你相信「如果有人造出它，每個人都會死」，那麼你就應該說如果有人造出它，每個人都會死。這不是道德指責，而是因果關係。請注意，這與「任何試圖建造它的人都是大規模殺手」有著重要的區別。

我也許會被說服我在其中一個或多個特定短語上是錯誤的。我對爭論持開放態度。但這些在我看來非常清晰，以至於挑戰它們的人應該被推定為要麼是出於惡意，要麼是事實上基於一個假設：即創造新的更強大心智是有風險的這一整個想法是足夠明顯的胡言亂語，以至於論點無效。

這是一份關於 Pause AI 如何看待圍繞 Mythos 局勢的文件。它列出了他們認為的關鍵點和重要的大局敘事。這是一份有用的文件。我同意這裡的每一個解釋和論點嗎？我非常不同意。事實上，我可以用這份文件作為起點，來解釋我與 Pause AI 在關鍵視角和世界模型上的一些差異。

我認為上述內容極好地描繪了他們在這些問題上的善意立場，初讀之下我對其中的任何修辭都沒有異議。

虛假指控和虛假攻擊也是不可接受的

在另一個方向上，無論是總體上還是針對此情況的反應，都出現了相當多惡劣的修辭。我們也應該揭露其本質。

有些人會利用此類事件作為實施審查的機會，並告訴人們他們不能說出真相。他們將對局勢的直接描述等同於危險的暴力呼籲，甚至攻擊任何及所有 AI 批評者為危險分子。

至少有一人以潛在暴力為由，呼籲結束「非專家激進主義」。

我們看到了一些針對擔憂 AI 的人的威脅、嘲諷、刻意誤解、憑空捏造陳述以及其他惡意行為，對象通常包括 Eliezer Yudkowsky，包括指控人們威脅暴力，其理論是：如果你相信我們都會死，你當然會威脅或使用暴力——儘管對方一再明確表示反對，且顯而易見的事實是此類暴力既不道德也無效。

這在圍繞 Eliezer 在《時代》雜誌上的評論文章時發生得相當多，通常帶有高度惡意，且這種情況現在仍在持續，將呼籲政府執法等同於暴力威脅，還有許多其他過去的案例具有類似的事實背景。

在其他時候，那些支持 AI 加速主義的人則對反對 AI 的人進行暴力威脅和呼籲，其理論是 AI 可以治癒疾病，因此任何延誤 AI 的人都是謀殺者。各方的修辭如出一轍。

一些試圖建立廣泛審查的例子

這來自白宮的某人，試圖將談論邏輯後果等同於煽動暴力。這是在呼籲乾脆不要討論這個事實：即如果有人造出超智慧，我們相信每個人都很可能會死。

我認為這種攻擊即便來自公眾也是完全不可接受的，尤其是來自高級官員。

有人會問，如果我們將這種標準（甚至是更寬容的版本）應用於許多名人，包括例如 Elon Musk，或其他我拒絕點名的人，會發生什麼。

這裡是其典型形式：

Shoshana Weissmann, Sloth Committee Chair：這是瘋狂的行為。而那些宣揚 AI 終結人類想法的人正在助長這種行為。這必須停止。

也就是說，你需要停止宣揚 AI 終結人類的想法。管你怎麼表達，管你的陳述是否屬實。對於它是否屬實，沒有提供任何論證。

這是該立場的普遍化：

florence：看來，根據許多人的說法，以下其中一項是正確的：

1. 一項新技術在先驗上不可能成為生存威脅。

2. 如果一項新技術是生存威脅，你不被允許說出來。

事實上，人們經常字面上使用的一個論點是（這不是稻草人）：

• 你直接說足夠先進的 AI 可能會殺死所有人。

• 但如果有人真的相信這一點，他們可能會支持使用暴力。

• 因此你不能這麼說，或者我們應該能對你使用暴力。

雖然我通常不試圖將不同的行為等同起來，但我絕對會將一個方向上的隱含暴力呼籲，等同於另一個方向上的隱含暴力呼籲，或是因為政敵行使言論自由而將其投入監獄（儘管他們顯然不對犯罪負責），例如 spor 或 Marc Andreessen 的言論。

Nate Soares (MIRI)：「甚至談論滅絕級威脅也是在煽動暴力」

不。高風險並不會把錯誤的策略變成正確的。讓我們在任何發現這種誤解的地方都予以反擊。

michael vassar：這大概是我對當前文化的第一大不滿。在「沒什麼大不了，忽略它」和「危機、恐慌、集中權力並取消問責」之間的虛假二分法。

那是同樣的事情甚至更糟，尤其是在這個特定案例中，指控本質上是「你希望政府通過並執行法律，我們不喜歡那樣，因此我們希望政府逮捕你」。

還有一個版本（我不會以同樣的方式等同），其中第 3 點僅僅是類似於「因此你有道德責任不把這件事說得這麼直白」。對於足夠中庸的版本，如我上面所討論的，可以商榷。

另一種變體是當某人（通常是加速主義者）會說：

• 這些人聲稱擔心 AI 殺死所有人。

• 但你們一直在譴責暴力。

• 因此，你們一定不在乎這些所謂的信念。

或者這裡是他們中一些人的措辭：

bone：很高興看到所有 LessWrong 的人在他們的哲學上完全退縮。對人類非常有益。他們沒有值得為之而死或為之殺人的信念。這是一個在關鍵時刻從未有勇氣為自己的話站出來的人說出的廢話。

Yudkowsky 毫無立場。

bone：記住：如果他們真的相信這一切，卻不願意訴諸暴力，這意味著他們是懦夫，他們拒絕履行自己的諾言，他們不會去做他們認為為了拯救人類而必須做的事。

他們很軟弱，他們什麼都不信。

Zy：AI 末日論者就像是說「攻擊 AI 競賽中的關鍵研究人員是防止 AI 末日的無效策略，這與我每月支付他們 200 美元資助能力研究的策略相比相形見絀」。

Lewis：罕見的 Teno L。如果你真的認為 Sam Altman 要對兒童進行種族滅絕，那麼試圖傷害他就是合理的。所以你需要選一個。要麼這完全是瘋了，要麼這完全是合理的。到底是哪一個？

L3 Tweet Engineer (回覆 Holly Elmore)：如果你是個好人，且阻止 AI 如此重要，你為什麼不去炸掉一個數據中心？為什麼要浪費口舌在推特上談論這些東西並寫宏大敘事，去付諸行動吧。

phrygian：你已經談過為了阻止 ASI（人工超智慧）而核平其他國家在道德上是合理的。你之所以不參與較小規模的暴力來阻止 ASI，唯一的邏輯理由是它們沒那麼有效。從根本上說，你的觀點證明了任何形式的暴力都是正當的。

Ra：也許這只是我的看法，也解釋了我的一些特質，但就個人而言，我寧願被視為一個潛在危險的激進分子，也不願被視為一個無能且虛偽的騙子，特別是如果我相信世界即將終結且我有責任阻止它的話。

Trey Goff：看，你們難道沒意識到自己看起來多傻嗎？

「AI 真的會殺死你的孩子和所有未來的人類，但我們強烈譴責為了阻止這種情況發生而實施的任何暴力。」

要麼拿出你信念的勇氣，要麼閉嘴。

這一切的典型版本就是那句經典：「如果你相信那個，你為什麼不做 [某件毫無意義的事]？」

陷阱或計畫很明確。要麼你支持暴力，所以你很可怕必須被阻止；要麼你不支持，在這種情況下你就可以被忽視。在許多情況下，不擔憂的心智無法理解一個人可以只想做道德的事，或只想做有效的事，且賭注更高並不會改變這一點。

Teortaxes：無條件支持

這是一個旨在誘發理想錯誤的惡意企圖

本質上是透過愚蠢進行的假旗行動

順便說一句，我認為減速派（decels）表現得很好

Eliezer 發起了一個討論串來展示人們使用此類策略的例子，我從中提取了上述例子，但還有更多 例子。

João Camargo (回覆 Andy Masley 一篇非常正常的貼文)：沒人相信你真的這麼想。如果你認為 Altman 和其他關鍵的 AI 領導者/研究人員可能會帶來人類滅絕，那麼暗殺顯然是正當的。「這傢伙會導致人類滅絕，但沒人必須用武力阻止他」是不合邏輯的。

其他時候，他們只是嘲笑 Eliezer 的帽子。

或者他們乾脆撒謊。

taoki：我假設 Eliezer Yudkowsky 和他的 Pause AI 朋友們很喜歡這個？

Oliver Habryka：錯，他們絕對討厭這個。

taoki (2024 年 5 月 6 日)：另外，我一直都在撒謊。純粹為了好玩。

或者他們斷然宣稱：「哦，你們這些人完全相信暴力，所有其他的聲明都只是公關。」

那些試圖封殺真相的人採用的另一種策略是：既攻擊任何試圖為生存風險設定機率的嘗試，也攻擊任何（以我不同意但認為合理的方式）認為如果我們很快根據已知原理建造超智慧，生存風險極高的人。這包括將任何嚴肅對待此事的做法斥為不嚴肅，或者指責指出「如果我們維持現狀，每個人都死亡的機率高得令人不安且不可接受」是在「將機率當作武器」。

我將這部分交給 Tenobrus 來結尾：

Tenobrus：「隨機恐怖主義」（stochastic terrorism）坦白說完全是胡扯。這是一個無法證偽的術語，用來試圖將你政治對手的言論與跟他們毫無關係的行動聯繫起來，試圖將悲劇和精神疾病武器化以獲取辯論分數。當 AOC 試圖指責共和黨人批評她是「隨機恐怖主義」時，那是胡扯；當右翼聲稱左翼進行反 ICE 抗議是「隨機恐怖主義」時，那是胡扯；現在當你把針對 Sam Altman 的襲擊歸咎於 AI 安全倡導者和寫過他負面報導的記者時，這依然是胡扯。

去你的垃圾修辭手段！責任或指責不是那樣運作的！你不能壓制任何及所有你不同意且能找到辦法模糊地判定為「危險」的言論！

Kitten：「誰能幫我除掉這個搗蛋的牧師」

Tenobrus：耶，那是完全不同的兩回事。那不是「隨機恐怖主義」，老兄，那是直接煽動暴力。

願我們有智慧區分兩者的不同。

最不負責任的反應來自媒體

我真的不明白你怎麼能這麼愚蠢。我意識到，是的，如果你想要這些資訊你仍然可以得到，但我的天哪，《舊金山標準報》的做法簡直瘋了。

舊金山標準報：快訊：Sam Altman 的家似乎在週日上午成為第二次襲擊的目標，就在一名 20 歲男子涉嫌向該物業投擲汽油彈僅兩天後：Jonah Owen Lamb。

spor：印出了他的住家地址，甚至還加了一張外觀照片，以防萬一……在一篇關於他的家如何被想要殺死他的瘋子盯上的文章裡！！！

這名記者、他們的編輯以及整個《標準報》都應該為此感到羞恥。

Mckay Wrigley：這絕對令人作嘔，任何參與出版這篇報導的人都完全沒有道德。

Sam Altman 的反應

在這一切中，我對 Sam Altman 表示最深切的同情。這一定很可怕。沒有人應該被往家裡扔汽油彈，更不用說在一週內面臨兩次襲擊。我希望他在面對這樣的事情時能保持良好狀態，並保持安全。

我不知道如果這種事發生在我身上我會如何反應。

Sam Altman 的公開反應是發表了這份聲明。

我非常感謝 Sam Altman 明確表示他後悔在下面這段文字中的選詞。「糟糕的一天」在這裡絕對是一個正當的理由，且考慮到 Altman 在所有 AI 事務上的其他公開聲明，這份聲明的大部分內容都比在這種情況下能合理預期的要好。

但我確實需要指出，這在重要的一點上偏離了目標，且其不幸的暗示需要予以反擊。

Sam Altman (OpenAI 執行長)：言語也有力量。幾天前有一篇關於我的煽動性文章。昨天有人對我說，他們認為這篇文章出現在對 AI 感到極度焦慮的時刻，這讓我處境更危險。我當時不以為意。

現在我在半夜醒來，感到憤怒，並在想我低估了言語和敘事的力量。現在似乎是處理幾件事的好時機。

那篇文章，大概是我上週詳細討論過的《紐約客》那篇，是一篇極其詳盡、細緻，且據我所知對 Sam Altman 和 OpenAI 的事實與歷史進行了公平準確複述的文章。如果說它是煽動性的，那是因為事實本身就是煽動性的。

那些不是 Sam Altman 的人在引用那篇文章時，說出這樣的話，就不會得到同樣的寬容：

Kelly Sims：事實證明，當你把一堆完全來自某人痛苦競爭對手的四分之一真相串在一起時，是會有後果的。

鑑於我們對襲擊 Altman 的人的了解以及各種細節，我認為這兩起事件的時間點對第一次襲擊來說不太可能有意義。我的猜測是，對於一個已經準備好爆發的人來說，觸發點是對 Mythos 的焦慮，但即便那篇文章是觸發事件，它也不是不負責任修辭的例子。

對於第二次襲擊，不幸的是，我們應該擔心它在很大程度上是由對第一次襲擊的報導觸發的，包括發布了 Altman 住所的細節。

Sam Altman 的反思

貼文的其餘部分是關於 AI 整體的個人反思和預測，所以我將像往常一樣對其做出回應。

Sam Altman (OpenAI 執行長)：[AI] 不會一切順利。對 AI 的恐懼和焦慮是合理的；我們正在見證很長一段時間以來，甚至可能是史上最大的社會變革。我們必須搞好安全，這不僅僅是關於對齊模型——我們迫切需要全社會的反應來抵禦新威脅。這包括像新政策這樣的事情，以幫助引導度過困難的經濟轉型，從而走向更美好的未來。

AI 必須民主化。……我不認為由少數幾個 AI 實驗室來決定我們未來的形態是最重大的決定，這是不對的。

適應性至關重要。我們都在非常快速地學習新事物；我們的一些信念會是對的，有些會是錯的，有時隨著技術發展和社會演進，我們需要迅速改變主意。目前還沒有人理解超智慧的影響，但它們將是巨大的。

Altman 本質上是同意了他最嚴厲的批評者：不應允許他獨自開發和部署超智慧。他試圖兩頭討好，一方面說出這樣的話，另一方面在需要通過法律或法規時試圖規避任何形式的有意義的民主控制。

他對適應性的呼籲與建立控制 AI 開發和部署的能力，以及在我們發現有必要時以各種方式暫停的能力密切相關。

他的分歧在於，他認為我們集體應該希望他繼續前進。這可能是也可能不是我們做出的決定，或者是一個明智的決定，或者是一個致命的決定。

他提到「不會一切順利」，但這種表述透過省略排除了房間裡存在生存風險的想法，即事情可能會以我們無法恢復的方式變糟。對我來說，這使得這成了廉價的談話和不負責任的陳述。

第二部分是個人反思。

他相信 OpenAI 正在履行其使命。我會說它沒有，因為他們的使命不是創造 AGI。使命是確保 AGI 走向安全，而 OpenAI 並沒有做到這一點。Anthropic 或其他任何人在很大程度上也沒做到，所以這不僅僅是關於 OpenAI。

他稱自己迴避衝突，這似乎難以置信，儘管如果這在局部上是真實的（到了對人們說他們想聽的話的地步），那麼這或許可以解釋很多事情。我很高興聽到他承認他處理前任董事會的情況（特別是那次）非常糟糕，導致了一團糟，這已經是我們能得到的最大程度的承認了。

他的第三部分是廣泛的想法。

我個人從過去幾年中得到的啟發，以及對為什麼我們領域的公司之間會有這麼多莎士比亞式戲劇的看法，歸結為這一點：「一旦你看到了 AGI，你就無法忽視它。」它有一種真正的「權力之戒」動態，會讓人做出瘋狂的事。我不是說 AGI 本身就是戒指，而是那種「成為控制 AGI 的那個人」的全面性哲學。

我們都同意，我們不希望任何一個人控制超智慧（ASI/AGI），也不希望任何小團體擁有這種控制權。對此顯而易見的反應是「民主」以及分享和擴散 ASI，這也是他在這裡的落腳點。但這同樣有其致命的問題，至少在其預設形式下是如此。

如果你讓每個人都能接觸到超智慧，即便我們解決了所有的技術和對齊問題，並找到了實施這種民主程序的方法，那麼每個人都會被他們自己的超智慧所掌控（以完全釋放的形式），以免落後並輸掉，或者被超智慧說服這一點，而我們很快就會變得無關緊要。人類被剝奪了權力，且很可能很快滅絕。

因此，如果你確實想做得更好，你必須在一定程度上做「秘密的第三種選擇」。而我們還不知道秘密的第三種選擇是什麼，卻仍在向前推進。

他這樣結尾：

Sam Altman (OpenAI 執行長)：對我們行業的許多批評源於對這項技術極高賭注的真誠擔憂。這是非常合理的，我們歡迎善意的批評和辯論。我同情反技術情緒，顯然技術並不總是對每個人都有好處。但總的來說，我相信技術進步可以讓未來變得難以置信地美好，為了你我的家人。

在我們進行辯論的同時，我們應該降低修辭和策略的強度，努力讓更少的家庭發生更少的爆炸，無論是比喻上的還是字面上的。

這很容易達成共識，我們當然希望更少的爆炸。但「降低強度」的呼籲很容易演變成呼籲忽視那些至關重要的負面風險，或者不嚴肅處理即將到來的技術困難、困境和價值衝突，或是封殺各類批評和行動呼籲。

暴力永遠不是答案

再次強調：我以最強烈的措辭譴責這些襲擊，以及任何及所有針對任何人的此類暴力。我這樣做既因為它是不道德的，也因為它是非法的，還因為它行不通。沒有什麼比這更能傷害你所支持的事業了。

此時我對 Sam Altman 表示同情，希望他能平安度過。

大多數擔心 AI 殺死所有人的人在這次事件前後都處理得很好，不僅採取了強硬的反暴力立場，而且使用的語言也相當得體，其標準遠高於以下任何一類人：

• 那些擔心「擔心 AI 殺死所有人的人」的人。

• 那些擔心數據中心或失業等日常 AI 問題的人。

• 美國兩大政黨的政治人物和普通公民，以及媒體，在各種廣泛議題上的表現。

我呼籲這三類人全面做得更好。在幾年的時間跨度內，我預測大多數關於「與 AI 擔憂相關的暴力」的擔憂，將與生存風險的擔憂毫無關係。

但確實有極少數擔心 AI 生存風險的人越過了上述界線，我敦促這些人立即停止。我已在上面列出了我的擔憂。我們應該指出哪些行動會產生哪些後果，並敦促選擇具有更好後果的更好行動，而無需稱呼任何人為謀殺者或邪惡。

Eliezer 在推特上對暴力問題做了詳盡的回應，《唯有法律能防止滅絕》，這呼應了他多次提出的觀點，分為兩篇貼文。

我也譴責那些利用這種情況作為呼籲審查、歪曲他人陳述和觀點，並普遍指責和抹黑那些指出世界正迅速進入生存危險的人。那也是完全不可接受的，特別是當這種行為上升到其自身的暴力煽動時——如果你以他們自己主張的標準來衡量，這種情況發生的頻率驚人地高。

 

 

 

 

討論