[背景：這篇文章針對所有廣泛認同以下觀點的讀者^([1])：目前通往超智慧的競爭是糟糕的、停止競爭是好事，且解決方案的技術路徑過於渺茫且難以協調，不足以證明繼續進行是合理的。]

內容提要： 我們針對那些認同「禁止超智慧是理想做法」的人，回應他們對支持禁止超智慧聲明所提出的反對意見。

引用 Lucius Bushnaq 的話：

我支持對 AGI/ASI 的開發實施某種形式的全球禁令或暫停。我認為目前的 AI 研發體制完全是瘋狂的，如果照現狀持續下去，我們可能會創造出一個殺死所有人的非對齊超智慧。

我們一直在傳閱一份表達類似觀點的聲明^([2])，對象是從事 AI 對齊/技術性 AI 極端安全（x-safety）研究的人員（主要在領先實驗室之外）。有些人即使同意聲明中的觀點，也拒絕簽署。在這篇文章中，我們希望回應他們的異議（包括那些我們認同或認為合理的異議）。

但在開始之前，先提供一些背景/前言。

我們希望您簽署支持禁止超智慧聲明的原因

我們希望您簽署一份簡短的聲明，該聲明大致表達了您與許多其他關注 AI 存續風險（X-risk）的人共同持有的觀點。

為什麼？

首要原因是為了提高大眾的意識。 許多專家相信這一點（即類似 Lucius 所述的觀點）是一件大事。這對大多數人來說是極其震驚的。該聲明正是針對這些「大多數人」。其首要目標是讓一般大眾易於閱讀和理解，而不是包含所有簽署者可能持有的各種細微觀點。

特別是，我們尤其希望某些群體/類型的人能意識到這一事實，例如政策制定者和尚未深入了解 AI 議題的一般大眾。大多數人會對過於艱澀、複雜或充滿術語的文字感到排斥。

我們希望在目標受眾中，盡可能降低傳播「專家感到擔憂」這一事實的成本^([3])（在合理的倫理範圍內）。我們希望用絕大多數人的語言（或對他們來說推理距離較短、易於理解的語言）創造一個簡短的句子來指出這一事實，並以一種允許該事實知識傳遞的方式來呈現。

這種簡潔的總結對於與他人進行清晰且簡要的溝通極其有用。簡單來說，這種總結的存在將有助於社會在此刻理解這一事實。

一旦您理解了這個目標和視角，請訪問 aistatement.com，查看其結構和功能，這能讓普通人迅速意識到並傳遞這個令人震驚的事實：許多專家、泰斗等認為人工智慧構成了實質性的滅絕風險（根據 CAIS 的聲明，至少與核戰威脅相當）。

重要的是，在這個問題上的每一分沉默，都在邊際上強化了社會認為「該事實並非真實」的信念（特別是考慮到有各種人在叫囂 AI 只是蛇油，唯一重要的是 NVIDIA 下一季度的股價走勢以及其他諸如此類的廢話^([4])）。缺乏證據即是缺席的證據等等。

即使該聲明只是您對此事觀點的一個有缺陷的近似，只要聲明沒有說出您認為錯誤的事情^([5])，您就可以公開提出您的額外保留意見^([6])。我（Ishual）願意投入精力，讓您和其他人的保留意見更容易、更有效地被至少一部分大眾的集體思維所處理，從而提供比單純易讀的內容更準確的觀點（更不用說糾正預設的錯誤觀點了）。

然而，鑑於我們之前的文章，我們想特別澄清：使一個重要事實變得清晰易懂純粹是加分項，這樣做的原因與該文章中提到的任何規範無關。首先，清晰度需要許多人之間的合作，而就您的精確立場和重點進行合作，比在與「合作者意見的中心點」存在顯著差異的情況下進行合作要容易得多。其次，這些加分項很可能被許多不在「巨獸腹中」（指領先實驗室內部）工作的人獲得（如果讓我猜測，想要獲得這些加分項的外部人士會比內部人士更多）。

一個積極的願景

無論您是否已經公開表達立場，同意簽署一個單句聲明，對於傳播「該句子是大型群體信念的公平近似（為了某些目的，如引導集體行動）」的意識，都是一種強大的貢獻。這種貢獻不僅是暫時的（現在聲明下多了一個簽名），也是累積的：簽名越多，那些認同聲明但因社交原因猶豫不決的人最後就越傾向於簽署。同樣地，隨著簽名數量的增加，新的人會被吸引到這個議題上並參與討論，其中一些人最終會成為這份或類似聲明的簽署者。考慮到這一切，這很可能是對您注意力的一種相當有效的利用^([7])。

誠然，一個帶有歧義詞彙的單句並不是一個好的思考工具。然而，它的目的不是（直接）引導任何人的思考。相反，它的目的是引起對重要問題的關注，以便他們能夠參與到該問題上其他更擅長引導思考的句子中。顯然，一個單句不會取代您的實際立場；您隨時可以（且或許應該）在其他地方表達。事實上，許多觀點之間的共識核心正是此類聲明的重點，這就是為什麼協調使它們變得清晰易懂值得我們花時間。我們認為專家有空間以決策相關的方式評估局勢，而不必像某些立場倡導者那樣過多地進入政治角力場；在某種意義上，您的「專家權力」僅適用於聲明空間的一小部分，將此類聲明集中在我們的集體「專家權力」周圍是有意義的。

我們沒有資格完美地決定暫停的時機，而這樣的聲明也不代表我們對何時應該暫停的意見。我們可以以決策相關的方式評估技術狀況，這種方式可以在未來任何時間點的對話中被利用，而且我們（如果謹慎的話）可以在不消耗政治資本的情況下為理清思路（sense-making）做出貢獻。當然，專家沒有權力決定暫停的時機，即使發生重大災難，他們也永遠不會獲得這種權力。但他們有能力為理清思路做出貢獻，這似乎是社會在災難發生時將其轉化為奧弗頓之窗（Overton window）淨正面變化的必要部分。理清思路並不是你在危機發生後才戰略性開啟的東西；它是利用危機的必要前提。

最後，專家實際上不需要相信理清思路會有效；專家根本不需要對此有意見（事實上，這並非他們的「專家權力」所在）。因為認為自己會是唯一一個發聲的人而拒絕表達心聲，是一種非常人性化的傾向，但有時這是不恰當的。一個人不需要相信大多數人都會同意離開著火的房子，才能決定投票支持我們離開房子^([8])。

這裡有一個引人注目的例子，說明共同知識（common knowledge）的動態如何決定重要的集體決策，體現了保持沉默的危險和發聲的力量：https://thezvi.substack.com/p/ai-moratorium-stripped-from-bbb

儘管認同聲明但仍不簽署的原因

在交代完背景/前言/動機後，讓我們來處理對我們聲明提出的實際異議。其中一些已經在本節中回答過，但為了完整起見，讓我們逐一解決。

我已經公開表達立場了，為什麼還要支持一個單句總結？

首先，謝謝您。公開表達立場非常有價值，比保持沉默好得多。然而，在集體聲明中加入您的簽名，可以極大地放大您已有的影響力，且只需付出相對較少的額外努力。^([9])^([10])

（即，參見前一節的開頭。）

我還沒有公開表達立場，為什麼要支持一個單句總結？

您隨時可以採取更細緻的公開立場，同時也支持一個單句總結。或者，您可以只支持一個單句總結，讓它成為對沉默的一種改進，儘管它並非您能做的字面上最好的事情。與您在該方面能做的最好的事情相比，它所需的努力也少得多。

聲明使用了含糊不清的詞彙 X

創建一個捕捉大型聯盟觀點的簡短聲明不可避免地涉及權衡。要設計出既包含每個人偏好的細微差別，又足夠簡短以便大眾傳播的語言，確實非常困難。

此外，在實踐中，即使是要求一大群人簽署某些東西也是成本高昂的，^([11]) 且對聲明進行任何修改都需要向每一位舊版簽署者確認，他們對舊版的支持是否延續到新版。

我更傾向於用不同的方式（例如更準確、認識論上更嚴謹、更擅長激發良好思考）來陳述我在這個問題上的立場

這在潛在簽署者中是一種極其普遍的感受，甚至是普遍存在的。幾乎每個人都有自己偏好的表述框架，考慮到問題的複雜性和觀點的多樣性，這很自然。您可以擁有一個以您最偏好的方式公開表達的意見。但為了使一個重要事實變得清晰易懂，許多人必須合作。您仍然希望聲明足夠簡潔且陳述簡單，以便普通人在需要時能夠記住並回想起來。

您最偏好的措辭可能對您來說是獨一無二的，或者僅由一小群人共享。更廣泛地說，這裡有兩個我們應該分開考慮的目標。第一個目標是讓專家對問題有深刻的理解，並在嘗試簽署聲明時帶著這種理解。第二個目標是讓其他人了解專家之間理解的分布情況，並在考慮到所有限制因素（大多數人的可理解性、足夠的背景、實際的共識、對正確事物的強調、可接受的歧義、易記性等）的情況下，使其中的一些重要方面對普通人來說清晰易懂。

聲明沒有準確捕捉我的觀點，儘管我強烈認同其核心內容

我們認為這是不簽署的一個好理由。^([12]) 然而，為了達到與簽署這個有缺陷的句子^([13]) 相同的共同知識水平，您可能需要親自寫一本暢銷書、參加 許多 播客，並獲得公眾知名度。這看起來至少是非常困難的。我們希望我們能開發出更好的技術來建立和完善共同知識。如果不行，希望至少有足夠多的人對該句子持有相同的異議，以便您能找到一種成本較低的方式來建立這一點。

我們鼓勵您反思，具體的分歧是否真的超過了在核心點上建立共同知識的價值。如果我將來想出辦法讓您的想法變得清晰易懂，請告訴我們問題所在。^([14])

如果它也提到「我的關注點」，我就會加入

這是一個常見的願望，且可以理解，因為您的特定擔憂對您來說可能至關重要。然而，加入它可能會使聲明對其他具有不同優先級的人來說變得較不可接受。您支持的清晰內容不需要包含您所有重要思想的總和。公眾認知很重要。一份由許多人簽署的聲明具有分量，而一份只有少數人簽署的詳細聲明（無論多麼深思熟慮）則無法創造同樣的共同知識。參見上文關於兩個不同目標的討論：一方面是構建和清晰化對問題的更好理解，另一方面是廣播該領域觀點中與行動相關的交集。

對政策事務採取立場是另一個領域，這比僅僅陳述我對事實的看法需要更多的深思熟慮

這是一個合理的擔憂。政策倡導確實感覺與技術評估不同。然而，政策制定者一致表示，他們需要專家發出明確信號，以證明採取困難決策是合理的^([15])。不過，我不認為在這種情況下不採取行動是一個中立的選擇^([16])。鑑於您的角色，您的公開立場可能會產生巨大的影響。

我不會支持「永久禁令」

人們明白，政治家沒有一個按鈕可以按下，讓禁令變得不可能被推翻。不存在所謂的永久禁令，聲明中也沒有提到永久性。聲明的意圖是實施一項至少與氟氯碳化物（CFCs）、複製人或核擴散禁令一樣難以推翻的禁令。並非不可能推翻。

請考慮：您是否要求禁令比現有的先例（如複製人禁令）更容易撤銷，還是標準的先例是可以接受的？

聲明沒有包含解除禁令的明確機制

每一項禁令都帶有預設的解除機制，即實際的科學共識和基於解除禁令的草根支持，從而引導未來的人們提出成功的解除禁令理由。如果您擔心我們永遠無法達到安全解除禁令的足夠信心，我們會辯稱這實際上是支持禁令的一個理由。這表明問題對人類來說太難解決了，或者至少太難以至於不能成為通往美好未來的最佳路徑。它甚至可能暗示這種困難永遠無法克服^([17])。

相反，您可能認為我們最終會擁有足夠的理解，以至於至少有利於 ASI 的開發者/創造者/培育者，而擔憂在於我們會在實際的科學共識和解除禁令的草根支持出現後，仍將其維持在禁令狀態一段時間（或很長時間）。例子：核能、FDA。我們同意預設機制會帶來額外的延遲風險，儘管其程度尚不確定。^([18])

我（Ishual）對這種情況通常如何發展的理解是：專家發出信號表示禁令是個好主意，然後一些願意推進立法的政治領導人促成某些事情發生。專家的信號越寬容，政治家成功的可能性就越大（即，這是起作用的眾多因素之一）。

在我看來，目前撰寫的聲明與此立場是相容的（因為您並未承諾支持每一種可以想像的禁令）。我認為使一些細微差別變得清晰易懂是件好事，但最好在隨附的白皮書或長影片中說明。

這樣，您就可以在某種禁令被認真考慮或實際生效的情況下，爭取您最喜歡的那種禁令。

您可以說，一個持續時間比您希望的（在您的預期中）長（得多）的禁令，對「有益 ASI」的機率有複雜的影響，而且並不十分清楚其淨效應是降低了它。^([19])

超智慧可能「好到不容錯過」

具體來說，這種主張認為，掌權者/相關決策者在其中有利益關係，因此將不願意協調有效的禁令，甚至不願意協調具有可靠效果、能降低過早構建 ASI 概率的干預措施。

然而，人們過去也可以對一堆「好到不容錯過的技術」提出同樣的論點：核武器、生物/化學武器、複製人、人類基因組工程、核能^([20])。

正如 faul_sname 最近提出的：

馮·紐曼在當時是「預防性戰爭」的堅定支持者。即使在第二次世界大戰期間，他也確信俄羅斯間諜網已經獲得了原子彈設計的許多細節，馮·紐曼知道蘇聯成為核大國只是時間問題。他預測，如果允許俄羅斯建立核武庫，對美戰爭將不可避免。因此，他建議美國對莫斯科發動核打擊，摧毀敵人並成為主導世界的強權，以避免日後更具破壞性的核戰爭。「對俄羅斯人來說，這不是是否的問題，而是何時的問題，」他會這麼說。他常被引用的一句話是：「如果你問為什麼不明天轟炸他們，我會說為什麼不今天？如果你說今天 5 點，我會說為什麼不 1 點？」……然而，我們並沒有這麼做。

有趣但最終無關的思想實驗警告

同樣地，複製人難道不也是「好到不容錯過」嗎？想像一下 100 萬個馮·紐曼的複製人，他們被培養成深切關心美國國家利益並相互合作。顯然，某些版本的複製技術本可以讓世界失去控制，或者讓美國（或任何獲得複製人忠誠的人）在經濟上統治世界其他地區（比現在強得多）。事實上，人們可能會稱之為一種溫和形式的超智慧，然而人類對此堅決拒絕了（至少目前如此）。

我們同意，要使國際禁令有意義，就必須對每個人強制執行，包括那些堅持認為超智慧好到不容錯過、不顧風險的人。

我不想讓自己暴露在公眾面前

這是一個合理的偏好，有更好或更差的方法來適應它。例如，也許您不希望獨自暴露。在這種情況下，具體說明什麼條件會讓您感到自在會有所幫助——例如特定的個人與您一同簽署，或達到一定數量的簽名門檻。如果公眾能見度是個問題，請考慮有條件的承諾（例如，在 ≥N 個同行簽署後再簽署）。

我並非真正的專家

這是一個合理的點。呈現聲明可能需要仔細思考如何顯示信息。如果您不是專家卻假裝是專家會很糟糕，因此如果聲明實際上旨在發出某種信號，它應該旨在發出清晰易懂的信號，例如「某某人在該領域擔任過某某職位」之類的。您可能低估了您所擔任過的任何職位的憑證價值。

安全社群的「政治資本有限」

這很可能是真的，但我們獨特的優勢在於非常有力的論據。我們認為，我們建議協調使其清晰易懂的那種事實（即「我們需要透過立法防止 ASI/AGI/具有存續風險的 AI 開發」）是證據確鑿的，以至於集體而言，我們知道比我們任何個人所能闡述的更強大的理由。

我們不認為現在簽署聲明意味著我們會削弱我們的政治資本。有些人擔心簽署這份聲明會遭到名譽^([21])攻擊。人們是否想像會有一場針對我們美名的攻擊，利用簽署這份聲明作為藉口？如果聲明受到更多（敵對的）關注，我們持有立場有強大的理由和論據，且我們有一些口才流利的簽署者來提供這些論據。我們想反駁「沉默能為以後保留資本」的想法。不採取行動是有代價的：有一些資源豐富的參與者正積極透過重複、歪曲事實以及在論述中充斥雜音^([22])^([23])，來混淆大眾對 AI 風險的理解，這一切都旨在使社會在 AI 存續風險問題上更強烈地偏向於不作為和混亂。如果您保持沉默，世界會變得更加混亂，世界也就更難做出良好反應^([24])，即使在某個時間點我們遇到了某種「災難」或「危機」。

此外，一些與您持相同觀點的人已經在發聲了，無論您是否加入他們。然而，如果您加入他們，他們就更有可能穿透雜音和混亂。像您這樣的人所做出的發聲選擇，是決定他們能否突破，還是辯論被更顯著、重複的信息所錨定的因素之一。我們正處於獵鹿博弈（stag hunt）的境地。為了以後而保存自己可能感覺很安全，但事實並非如此。如果其他人在沒有您的情況下發聲卻未能突破，窗口可能會關閉。等待「更好的時機」可能意味著完全錯過時機。如果您對此感到擔憂，可以使用一些解決方案，在且僅在有足夠多其他人也發聲的情況下才發聲（例如有條件的發聲承諾）。

本質上，我想提醒人們，其他人會對現狀撒謊，並說「禁止超智慧」的聲明是邊緣觀點，即使在大多數專家（即使只有一點點免於激勵機制影響的自由）都會支持非常相似觀點的世界裡也是如此（如果這大多數人不創造一個人們可以用來揭穿謊言的單句反擊）。

我們必須等到災難發生後才動用「有限的政治資本」

假設行動的關鍵點確實發生在「災難」之後或某種「危機」期間。例如，米爾頓·弗里德曼的政策變革模型指出，「奧弗頓之窗以外的大多數政策變革，都是由政策倡導者巧妙地利用危機而產生的」。

然而，有效的危機應對需要基礎工作。如果我們事先沒有建立共同知識，我們應該懷疑世界是否能在 AI 風險這樣前所未有且陌生的領域對明顯的災難做出良好反應。此外，我（Ishual）注意到 CAIS 的聲明即使在簽署兩年後，在對話中仍然非常有用。沒有必要「完美地把握」時機。

簡而言之：要巧妙地利用危機，需要做大量的準備工作。這種準備工作的一個重要方面就是建立共同知識。一份由許多重要人士簽署的簡單聲明，是建立共同知識的有效工具。

我們遺漏了其他異議嗎？（以及對更美好世界的希望）

如果我們遺漏了您實際的異議，請透過評論幫助我們完善這份清單。

如果您的異議已得到回應，但您仍未感到有動力去做點什麼，請考慮以下積極的願景。

我們中的許多人都希望有一個更美好的世界。我認為即使在技術上與我們相似的平凡世界中，也有更多的可能性。功能健全的制度是可能的^([25])。在這方面取得漸進式進展是可能的。事實上，我們可以單方面（作為一群偶爾訪問 Less Wrong 的鬆散人群）讓系統的一部分運作得更好（作為第一步，用人類的語言創造這個短句，用以指出一個重要事實）。然後，我們可以希望或優化系統的其他部分，利用這個工具進行更好的對話。但無論系統的其他部分需要多長時間才能發揮作用，我們都已經為它們的成功提供了可能。即使您認為一個包含 10 個人的功能健全的房間就有不小的機會拯救世界，您肯定也會同意，如果世界上有更大一部分是功能健全的，成功的可能性會更高。

如果您想邁出通往更美好世界的第一步，我（Ishual）的私訊隨時敞開 :)

如果您隱約瞥見了我極其模糊地示意的大型計畫，並且您可能想在第一步之外再多走幾步，我的私訊也同樣敞開 :D

• ^(^)對使 AI 安全的各種問題有足夠經驗的研究人員是我們這裡的主要受眾，但儘管有之前的文章，我們現在針對所有此類研究人員，無論他們現在在做什麼，也無論他們是否已經公開表達過立場。

• ^(^)該聲明目前正在私下傳閱。如果您可能有興趣簽署，請與我們聯繫（例如透過私訊）！

• ^(^)政策制定者和大眾不會從論壇貼文中重構專家的情緒。即使其中一人或一些人這樣做了，他們也不會有關於多數相關研究人員信念中與行動相關的交集的簡要總結。

• ^(^)從機制上講，他們大多只是沒有明確思考過這個事實，並且他們有各種啟發式方法在起作用，導致他們不參與更廣泛的討論，或者覺得自己在該問題上除了自動導航之外不需要做任何事情。如果他們感到擔憂，他們可能會想在某位致力於技術解決方案的魅力專家身上多花一點錢。由於跨越大多數人的直覺與對超智慧競賽的理性看法之間的差距時間有限，「只有少數怪人才相信這一點」這個真實事實的極度不可信性最終代價高昂。我們可以（某種程度上）將這種成本（無論是實際上用微小的公共證據使事實看起來不那麼不可信的時間，還是對整個討論及其參與者的拖累）建模為「這個人將你未能使該事實清晰易懂視為該事實不真實的證據」。

• ^(^)「天空是藍色的」這句話並非嚴格意義上的正確，但它代表了一個陳述，例如天空並非綠色多於藍色，如果我們生活在一個許多強大且富有的勢力試圖阻止街上的行人理解天空是藍色的（透過聲稱它是綠色的）世界中，那麼我想我會說它是「足夠真實」的，而對此保持沉默（或僅僅是未能協調專家說出一句讓人們理解的簡單句子）則是「足夠虛假」的。

• ^(^)除非某種力量正以某種方式阻止您這樣做。

• ^(^)甚至與那些成本高昂得多的公開意見努力相比也具有競爭力，在預期效果上肯定比參加一個只有 1 萬人聽到的播客要好。

• ^(^)如果您如此擔心我們發現沒人想離開房子（儘管您和許多其他人實際上暗地裡想離開），您可以直接說您認為除非結果不令人尷尬，否則我們不應該公開投票（或者您可以直接投票而不必太在意結果）。多元無知（Pluralistic ignorance）是真實存在的：大多數人可能相信 X，卻錯誤地認為其他人都相信「非 X」，從而導致集體沉默。您不需要獨自評估這一點，這正是集體行動有助於揭示的。即使現在支持看起來有限，協調也可以改變格局。

• ^(^)除非您聲音非常大，並且不斷重複您的核心立場，且實際上觸及了很多人，多到您在聲明上的簽名不會產生顯著的額外影響，在這種情況下請繼續，您不在目標受眾之列 :)

• ^(^)此外，考慮一個反轉測試：如果有人根據公開聲明編製了一份表達支持禁令的人員名單，您會希望將您的名字刪除嗎？如果不會，那麼明確表達這種支持似乎與您的實際立場是一致的。

• ^(^)就時間、精力而言，不一定是金錢成本。

• ^(^)同樣地，這是保持我們聲明相對簡單的一個好理由。

• ^(^)讓我們假設有 100-300 人簽名的可能性。這將產生巨大的影響。影響並不局限於簽署的那一刻或聲明公開的那一刻。一旦聲明成為一個簡短的對話切入點，它將在關於 AI 造成的存續風險的對話中被多次使用，屆時這些簽名將增強這些對話的有效性。當我（Ishual）與人們談論 AI 造成的存續風險時，CAIS 的聲明可能是最有效的一個句子。

[虛構數字警告：] 為了將單個簽名的影響與其他干預措施進行比較，我們天真地除以 100-300，仍然得到相當大的影響。即使 100 個簽名和 300 個簽名在有效性上沒有太大區別，如果我們希望邊際預期效用的總和等於整體的預期效用，單個簽名仍然有大量的邊際影響，因為早期的簽名也讓其他人更容易簽署。如果我們堅持下去，考慮到「同意且會簽署」與「同意但不會簽署」的比例，並天真地假設只有 300 名嚴肅的專家，我們可能會天真地預期結果分布在少於 ~100 和多於 ~300 之間呈「雙峰」分布。

• ^(^)另一種方法是進行重大的公眾宣傳（書籍、播客等），儘管那樣成本要高得多。

• ^(^)一位政策制定者曾向我（Ishual）指出，CAIS 的聲明可能有歧義，因為它沒有明確發出信號表示專家支持國際合作以防止流氓行為者構建導致滅絕的超智慧。事實上，對 CAIS 聲明的一種合理解讀是，專家希望獲得更多資金來研究他們的東西，或者僅僅是這就是他們做這件事的原因，這完全會減輕那些風險。

• ^(^)「指責」一類人是很奇怪的，這類人的成員資格僅在於他們被認為是某個話題的專家，但儘管如此，對於這類人，我們認為沉默是非常糟糕的，僅公開立場是好的，而你為使重要內容清晰易懂所做的努力是非常好的（加分項）。假設您已經採取了公開立場，如果您沒有做出足夠的努力來實現清晰度，您（僅僅是）在浪費大量的額外價值。

• ^(^)要麼是因為問題將永遠無法解決，要麼是因為我們更明智的做法是先以其他方式實現美好的未來，然後再重新審視這個問題。

• ^(^)似乎有一小群極其熱情的人，即使在現在構建這種技術是愚蠢的時候，也真的想要它。

• ^(^)也許吧。也許禁令即使在那些足夠振作以「解決對齊問題」的未來也具有超強的粘性，在這種情況下，我「真正的異議」將是，在邊際上，你必須大幅延遲 ASI，才值得承擔哪怕多 1% 的實際滅絕風險（以及浪費光錐）。

• ^(^)這份清單是刻意製作的，旨在引起本文目標受眾中大部分人的負面、複雜和正面感受。

• ^(^)要麼攻擊他們自己的名譽，要麼攻擊整個「安全社群」的名譽。

• ^(^)或者在某些情況下，聲稱危險根本不存在。

• ^(^)或者在某些情況下，描繪一幅與現實相反的圖景。

• ^(^)我們遇到了各種反應，其結果都是無所作為。您現在可能沒看到災難，但許多人確實將例如川普的胡作非為視為 AI 不會被妥善處理的明確信號。但隨後他們只是說服自己，躺平等死是他們全部的選擇。

• ^(^)一個更多為人類利益服務的人類社會是可能的。事實上，在這裡取得巨大進展似乎比第一次嘗試就創造出一個像我們希望的那樣深切關心我們的超智慧要容易得多。關於這一點有很多話要說，但這必須留到另一篇貼文了。