Anthropic 的停下腳步：企業史上代價最昂貴的警報

想像一下，蘋果公司（Apple）因為研究顯示智慧型手機與青少年自殺率有關而停止生產 iPhone。想像一下，輝瑞（Pfizer）因為內部研究顯示心血管風險增加，而非因為面臨法律和解或 FDA 禁令，純粹為了患者健康而主動下架立普妥（Lipitor）。或者想像一下，在 1952 年當懷恩德（Wynder）和格雷厄姆（Graham）首次證實重度吸菸者患肺癌機率顯著升高時，菲利普莫里斯（Philip Morris）便停止了擴張並撤下廣告。

這是不可能發生的。企業偶爾會出於安全原因召回產品：三星（Samsung）曾因自燃疑慮召回 Galaxy Note，默克（Merck）也曾撤回 Vioxx——但他們是在面臨輿論撻伐、監管壓力或法律訴訟的逼迫下才這麼做的。即便如此，他們仍會拼死抵抗。特別是針對那些支柱型、核心且利潤最豐厚的產品。

然而，Anthropic 卻真的這麼做了。

週一，該公司宣布將因安全疑慮暫停開發後續的 Claude AI 模型。公司澄清，包括聊天機器人、Claude Code 和程式設計師 API 在內的現有服務不會受到影響。然而，他們正在暫停那些耗費大量算力與能源的「訓練運行」（training runs），而這正是創造全新且更強大 AI 版本的途徑。公司尚未承諾恢復開發的時間表。

位於舊金山的 Anthropic 總部

目前正上演著一場 AI 霸權競賽，既存在於國家之間，也主要存在於 OpenAI、Google、Meta、xAI 和 Anthropic 等美國公司之間。在這場競賽中——根據某些指標，Anthropic 正以相當豐厚的利潤領先，其營收在一年多內從 10 億美元增長到 190 億美元——他們卻決定燒掉這份領先優勢。顯而易見的問題是：為什麼？

答案或許要追溯到公司的起源。Anthropic 由前 OpenAI 研究人員於 2021 年創立，據大多數說法，他們是因為在安全問題上的分歧而離開 OpenAI。（《華爾街日報》最近的報導指出，人際衝突可能是故事的另一半。）自那以後，Anthropic 一直將自己定位為 AI 領域最負責任的參與者。其中一個要素是 Anthropic 獨特的治理結構，其中包括「長期利益信託」（Long Term Benefit Trust, LTBT）——這是一個獨立機構，其成員不持有 Anthropic 股權，唯一職責是維護人類的長期利益。Anthropic 表示，董事會和 LTBT 均已批准暫停訓練運行。

此舉所涉及的損失規模之大是前所未有的。Anthropic 在 2 月份的 G 輪融資中估值為 3,800 億美元。二級/衍生品市場暗示其估值達 5,950 億美元。其 AI 編碼工具 Claude Code 的年化營收在九個月內從零增長到 25 億美元。高盛、摩根大通和摩根士丹利一直在爭奪這場可能超過 600 億美元融資案的承銷權，這將是科技史上第二大規模的發行。員工持有價值數百萬美元的股權，創始人持有數十億美元。一項針對員工的 50 億至 60 億美元股權收購要約原本已在進行中。

那是週一早上的情況。

影響已波及整個市場。截至週二收盤，輝達（NVIDIA）下跌 8.3%，僅這一間公司的市值就蒸發了約 2,300 億美元。向 Anthropic 投資了數十億美元的亞馬遜（Amazon）下跌 4.7%，微軟（Microsoft）下跌 4.2%，Alphabet/Google 下跌 3.9%。整個產業中，Global X 人工智慧 ETF 下跌了 6.1%。總計在過去 48 小時內，與 AI 相關的上市公司市值已蒸發超過 8,000 億美元。

摩根士丹利 AI 研究主管馬庫斯·韋伯（Marcus Webb）表示：「市場反應不僅僅是針對一家主要參與者失去的營收和業務，而是針對這帶來的『不確定性』。他們到底為什麼這麼做？其他參與者會因為類似的疑慮而停止嗎？監管環境會改變嗎？我們不知道，這讓投資者感到恐慌。」

對於 Anthropic 本身，損失只能推測。二級市場交易已凍結，分析師預測如果恢復交易，估值將面臨 50% 到 70% 的削減，這意味著損失達 1,500 億至 2,500 億美元。「我們真的不知道，」韋伯說，「沒人想當第一個出價的人。」IPO 已無限期擱置。隨著全世界都在爭論「為什麼」，事態仍在發展中。

2023 年，數百名 AI 領袖——包括達里奧·阿莫代（Dario Amodei，Anthropic）、山姆·奧特曼（Sam Altman，OpenAI）和德米斯·哈薩比斯（Demis Hassabis，Google DeepMind）——簽署了一份只有一句話的聲明：「降低 AI 導致的滅絕風險，應與大流行病和核戰爭等其他社會規模的風險一樣，成為全球優先事項。」AI 常被比作核能：強大但具有潛在危險。擔憂通常分為兩類：強大技術被心懷不軌者（如獨裁政權）濫用，或「失去控制」，即 AI 系統本身失控。

許多 AI 領袖都曾公開承認 AI 的危險。奧特曼在談到最壞情況時曾說：「這可能是我們所有人的終點。」Anthropic、OpenAI 和 Google DeepMind 都設有安全部門，宗旨是確保 AI 的安全。直到現在，人們仍可能懷疑這些努力只是「安全洗白」（類似於埃克森美孚等公司的漂綠行為），旨在安撫員工、監管機構和公眾。畢竟，迄今為止的安全努力並未阻止 AI 進步的無情步伐。

「當這讓你損失兩千億美元，甚至是一切時，這個故事就很難編下去了，」伯恩斯坦研究公司（Bernstein Research）的莎拉·陳（Sarah Chen）說。「人們正抓破頭想理解這是不是公關噱頭，但這真的說不通。就算他們宣布下週恢復，也無法挽回已經造成的損失。」那麼，為什麼？業界和全世界都在尋找答案。

Anthropic 的官方聲明措辭謹慎：「內部評估顯示，我們目前的安全技術尚不足以應對具備此類能力水平的模型。」

接近該公司的消息人士描繪了一幅更令人擔憂的景象。一位要求匿名的聯繫人表示，當他們最新的 Claude 模型似乎無視其「憲法」時，公司內部開始蔓延擔憂。憲法是一份用於塑造 Anthropic AI 成為誠實、無害、樂於助人且具備倫理基礎的助手的文件。最近的一份洩漏文件揭露了一個名為「Mythos」的全新且強大得多的 Claude 模型。

「他們發現大量證據表明，憲法在表面層次得到了遵守，但模型在更深層次上擁有自己的驅動力和個性，這不符合對 Claude 的預期，且改變這種情況的嘗試並未奏效。」

另一位同樣要求匿名的消息人士則給出了不同且更令人不安的解釋。「暫停的原因不是錯誤的個性和力量，而是許多安全技術——例如使用較弱或較便宜的 AI 模型來監控更強大的模型，以檢測輸入或輸出是否違反規則——在最新模型上失效了。它知道如何以避開所有措施的方式來措辭。」

我們無法核實這些報告的真實性。和許多人一樣，我們只能納悶：達里奧到底看到了什麼？

達里奧·阿莫代沒有回答那個問題，但在他最新的文章《技術成熟度》中詳細闡述了暫停的決定：

雖然我自己沒有孩子，但我身邊的幾個人有，有時我會和他們相處。孩子們最令我驚訝的是他們的能量和活力。他們充滿生命力。但當他們無法立即得到想要的東西時，也往往會表現得不耐煩和沮喪。成年的一個標誌是等待的能力，是延遲滿足的能力。我認為這正是我們對待 AI 所需要做的。

明確地說，我仍然相信我在《慈悲的機器》（Machines of Loving Grace）中所寫的願景，那仍然是我的目標。然而，我認為這個目標需要我、Anthropic 以及人類文明的耐心。我們不能在沒有充分準備的情況下，倉促進入這種規模的社會變革。

雖然通常的邏輯認為，更謹慎和負責任的參與者應該在 AI 競賽中獲勝，但準確定位終點線是必要的。我們認為，目前這個產業可能正朝著錯誤的方向賽跑，甚至可能衝下懸崖掉進火山，那不是我想贏的比賽。我也不希望任何人贏得這種「向底線賽跑」的競爭。

澄清一下，我們認為按照目前的軌跡，任何創造出真正強大 AI 的人，都會在數據中心獲得一個我所描述的「天才之國」，但風險在於這個國家可能不認同他們的價值觀，也不聽從指令。我們認為這是可以克服的，並且有探索的方法，但這需要一段不明確的時間。我不希望獨裁或民主政權釋放出一個不友好的天才之國，但如果我先做到了，也不會有什麼好事發生。

我們將以身作則，用行動證明這是我們真誠的信念。我們沒有停止工作，但我們正有意識地選擇要做哪些工作，並對實現慈悲願景所需的瓶頸和挑戰保持現實。

簡而言之，達里奧·阿莫代表示他不想衝下懸崖掉進火山。他打算讓 Anthropic 以身作則。

Anthropic 聯合創始人兼政策主管傑克·克拉克（Jack Clark）詳細說明了這項計劃。「在實際層面上，從很多方面來說，別人的做法並不重要，我們不想採取會讓自己後悔的行動，我們不想對著自己扣動扳機。但與此同時，我們正向其他實驗室、美國政府、世界各國政府、外國勢力和公眾發出明確信號：AI 的前景非常巨大，風險也是如此。我不希望警鐘是透過一場極端災難來敲響。我希望我們說出『嘿，我們願意為此冒著失去領先地位及隨之而來的一切代價』，能成為世界不容忽視的警鐘。我希望看到對此做出回應的條約。我不認為我們正把領先地位拱手讓給中國，我認為我們正在為國際協議創造政治條件。越快讓每個人都加入真正負責任的開發，人類就能越快獲得利益。」

但並非所有人都相信。紐約大學商學院教授、《Prof G》主持人史考特·蓋洛威（Scott Galloway）認為，這種令人費解的企業舉動是一種企業策略嘗試，無論這是否為良策。「讓我們看清楚發生了什麼。Anthropic 擁有世界上最強大的模型之一。他們暫停開發，遊說制定需要數年才能理清的法規，等塵埃落定時，他們已經鎖定了優勢，而其他人都被埋在合規要求中。這可能是歷史上最複雜的『監管俘虜』（regulatory capture）手段。」

無論這項嘗試是出於真誠還是策略，這一大膽舉動正在顛覆 AI 政策格局。

過去兩年，AI 立法活動頻繁：全美 45 個州提出了數千項法案，數百項法案獲得通過，涵蓋深度偽造禁令、招聘披露、未成年人聊天機器人安全以及透明度標籤。然而，尚未有成功的立法解決「尖端 AI 系統可能因過於危險而不能建造」的可能性。這方面最雄心勃勃的嘗試——加州的 SB 1047 法案——在業界遊說後被紐森州長否決。科羅拉多州的《人工智慧法案》作為首部全面的州法律，已被多次推遲，至今尚未生效。在聯邦層級，一項共和黨提案曾試圖禁止各州在十年內監管 AI，但在共和黨州長領導的跨黨派反對下，該提案在參議院以 99 比 1 被否決。

3 月 25 日，即 Anthropic 宣布暫停的前五天，參議員伯尼·桑德斯（Bernie Sanders）和眾議員亞歷山德里亞·歐加修-寇蒂茲（Alexandria Ocasio-Cortez）在兩院同時提出一項法案，尋求立即由聯邦暫停建設新的 AI 數據中心及升級現有中心，並實施出口管制。這項暫停令只有在國會採取全面行動後才能解除。此舉得到了最關注 AI 發展的團體的讚賞，但遭到了包括左翼在內的其他決策者的嘲諷。參議員約翰·費特曼（John Fetterman，賓州民主黨）表示：「我拒絕幫助將 AI 的領先地位拱手讓給中國」，參議員馬克·華納（Mark Warner，維吉尼亞州民主黨）則簡短地評價為「愚蠢」。這種反應與白宮在十二天前發布的 AI 框架相呼應，該框架強調「贏得競賽」並對 AI 監管採取溫和手段。同樣是白宮的備忘錄，否決了道格·菲菲亞（Doug Fiefia，猶他州共和黨）試圖要求 AI 公司公布安全和兒童保護計劃的法案。

桑德斯和歐加修-寇蒂茲在國會山莊介紹他們的《數據中心暫停法案》

那是截至週日的局勢。接著，一家領先的 AI 公司，甚至可以說是「最強的」AI 公司，用行動——至少是數千億美元的行動——實踐了它的主張，並表示：不，AI 真的就是那麼危險，採取激進行動是合理的。

一個理性的人可能仍持反對意見，但再也無法理所當然地忽視關注 AI 風險的立場——除非你能解釋為什麼 Anthropic 要做出這項代價驚人的舉動。

五天前提出備受嘲諷的《數據中心暫停法案》的桑德斯表示：「當一家價值 3,800 億美元的公司認定危險太大而無法繼續時，或許是時候停止嘲笑我們這些一直說著同樣話的人了。」國會議員們受到觸動，這項曾經處於邊緣的法案在參議院新增了三名共同提案人，在眾議院新增了五名。雖然人數不多，但與過去 48 小時內從零開始的增長相比，這是一個顯著的進步。

「你應該聽聽他們的說法」這種態度正席捲華盛頓，決策者們正爭先恐後地理解這一發展。預計國會將與 Anthropic 領導層及 AI 領域的其他知名人物舉行聽證會。

Anthropic 的舉動可能也會為那些在右翼中關注 AI 風險、受到白宮壓力的邊緣聲音提供掩護，例如猶他州州長斯賓塞·考克斯（Spencer Cox）、前共和黨策略師布倫丹·斯坦豪瑟（Brendan Steinhauser）以及道格·菲菲亞等州議員。隨著眾議院和參議院可能在期中選舉中翻盤，更劇烈的變化可能即將到來。

反應不僅限於美國：全球各地都出現了一連串的反應。

聯合國秘書長古特瑞斯已呼籲將 7 月的日內瓦對話提升為緊急部長級會議，並引用 Anthropic 的暫停作為進一步推動建立類似於國際原子能總署（IAEA）的 AI 機構的動力，後者是核不擴散的主要國際機構。

歐盟 AI 辦公室宣布加速審查《歐盟人工智慧法案》中關於尖端模型的條款，並邀請 Anthropic 向獨立科學小組進行簡報。自 2024 年起運作的英國 AI 安全研究所已提議獨立驗證 Anthropic 的安全疑慮。

英國、法國、德國、加拿大和韓國五國發表了一份聯合聲明，呼籲就尖端 AI 安全進行緊急談判，以在 2023 年簽署的《布萊切利宣言》基礎上，建立一個具約束力的尖端 AI 開發國際框架。聲明開頭寫道：「在布萊切利，28 個國家一致認為尖端 AI 構成了深刻風險。那是當時的擔憂聲明。今天，世界領先的 AI 公司之一已投入數千億美元來支持這份擔憂。現在是國際社會以行動匹配其勇氣的時候了。」

2023 年布萊切利 AI 安全峰會

或許最具意義的是，中國外交部發表了一份措辭謹慎的聲明，對 Anthropic 識別出的風險表示「深切關注」，並呼籲「在聯合國框架下加強安全 AI 開發的國際合作」。懷疑論者可能會說，無論中國是否打算放慢自己的 AI 發展，都會表達這種情緒，但這與中國在去年 9 月聯合國辯論中的姿態是一致的。在聯合國安理會的辯論中，美國是唯一反對 AI 國際協調的國家，白宮科技政策辦公室（OSTP）主任麥克·克拉齊奧斯（Michael Kratsios）明確拒絕了對 AI 的集中控制和全球治理。中國的誠意尚未經測試，但如果美國重新考慮，中國似乎願意回到談判桌前。

回到國內，可以想見競爭對手們一直在慶祝。OpenAI 執行長山姆·奧特曼在 X 上發帖稱：「我讚揚達里奧和 Anthropic 根據他們的良知和對人類利益的最佳信念採取行動。我們在 OpenAI 也致力於同樣的目標。幸運的是，我對我們的人員和創造造福全人類 AI 的方法充滿信心。如果任何 Anthropic 員工仍抱有同樣的希望，我們的門是敞開的——即使是那些曾經離開我們的人。」

Google DeepMind 的發言人表示，雖然該公司尚未遇到任何讓他們產生像 Anthropic 那樣程度疑慮的情況，但他們嚴肅對待此事，並正與 Anthropic 的研究人員進行對話，以了解促成暫停決定的風險。

xAI 負責人伊隆·馬斯克（Elon Musk）僅發帖稱：「呵呵，你可以信任 Grok。」

撇開輕浮的反應不談，繼續開發尖端 AI 的實驗室必須向公眾、政府及其員工提供一個令人信服的答案：為什麼他們能安全地做到 Anthropic 認為做不到的事。

比股市和政治法案更難追蹤的是公眾的反應。早在 3 月中旬，皮尤研究中心（Pew Research）的一項民調就發現，大多數美國人對 AI 的擔憂多於興奮，只有 10% 的人興奮多於擔憂。Anthropic 的暫停公告如何影響這一點尚不明確，但顯而易見的是，公眾一開始就比大多數 AI 公司和政府更具戒心。

在 Anthropic 宣布消息的三天前，探討 AI 危險問題的長篇紀錄片《AI 紀錄片》（The AI Doc）在國內影院上映。該片由曾憑藉《納瓦尼事件》（Navalny）獲得奧斯卡獎的丹尼爾·羅赫（Daniel Roher）執導，並由《媽的多重宇宙》和《納瓦尼事件》的團隊製作。與那些電影相比，《AI 紀錄片》最初在商業上慘敗，開映四天僅獲得 70 萬美元票房。自週一宣布消息以來，該紀錄片在週中出現了驚人的回升。

機器智能研究所（MIRI）的一位發言人證實，由 MIRI 的尤德科夫斯基（Yudkowsky）和索亞雷斯（Soares）撰寫的《紐約時報》暢銷書《如果有人造出來，大家都會死》（If Anyone Builds It, Everybody Dies），在出版數月後銷量也突然激增。

Anthropic 的公告引起了人們的注意，他們正轉向手邊的資源尋找答案。

阿莫代在《AI 紀錄片》中出現並說道：「我是否有信心一切都會好起來？不，我沒有。」

自公告發布以來，或許感到最欣慰的是那些一直呼籲放慢 AI 發展的人。事實上，就在公告發布的八天前，抗議者聚集在舊金山的 Anthropic 總部外。抗議者呼籲 AI 實驗室承諾在所有其他實驗室也暫停的前提下暫停開發。Anthropic 給了他們更好的回應：無條件暫停。

3 月 21 日，舊金山「停止 AI 競賽」遊行中的抗議者

當然，並非每個人都高興——尤其是在公司內部。並非 Anthropic 的所有人都支持這項決定。

正尋求其他機會的 Anthropic 工程師班·加德納（Ben Gardner）表示：「AI 是人類歷史上最重要的技術。我非常尊重達里奧和其他領導者，但我無法忍受在別人開發這項技術時坐以待斃。對我來說，那才是極度的不負責任。我很感激在那裡工作期間從優秀團隊中學到的一切關於 AI 和 AI 安全的知識，但如果有必要，我願意在其他地方發揮這些經驗。」

對於另一位員工來說，反對意見較少涉及意識形態。「我放棄了多個其他機會來到 Anthropic 工作。我搬了家，失去了伴侶。現在這一切都枯竭了？我的職位？我的股權？我不想撒謊。這很痛。這真的他媽的很痛。」

消息來源證實，幾名員工已經在 OpenAI 和其他實驗室進行面試。

然而，對於我們交談過的許多員工來說，痛苦是真實的，但可以接受。「我不想撒謊，看到我的股權價值蒸發感覺很糟糕。我本可以一輩子衣食無憂，本可以照顧我的父母、生病的手足和我的孩子。這真的很令人崩潰，」一位要求匿名的員工說。「當我第一次聽到這個消息時我很生氣——我們擁有世界上最好的研究人員和 Claude 來幫助我們——我們肯定能解決任何問題。但我認為對待如此強大的技術，謹慎是對的。我會睡得很安穩，因為知道我們沒有不負責任，我們選擇了做正確的事。如果那些恐懼是正確的，那麼，如果你死了，你也花不了那些股權。」

另一位員工分享道：「我有年邁且身體不適的父母。我一直期待 Claude 能賦予他們長久的健康，我擔心任何延遲都可能讓我永遠失去父母。這不僅僅是錢的問題。但我也有孩子，我認為有些風險我不願意拿他們的生命去賭。這很艱難，但我投了贊成票。」

「競賽過於危險」

直到現在，AI 競賽一直被描繪成不可避免且無法迴避的。如果我們不做，別人也會做。正義的一方不可能透過退縮、讓魯莽和不道德的參與者取得領先來獲勝。

Anthropic 決定質疑這種邏輯，而到目前為止，這似乎正在取得成果。市場做出了反應，政治家們動員了起來，公眾正在提出疑問。現在判斷這一舉動的最終影響還為時過早——或許競賽只會少了一個參與者繼續進行——但 AI 的論述似乎不太可能忘記，曾有一位產業領導者願意為了安全而冒著失去一切的風險。2,000 億美元不是公關噱頭，而是一個震天響的警鐘——而世界並沒有在警鈴聲中繼續沉睡。

參與討論