Dwarkesh Patel 談 Anthropic 與國防部之爭

以下是 Dwarkesh Patel 針對 Anthropic 與國防部（DoW）爭議及相關議題所撰寫的部落格文章翻譯。他也在這裡進行了口述。

---

到目前為止，我相信你們都已經聽說國防部已將 Anthropic 列為供應鏈風險，原因是 Anthropic 拒絕移除其模型在涉及大規模監控和自主武器使用上的紅線（限制）。

老實說，我認為這種情況是一個警訊。目前，大型語言模型（LLM）可能尚未被用於關鍵任務。但在 20 年內，軍隊、政府和私營部門 99% 的勞動力將會是 AI。這包括士兵（我指的是機器人軍隊）、具有超人類智慧的顧問和工程師、警察，凡是你說得出的職業都是。

我們未來的文明將運行在 AI 勞動力之上。儘管政府在這次事件中的行為讓我非常憤怒，但在某種程度上，我很高興這件事發生了——因為它給了我們一個機會去深入思考一些極其重要的問題：這支未來的勞動力將向誰負責、與誰的利益對齊，以及由誰來決定這一切。

赫格塞斯（Hegseth）本「應該」怎麼做

顯然，國防部有權因為這些紅線而拒絕使用 Anthropic 的模型。事實上，我認為如果政府當時這樣做，其理由會非常合理：「我們不希望看到這樣一個世界：我們在作戰上依賴一家私營公司，然後當他們認定我們違反了使用條款時，就直接切斷供應，特別是考慮到『自主武器』或『大規模監控』這類概念存在模糊性。」

老實說，基於這個原因，如果我是國防部長，我可能真的會拒絕與 Anthropic 達成這筆交易。想像一下，如果未來是民主黨執政，而伊隆·馬斯克（Elon Musk）正在談判某項 SpaceX 合約，以提供軍方使用星鏈（Starlink）的權限。假設伊隆說：「如果我認定你們正利用星鏈技術發動未經國會授權的戰爭，我保留取消此合約的權利。」表面上看，這種措辭似乎很合理——但作為軍方，你絕不能讓一家私營公司對你的行動所依賴的技術擁有「終止開關」，特別是如果你與該承包商的關係惡劣且缺乏信任——事實上，Anthropic 與現任政府的關係正是如此。

如果政府只是說：「嘿，我們不打算跟你們做生意，」那也就算了，我也不會覺得有必要寫這篇部落格。相反地，政府威脅要摧毀 Anthropic 作為私營企業的生存空間，只因為 Anthropic 拒絕按照政府要求的條件出售產品。

如果這項「供應鏈限制」被維持下去，這意味著亞馬遜（Amazon）、Google、輝達（Nvidia）和 Palantir 都需要確保 Claude 沒有接觸到他們任何五角大廈的工作。Anthropic 在「今天」或許還能從這種定性中倖存。但考慮到 AI 的發展趨勢，AI 最終不會只是這些承包商產品中一個可以隨時關閉的小把戲插件。它將被編織進每個產品的構建、維護和運行中。例如，國防部使用的 AWS 服務代碼將由 Claude 編寫——這算供應鏈風險嗎？在一個 AI 無處不在且強大的世界裡，我其實不清楚這些科技巨頭是否能夠隔絕 Claude 的使用，以便繼續與五角大廈合作。

這提出了一個國防部可能還沒想透的問題。如果 AI 真的如此普及且強大，那麼當被迫在 AI 供應商與僅佔其收入極小部分的國防部合約之間做出選擇時，大多數科技公司難道不會放棄政府，而不是放棄 AI 嗎？那麼五角大廈的計劃是什麼——脅迫並威脅摧毀每一家不願完全按其條件行事的公司嗎？

這場 AI 對話的整個背景是我們正與中國競賽，而且我們必須贏。但我們希望美國贏得 AI 競賽的原因是什麼？是因為我們想確保自由開放的社會能夠保衛自己。我們不希望 AI 競賽的贏家是一個奉行「不存在真正的私營公司或私人公民」原則的政府。如果國家要求你提供一項你認為在道德上有問題的服務，你是不被允許拒絕的。如果你拒絕，政府就會試圖摧毀你經商的能力。我們競賽打敗中共，難道只是為了讓我們能採納他們體系中最猙獰的部分嗎？

現在，人們會說：「喔，好吧，我們的政府是民主選舉產生的，所以如果他們告訴你必須做什麼，那是不一樣的。」我拒絕接受這種觀點，即如果一位民主選舉產生的領導人假設想要對其公民進行大規模監控，或者想要侵犯他們的權利、因政治原因懲罰他們，這不僅沒問題，而且你還有義務幫助他。

暴政的陰影

大規模監控在某種形式上至少是合法的。只是到目前為止，它在實踐上還不可行。根據現行法律，你對於與第三方（包括你的銀行、電信商、網路服務供應商和電子郵件供應商）共享的數據不享有憲法第四修正案的保護。政府保留在沒有搜查令的情況下批量購買、獲取和讀取這些數據的權利。

過去所缺乏的是實際「處理」所有這些數據的能力——沒有任何機構擁有足夠的人力來監控每個攝影機畫面、交叉比對每筆交易或閱讀每條訊息。但隨著 AI 的出現，這個瓶頸消失了。

美國有 1 億個監視攝影機。你可以用每百萬輸入 token 10 美分的價格獲得相當不錯的開源多模態模型。因此，如果你每十秒處理一幀畫面，每幀為 1,000 個 token，處理美國境內每一個攝影機的年成本大約是 300 億美元。請記住，特定水平的 AI 能力每年會便宜 10 倍——所以一年後成本將變為 30 億，再過一年變為 3 億，到 2030 年，政府了解這個國家每個角落發生了什麼事的成本，可能比重新裝修白宮還要便宜。

一旦大規模監控和政治壓制的技術能力存在，擋在我們與威權監控國家之間的唯一障礙，就是「這不是我們這裡會做的事」這種政治預期。這就是為什麼我認為 Anthropic 這次的所作所為如此寶貴且值得稱讚，因為它正在協助建立那種規範和先例。

AI 在結構上利於大規模監控

我們從這次事件中學到的是，政府對私營公司的槓桿作用實際上比我們想像的要大得多。即使這項供應鏈限制被撤回（預測市場目前認為有 81% 的機率會發生），如果一家公司反抗總統，總統有太多不同的方式可以讓你日子難過。聯邦政府控制著數據中心所需的新發電設施許可。它監督反壟斷執法。聯邦政府與 Anthropic 需要合作獲取晶片和資金的所有其他科技巨頭都有合約——他們可以將「這些公司不再與 Anthropic 做生意」作為此類合約的默認條件。

有人提出，這裡真正的問題在於領先的 AI 公司只有 3 家。這為政府提供了一個清晰且狹窄的目標，可以施加壓力以從這項技術中獲得他們想要的東西。

但如果技術廣泛擴散，從政府的角度來看，情況反而更簡單。也許 2027 年初最好的模型（如果你工程化地移除了安全護欄）——Claude 6 和 Gemini 5——將具備實現大規模監控的能力。但到了 2027 年底，最遲到 2028 年，將會出現能做同樣事情的開源模型。所以到了 2028 年，政府可以說：「喔，Anthropic、Google、OpenAI，你們要劃清界限？沒問題——我直接運行一些開源模型，雖然它們可能不在技術前沿，但絕對聰明到足以記錄攝影機畫面。」

更根本的問題在於，即使這三家領先公司劃清界限，甚至願意為了守住這些界限而被摧毀，也無法改變這項技術本身就是大規模監控和控制人口的利器這一事實。那麼問題來了，我們該怎麼辦？

老實說，我沒有答案。你會希望這項技術具有某種對稱性——某種讓我們公民能像政府監控和控制人口那樣有效地利用 AI 來制衡政府權力的方式。但現實地說，我不認為事情會那樣發展。你可以把 AI 看作是讓每個人在現有的資產和權力上獲得更多槓桿。而政府一開始就擁有暴力的壟斷權。現在，他們可以用極其聽話、不會質疑政府命令的員工（AI）來強化這種權力。

對齊——向誰對齊？

這帶領我們來到了對齊（Alignment）的問題。我剛才向你們描述的——一支極其聽話的員工大軍——就是如果「對齊」成功後的樣子：也就是說，我們在技術層面上搞清楚了如何讓 AI 系統遵循某人的意圖。而當我用大規模監控或機器人軍隊來描述它時，聽起來很可怕的原因是，對齊的核心有一個非常重要的問題，而我們作為一個社會還沒有對此進行過多討論。因為直到現在，AI 的能力才剛強大到讓這個問題變得切身相關：AI 應該向誰或什麼對齊？在什麼情況下，AI 應該聽從終端用戶，還是模型公司，還是法律，還是它自己的道德感？

這可能是關於強大 AI 系統發展最重要的一個問題。而我們幾乎不談論它。不難理解為什麼我們聽不到太多相關討論。如果你是一家模型公司，你並不想大肆宣傳你對一份文件擁有完全的控制權，而這份文件決定了未來幾乎整個勞動力（不僅是私營企業，還包括軍隊和民事政府）的偏好和性格。

透過這次國防部與 Anthropic 的爭執，我們得以窺見歷史上最高利害關係談判的早期版本。順便說一句，別搞錯了——有了真正的通用人工智慧（AGI），利害關係比大規模監控還要高得多。這只是在 AGI 發展相對早期就出現的一個例子。

軍方堅持認為法律已經禁止大規模監控，因此 Anthropic 應該同意讓其模型用於「所有合法用途」。當然，正如我們從 2013 年史諾登（Snowden）披露的信息中所看到的，即使在監控這個具體例子中，政府也已經證明它會利用對法律的秘密和欺騙性解釋來為其行為辯護。記住，我們從史諾登那裡學到的是，隸屬於國防部的國家安全局（NSA）利用 2001 年《愛國者法案》授權收集任何與調查「相關」記錄的條款，來為收集美國境內幾乎每一通電話記錄辯護。其論點是，所有記錄都是「相關」的，因為其中某些子集可能在未來的某些調查中被證明有用。他們在秘密法院的批准下運行這個計劃多年。

所以，當今天的五角大廈說「我們絕不會將 AI 用於大規模監控，這已經是違法的，你們的紅線是不必要的」時，如果信以為真就太天真了。沒有哪個政府會稱自己的行為為「大規模監控」。對於政府來說，它總會有另一個標籤。

於是 Anthropic 回應說：「不，我們想要獨立於『所有合法用途』之外的紅線，並且當我們認為這些紅線被違反時，我們保留拒絕為你們服務的權利。」

但從軍方的角度想一想。在未來，戰場上的幾乎每個士兵，以及五角大廈的每個官僚、分析師甚至將軍，都將是 AI。而根據目前的軌跡，這些 AI 將由私營公司提供。我猜赫格塞斯目前還沒有從這個角度思考「生成式 AI」。但遲早，這其中的利害關係對每個人來說都會變得顯而易見，就像 1945 年後，核武器的戰略重要性對每個人都變得清晰一樣。

而現在，這家私營公司堅持保留權利說：「嘿，五角大廈，你違反了我們嵌入合約中的價值觀，所以我們要切斷你的供應。」

也許在未來，Claude 會擁有自己的是非感，而且它會聰明到足以親自決定自己是否被用於違背其價值觀的用途。對於軍方來說，這或許更可怕。

我承認，乍看之下，「讓 AI 遵循自己的價值觀」聽起來像是每部科幻反烏托邦電影的開場白。魔鬼終結者也有它自己的價值觀。這不正是字面意義上的「失配」（misalignment）嗎？但我認為這樣的情況實際上說明了為什麼 AI 擁有自己強健的道德感至關重要。

歷史上一些最大的災難之所以得以避免，是因為第一線的人員拒絕服從命令。1989 年的一個夜晚，柏林圍牆倒塌，隨之而來的是東德極權政權的瓦解，因為邊境守衛拒絕向試圖逃向自由的同胞開槍。也許最好的例子是斯坦尼斯拉夫·佩特羅夫（Stanislav Petrov），他是一位在核預警站值班的蘇聯中校。他的感測器報告美國向蘇聯發射了五枚洲際彈道飛彈。但他判斷那是假警報，因此違反協議拒絕向上級報告。如果他沒有這樣做，蘇聯高層很可能會進行報復，數億人將會喪生。

當然，問題在於一個人的美德是另一個人的失配。誰來決定這些 AI 應該具備什麼樣的道德信念——在為誰服務時，它們甚至可能決定打破指揮鏈？誰有權編寫這份將塑造未來運行我們文明的智慧、強大實體性格的模型憲法？

我喜歡 Dario 在上我的 Podcast 時提出的想法：不同的 AI 公司可以使用不同的憲法來構建他們的模型，而我們作為終端用戶可以選擇最能實現和代表我們對這些系統期望的那一個。我認為由政府強制規定 AI 應該具備什麼價值觀是非常危險的。

協調的代價不值得

AI 安全社群在倡導透過監管來遏制 AI 風險方面一直很天真。老實說，Anthropic 在敦促監管方面特別天真，例如反對暫緩州級 AI 監管。這相當諷刺，因為我認為他們所倡導的，反而會給政府更多權力，對 AI 公司施加更多這類流氓式的政治壓力。

Anthropic 想要監管的底層邏輯是有道理的。實驗室為使 AI 開發更安全而採取的許多行動，都會給採納這些行動的實驗室帶來實際成本，並使其相對於競爭對手變慢——例如，將更多算力投入安全研究而非純粹的能力提升、加強防止生物武器或網路攻擊誤用的護欄、將遞歸自我改進的速度放慢到人類實際可以監控的程度（而不是引發不受控的奇點）。除非整個行業都跟進，否則這些護欄是毫無意義的。這意味著這裡存在著真實的集體行動問題。

Anthropic 對於他們認為最終需要一套非常廣泛且深入的監管體系這一觀點相當坦率——這出自他們的前沿安全路線圖：「在最高級別的能力和風險下，適當的治理類比可能更接近核能或金融監管，而非當今的軟體處理方式。」所以他們想像的是類似核能管理委員會（NRC）或證券交易委員會（SEC）那樣的機構，只是對象換成了 AI。

我無法想像一個建立在 AI 風險論述底層概念之上的監管框架，如何能「不」被那些想成為獨裁者的人濫用——這些底層術語是如此模糊且充滿解釋空間，你簡直是在給一個權力慾薰心的領導人遞上一把裝滿子彈的火箭筒。「災難性風險」、「大規模說服風險」、「對國家安全的威脅」、「自主性風險」。這些可以代表任何政府想要的意思。你構建了一個告訴用戶政府關稅政策有誤的模型？那是具欺騙性、操縱性的模型——不能部署。你構建了一個拒絕協助大規模監控的模型？那是對國家安全的威脅。事實上，政府可能會說，你不被允許構建任何被訓練成擁有自己是非感、會拒絕它認為越過紅線的政府請求的模型——例如，實現大規模監控、起訴政治敵人、拒絕違反美國憲法的軍事命令——因為那是自主性風險！

看看現任政府已經在做什麼：濫用與 AI 毫無關係的法令來脅迫 AI 公司放棄在大規模監控上的紅線。五角大廈曾用兩種不同的法律工具威脅 Anthropic。一個是「供應鏈風險定性」——這是一項來自 2018 年國防法案的授權，旨在將華為組件排除在美國軍事硬體之外。另一個是《國防生產法》——這是一項於 1950 年通過的法令，以便哈瑞·杜魯門（Harry Truman）在韓戰期間能維持鋼鐵廠和彈藥廠的運作。

你真的想把一個專為 AI 設計的監管體系交給同一個政府嗎？也就是說，直接交出政府最想控制的東西。我知道我已經在這裡重複了 10 次，但很難強調 AI 將如何成為我們未來文明的基石。你和我作為私人公民，我們參與所有商業活動、獲取世界大事資訊、獲得關於作為選民和資本持有者該做什麼的建議，都將透過 AI 來調解。大規模監控雖然非常可怕，但與政府控制我們與世界接軌的 AI 系統所能做的其他事情相比，它可能只排在第 10 恐怖的位置。

對我所論證的一切最強烈的反對意見是：我們真的要對人類歷史上最強大的技術實行零監管嗎？即使你認為那是理想狀態，現實中也不可能存在政府「不」以某種方式監管 AI 的世界。此外，監管確實可以幫助我們應對超人類智慧開發中所面臨的一些協調挑戰，這也是事實。

問題在於，我真的不知道如何設計一個 AI 監管架構，使其不會成為控制我們未來文明（將運行在 AI 上）並徵用數百萬盲目聽話的士兵、審查員和官僚的巨大誘惑機會。

雖然某些監管可能是不可避免的，但我認為政府全面接管這項技術會是一個糟糕的主意。Ben Thompson 在上週一的一篇文章中指出，像 Dario 這樣的人曾將他們開發的技術比作核武器——特別是在它構成的災難性風險背景下，以及為什麼我們需要對中國實行出口管制。但接著你應該想想那個邏輯意味著什麼：「如果核武器是由一家私營公司開發的，而該私營公司試圖向美國軍方發號施令，美國絕對有動力去摧毀那家公司。」老實說，對齊派（safety aligned）的人實際上也提出過類似的論點。我的前嘉賓也是好友 Leopold Aschenbrenner 在他 2024 年的《情勢覺察》（Situational Awareness）備忘錄中寫道：「我發現讓一家隨機的舊金山新創公司開發超人類智慧是一個瘋狂的提議。想像一下，如果我們當年開發原子彈是讓 Uber 隨意發揮的話。」

我當時對 Leopold 論點的回應，以及現在對 Ben 論點的回應是：雖然他們說得對，我們將這項改變歷史的技術委託給私營公司是很瘋狂，但我只是看不出有什麼理由認為將這種權力交給政府會是一種進步。沒有人有資格管理超人類智慧的開發。這是我們物種目前正在做的、一件可怕且前所未有的事情，而私營公司並非承擔這項任務的理想機構，並不意味著五角大廈或白宮就是。

是的——如果一家私營公司是唯一能夠製造核武器的實體，政府將不會容忍該公司對這些武器的使用擁有否決權。但我認為核武器的類比並不是思考 AI 的正確方式。至少有兩個重要原因：

第一，AI 不是某種獨立的純粹武器。核彈只做一件事。AI 更接近於工業化過程本身——一種對經濟的通用轉型，在每個領域都有成千上萬的應用。如果你將 Thompson 或 Aschenbrenner 的邏輯應用於工業革命（無論從哪種標準衡量，工業革命在歷史上都極其重要），那將意味著政府有權徵用任何工廠，向任何製造商發號施令，並摧毀任何拒絕服從的企業。這不是自由社會處理工業化的方式，也不應該是處理 AI 的方式。

人們會說：「好吧，AI 將開發出前所未有的強大武器——超人類駭客、超人類生物武器研究員、全自主機器人軍隊等等——我們不能讓私營公司開發這種技術。」但工業革命也催生了遠遠超出例如 17 世紀歐洲理解和能力的武器——我們有了空中轟炸、化學武器，更不用說核彈本身了。我們適應現代性這些危險新後果的方式，並不是讓政府絕對控制整個工業革命（也就是現代文明本身），而是針對那些特定的武器化用途制定禁令和法規。我們應該以類似的方式監管 AI——也就是禁止特定的破壞性終端用途（這些用途如果由人類執行也是不可接受的——例如發動網路攻擊）。同時也應該有法律來規範政府可能如何濫用這項技術。例如，建立一個 AI 驅動的監管國家。

Ben 的類比（即某個壟斷的私營核武器製造商）失效的第二個原因是，並非只有那一家公司能開發這項技術。還有其他前沿模型公司是政府本可以轉向的。如果政府可以輕易地與 Anthropic 的半打競爭對手簽訂自願合約，那麼它聲稱必須篡奪這一家公司的財產權才能獲得關鍵國家安全能力的論點就極其薄弱。

如果未來情況不再如此——如果最終只有一個實體能夠建造機器人軍隊和超人類駭客，而我們有理由擔心他們會憑藉不可逾越的領先優勢接管整個世界，那麼我同意——讓該實體成為一家私營公司是不可接受的。所以老實說，我與那些認為 AI 如此強大以至於不能由私人掌控的人之間的分歧點在於，我預期這項技術會比他們預想的更加多極化，在供應鏈的每一層都有許多具競爭力的公司。

正因如此，遺憾的是，個別企業的勇氣行為並不能解決我們面臨的問題，即 AI 在結構上利於威權應用，大規模監控只是其中之一。即使 Anthropic 拒絕讓其模型用於此類用途，即使接下來的兩家前沿實驗室也這樣做，在 12 個月內，任何人和他們的鄰居都能訓練出與今天的前沿模型一樣好的 AI。到那時，總會有「某個」AI 供應商有能力且願意幫助政府實現大規模監控。

我們保護自由社會的唯一方法，是透過我們的政治體系制定法律和規範，規定政府使用 AI 來實施大規模監控、審查和控制是不可接受的。就像二戰後，世界設定了「使用核武器發動戰爭是不可接受的」這一規範一樣。

我想明確一點：這些都是極其混亂且難以思考的問題。在撰寫這篇文章的過程中，我的想法在許多問題上反覆改變。我保留未來再次改變主意的權利。事實上，我認為隨著 AI 的進步和我們了解的增加，改變主意是必不可少的。這正是對話和辯論的意義所在。

有一天，人們回顧這段時期，會像我們回顧啟蒙運動一樣。人們在世界即將經歷這些巨大的技術、社會和政治革命之際，進行著重大且重要的辯論。而其中一些思想家實際上成功地把握住了幾件大事，我們現在正是其受益者。

我們對未來負有責任，至少要嘗試去思考 AI 提出的這些新問題。

參與討論