新的80k問題剖析：極端權力集中

我最近撰寫了 80k 關於「極端權力集中」的新問題概覽（在許多人的幫助下完成——請參見文末的致謝名單）。

這篇文章旨在系統性地介紹「AI 導致的權力集中」風險，即 AI 使得一小群人能夠對其他所有人累積巨大且不受監督的權力。這主要針對剛接觸該主題的人，但我認為這也是目前少數針對此整體風險進行綜述的文章之一，[1] 因此對其他人可能也有參考價值。

簡而言之，本文主張：

1. 自動化可能會集中「成事」的權力：透過降低人類勞動的價值、賦予擁有大量 AI 勞動力的少數群體力量，並可能給予單一 AI 開發者巨大的能力優勢（如果發生智能爆炸）。
2. 這可能透過以下幾種組合，導致前所未有的政治權力集中：
   • 人類蓄意為自己奪取權力（如 AI 輔助的政變）。
   • 某些人變得極度富有，以至於政府的激勵機制向其傾斜，或者他們的成長速度單純地超越了世界其他部分。
   • 人們理解現狀並為了自身利益進行協作的能力遭到侵蝕（無論是透過權力者的蓄意干預，還是更具突發性的動態過程）。
3. AI 導致的權力集中可能造成巨大且持久的傷害：使大多數人在政治上失去權力，並導致大規模的權力濫用。
4. 有方法可以降低這種風險，但目前投入的人非常少。

這是我目前對極端權力集中風險的最佳總結。我試圖保持平衡且不帶過多主觀偏見，但我預期許多人會對我的處理方式有異議。部分原因是人們認真思考極端權力集中的時間還不長，目前尚未形成共識性的思考框架。為了讓大家感受一下關於權力集中的不同觀點：

• 有些人傾向於將「人類權力集中」視為與「AI 奪權（takeover）」截然不同的風險。其他人則認為這種區分沒有太大意義，[2] 並將人類奪權和 AI 奪權都視為權力集中的形式。
• 有些人主要擔心一個或少數幾個人最終掌權的情境；其他人則同樣擔心成百上千的人擁有不受約束的權力。
• 有些人主要擔心追求權力的人蓄意奪權；其他人則更擔心經濟力量和激勵機制賦予少數人權力，即使這些人並非刻意追求權力。
• 在主要擔心蓄意奪權的人中，有些人主要擔心實驗室執行長統治世界，有些人則主要擔心國家元首這樣做。

因此，你不應將這份問題概覽視為權力集中問題的權威共識觀點——它更像是一個路標，是我嘗試對這項風險進行中期概述的最佳努力，我希望我們能（最好是很快地）對此有更清晰的理解。

關於極端權力集中，我希望我們能更深入了解的幾個重點：

1. 在對抗極端權力集中風險時，a) 奪權（powergrabs）、b) 逐漸失能（gradual disempowerment）動態、c) 智能詛咒（intelligence curse）動態的相對重要性。 [3] 人們通常致力於僅能解決其中一種威脅模型的干預措施。這或許沒問題，因為它們可能同樣重要。但也可能其中一個比其他重要得多，或者存在跨領域的干預措施，能同時應對所有模型且對不確定性更具韌性（我認為「透明化誰在使用多少算力、哪些 AI 能力」是一個很好的候選方案）。我希望能有更多關於這些不同威脅模型的相對重要性、它們如何互動，以及最佳干預方式的分析。

2. 認識論（epistemics）部分的現況
   我們在文章中納入的一點是「認識論干預」，即大多數人理解現狀並為了自身利益進行協作的能力遭到侵蝕。我認為這可能是一個極其重要的動態，且可能有一個較早的「不歸路點」：如果我們失去了理解現實的能力，我們可能也會輸掉所有其他的博弈。
   但我發現關於認識論干預具體如何發生、其嚴重程度，或我們如何阻止它的分析出奇地少。我希望只是我沒找到現有的優秀研究；但我認為更有可能的是目前這個主題的研究還不多，我認為這裡的進一步研究應該是高優先級的。

3. 極端權力集中壞在哪裡（雖然這點對我個人而言感覺沒那麼緊迫）
   雖然還有其他論點，但我目前個人最認同的是常識（「聽起來很糟！」）和美學（「我不喜歡一個由單一主導者掌控的宇宙」）的結合。但這非常模糊。
   也有一些「大腦洞」論點認為權力集中是好事（因為這是阻止 AI 奪權的唯一方法，或者因為任何獨裁者都會進行道德反思並最終追求善）。
   以及一些「大腦洞」論點認為它終究是壞事（因為如果你只有一個獨裁者，他們可能非常反常，或者未能進行道德反思，導致未來的絕大部分價值都流失了）。
   如果這個論點正確，那麼「奪權」看起來就是通往權力集中最重要的路徑（因為沒有奪權很難達到單人掌權）。即便如此，目前還不清楚防止奪權的最佳干預點是在後期（當它看起來更像奪權時），還是在早期（當它看起來更像對權力制衡的逐漸侵蝕時）。

（關於權力集中的更多思考，你可以收聽這集播客，Nora Ammann 和我討論了我們對此主題的不同看法。）

如果你對這些有任何想法，請留言分享！如果你想為這個領域做出貢獻，請考慮：

• 閱讀這份問題概覽，或分享給你認為會從中受益的人。
• 表達你對減少極端權力集中的興趣。[4]

感謝 Nora Ammann、Adam Bales、Owen Cotton-Barratt、Tom Davidson、David Duvenaud、Holden Karnofsky、Arden Koehler、Daniel Kokotajlo 和 Liam Patell 提供的評論、討論、異議和精神支持。

---

[1] 我認為《AI 輔助政變》、《逐漸失能》和《智能詛咒》是目前關於權力集中最好的研究作品，但它們都在分析情境空間的一個子集。我相信我的問題概覽也是如此——但它至少試圖涵蓋這些論文中的所有領域，儘管是在非常宏觀的層面上。↩︎

[2] 我聽過幾種關於這種區分的不同抱怨：

• 大多數奪權情境都會同時涉及人類和 AI 的權力追求，因此在當時看起來會很模糊。
• 即使最終明確是由人類或 AI 掌權，這也並非特別重要——無論哪種方式，我們都失去了未來的大部分價值。↩︎

[3] （這只是基於我喜歡的論文所做的隨機分類。如果這實際上不是劃分空間的最佳方式，我也不會感到驚訝，所以可能會有更好的版本來描述這個問題。）↩︎

[4] 這是由 Forethought 運行的表單，但我們與權力集中領域的其他研究人員保持聯繫，並打算在適當時進行轉介。我們不保證回覆每個人，但在某些情況下，我們可能提供資金、指導或其他形式的支持。↩︎