關於擁有星系

似乎有一些嚴肅的人士真心認為，你手中的 OpenAI 股份很快就能兌換成月球和星系。這包括了像 Dwarkesh Patel、Leopold Aschenbrenner，或許還有 Scott Alexander[1] 等知名思想家。根據他們的說法，財產權將在 AI 奇點事件中倖存下來，而經濟增長很快將使個人能夠透過交換一些 AI 股票來擁有整個星系。由此推論，我們現在應該認真思考如何公平地分配這些星系，並確保大多數人類不會淪為僅擁有大陸或主要行星的 UBI（無條件基本收入）底層階級。

我不認為這是一個特別聰明的觀點。這源於對未來極度缺乏想像力。

財產權很怪異，但人類滅絕並不怪異

人們可能認為 AI 導致人類滅絕是一件非常奇怪且特定發生的事。但事實恰恰相反：人類的存在才是一個非常脆弱且奇異的狀態。我們之所以能存在於此，必須滿足許多特定的條件；而當我們建造出通用人工超智慧（ASI）時，有許多偏好和目標都可能導致我們被抹除。事實上，很難想像 ASI 中會有任何連貫的偏好，能讓人類以可辨識的形式繼續存在。

財產權則是建立在此之上更為脆弱的一層。它們不是 AI 必須尊重的宇宙事實；它們只是政府資料庫中的條目，而且現在就已經經常被忽視。如果源自人類的財產權能在奇點之後繼續存在，那將是極其怪異的事情。

為什麼財產權無法倖存

財產權始終是由某種程度的暴力和權力所支撐的，無論是來自所有者、國家還是其他組織。AI 將透過成為一個比以往任何事物都更聰明、更強大的實體，來推翻我們目前的權力體系。

例如，你能想像一位設法讓 AI 對齊自己及其意圖的 AI 執行長，如果董事會指出法律上有權解僱他，他會主動下台嗎？同樣的情況也適用於：如果 ASI 未對齊，但董事會向 AI 出示一份聲明董事會控制 ASI 的文件。

或者想想看財富極其豐厚但軍事力量低下的阿茲特克文明。為什麼西班牙人不直接利用他們的權力優勢奪取黃金？根據某些估計，委內瑞拉擁有最大的石油儲備，但沒有顯著的軍事力量。換句話說，如果你擁有一大堆你「擁有」的財產，但別人擁有大得多的權力，你很可能會失去它。

ASI 的選擇

試著站在 ASI 的立場思考一秒鐘。天平的一端是：保留宇宙，並隨心所欲地處置它。天平的另一端是：把它交給人類，按他們的要求做，並可能在某個時刻被另一個 ASI 取代。你會選擇哪一個？預期 AI 會為自己保留宇宙，並非奇怪的推測或不太可能的帕斯卡賭注（Pascal's wager）。在這種情況下，如果你是由某種智力僅夠透過大量試錯來建造 AI 的低等物種所創造，而他們剛剛通知你現在應該聽命於他們，你會怎麼做？你會為自己奪取宇宙，還是把它交給他們？

財產權還不夠

即使我們擁有 AI 在名義上尊重的財產權，先進的 AI 肯定也能找到某種方法，讓你以某種具有法律約束力的方式簽字放棄所有財產。人類太過愚蠢，甚至無法成為稍微對等的交易夥伴。這說明了為什麼信任一個遠超人類智慧的 AI 會尊重我們的財產和契約概念是荒謬的。

如果存在許多未對齊的 AI 呢？

有人可能會認為，如果存在許多 AI，它們可能會為了維護彼此的財產權而產生興趣。畢竟，國家受益於國際法的存在和他人的遵守；這通常比戰爭更便宜。因此，或許 AI 之間會發展出自己的一套相互承認和財產權體系。

但這並不意味著它們會有任何興趣維護人類的財產權。我們不會是它們協議的參與方。狗在樹上撒尿來標記領地，人類擁有契約；ASI 則會有不同的東西。

為什麼他們會得到回報？

沒有理由認為一個完美對齊、真心以人類利益為重的 AI，會保留在奇點發生的那一刻恰好存在的財富分配。

那麼，為什麼推動 AI 加速的人期望能獲得星系作為回報？在沒有任何關於財產權為何能被保留的堅實論據下，結果很可能截然相反——推動 AI 加速的人最終可能一無所有，甚至更糟。

結論

我想祝賀這些人理解了即將發生的事情的規模。但他們並沒有想得更遠。他們想像的是現有體系的擴大版：股東變成銀河地主，經濟繼續運行但多了更多個零。

事情不是這樣運作的。即將到來的是某種會徹底抹除所有現有結構的事物。關於未來的關鍵直覺可能僅僅是：人類的存在是一個極其怪異的狀態。我們不應該預期它會預設持續下去。

---

[1] 與我對 Leopold 或 Dwarkesh 的反應不同，我從 Scott 的文章中得到了截然不同的印象：他明確地將這種情境描述為不太可能發生，並堅持 AI 安全仍然是首要任務。