讓良善征服一切其所能守護之物

認識論狀態： 西方所有的經典最終都必須在 LessWrong 的文章中被重新發明，所以今天我們要重新發明「現代主義」。

在我昨天的文章中，我說道：

或許，雄心勃勃、聰明且睿智的人讓世界變得比他們發現時更糟，最重要的方式就是：正確地洞察到世界的某些部分已經損壞，並在一面旗幟下統一各種力量來解決該問題——結果卻讓他們建立的東西脫離了掌控，並在其崩潰過程中，摧毀了比以往任何事物所能摧毀的還要多得多的東西。

我認為許多人非常合理地將此理解為對權力集中和權力累積的普遍警告。雖然我在寫那篇文章時確實有過這方面的思考，但現在我想擴展其對立面，這既是為了我自己的益處，也是為了那些在讀完昨天的文章後可能感到困惑的讀者。

---

前幾天，我正與 Eliezer 爭論一系列相關的想法和感受。在那種情境下，他對我說：

從我的角度來看，我的一生都是如此：當你舉起旗幟反對末日，瘋子就會聚集過來讓事情變得更糟；而除此之外的另一種選擇，始終是完全無人反對的末日。所以，沒錯，我想要一些除了「完全無人反對的末日」之外的東西。

---

你知道什麼事最讓我惱火嗎？那就是將「純真無邪」具象化為道德美德的理想。

正如我可能永遠不會停止每月至少引用一次的，Ozy Brennan 對此總結得最好：

許多深受過度罪惡感折磨的人，潛意識裡都有類似這樣的目標：

• 我不想讓任何人生氣。
• 我不想傷害任何人。
• 我想佔用更少的空間。
• 我想需要更少的東西。
• 我不希望我的身體有需求。
• 我不想成為負擔。
• 我不想失敗。
• 我不想犯錯。
• 我不想違反規則。
• 我不想讓別人嘲笑我。
• 我想成為一個方便的人。
• 我不想有令人不安的情緒。
• 我想停止產生感覺。

這些就是我所說的「死人的生活目標」，因為它們的共同點在於，最能實現這些目標的人是一具屍體。

屍體不需要任何東西，甚至不需要呼吸。屍體不會傷害任何人，不會激怒他人，不會失敗，不會犯錯，也不會違反規則。屍體沒有感覺，因此不可能產生不恰當或煩人的情緒。一旦葬禮安排妥當，屍體就會安詳地腐爛，不會給任何人增加負擔。

相比之下，看看其他一些目標：

• 我想寫一部偉大的小說。
• 我想成為孩子的好父母。
• 我想幫助他人。
• 我想加薪。
• 我想學習線性代數。
• 我想看過每一部拍過的超級英雄電影。
• 我不想死於癌症。
• 我不想世界在核火災中毀滅。
• 我不想我的貓被困在這棟著火的建築裡！啊啊啊！快把她救出來！

所有這些目標，死人都明顯做不到。除了羅伯特·喬丹（Robert Jordan）以外，屍體極少創作小說。他們的數學技能低於標準，而且作為父母，他們往往是不稱職的。他們「不死於癌症」的最佳策略是已經死於其他原因。讓我們記住，我們來到這裡不是為了保持純潔。我們來到這裡是要建造東西。去生活、去繁衍、去狂歡、去後悔我們的選擇，然後無論如何都要再做一次。去按照我們的形象重塑宇宙，因為宇宙的大部分似乎是由基本上惰性的電漿雲組成的，而你知道嗎，與基本上任何其他東西相比，惰性電漿雲真的很爛。

因此，在評估任何關於「不要征服宇宙」、「不要廣泛傳播良善價值觀」的呼籲時，我們必須記住，死人是很差勁的。如果我們得出的任何原則暗示「死掉比活著更好」，那麼我們幾乎肯定在某個地方出錯了，應該從頭再來。

---

隨信附上一封來自一位「愛哭鬼」科學家的信，我希望你能閱讀並與我討論。伯恩斯先生（Mr. Byrnes）派他到委員會參加原子彈測試。大約五、六個月前，他來到我的辦公室，大部分時間都在搓著手，告訴我因為發現了原子能，他的雙手沾滿了鮮血。

這是杜魯門總統回憶會見奧本海默時，後者抱怨自己在研發核武器中所扮演角色的情景。多年來，我一直在誰對誰錯的問題上反覆思量。

奧本海默製造了炸彈，結果他的發明遠遠超出了他的掌控，導致他在生命中的最後幾年裡，一直試圖避免與蘇聯進行核軍備競賽。但杜魯門比幾乎任何人更像是一個「在競技場中的人」。杜魯門不能退出，而搓手嘆息並不能免除他的責任。很容易想像杜魯門眼中的奧本海默：一個太過恐懼而不敢真正面對自己行為責任的人，一個不敢在既定的局面下盡力而為的人。

---

好吧，沒關係。我就直說了。我非常慶幸西方殖民了北美。美國的實驗是歷史上最偉大的成功之一，儘管它遠非完美。儘管發生了這一切，儘管有「血淚之路」（Trail of Tears），儘管天花蹂躪了這片土地，儘管有征服者、掠奪和強姦——是的，儘管有這一切，它仍然是值得的。美國是值得的。民主是值得的。

如果你面對美國殖民過程中的種種恐怖，你會選擇繼續前行嗎？還是你會搓著手，宣稱美國實驗是一個失敗，斷定人類或許根本不該掌握這種力量，然後退隱鄉間，否認其他男女正在為你做著那些骯髒的工作？

這並不意味著你應該將發生的一切合理化為正義。這甚至不意味著邊際努力不該花在倡導追究定居者和征服者的暴行責任，或是拼命設法防止瘟疫蹂躪土地。但如果你在看到恐怖時就想停止這一切，或者在你的象牙塔裡嘲笑邊境定居者，那麼我確實認為你站在了歷史錯誤的一邊。

這也不意味著你，在目睹了這一切恐怖之後，必須親自繼續前行。人的靈魂所能承受的有限，既然參與這些恐怖是某人必須付出的代價，那麼有足夠的靈魂可以分擔這份負擔。但不要把你的創傷和疲憊誤認為是智慧。

---

「我希望這件事不必發生在我的時代，」佛羅多說。

「笑死，」甘道夫說，「但它已經發生了。」

---

為什麼要捍衛殖民主義這種東西？為什麼要為 21 世紀最大的「大反派」站台？

聽進「不要征服你無法防禦的東西」很容易。沒有人會因為你沒有征服事物而責怪你。但在這個原則中隱藏著它的對偶：

「讓良善征服所有它能防禦的東西」

一個原則應該針對其最強大的反論點進行辯護，而我發現美洲的殖民化是這可能呈現出的樣貌中最有趣的例子之一。以及這值得我們走多遠。

也許你將界限劃在別處。對我來說，認為阻止那些早期定居者會更好是非常合理的。雖然很難想像產權能被直接尊重，也很難看出（考慮到當時的技術）我們如何能防止疾病蹂躪土地，但顯然我們可以做得更好。也許如果你阻止了第一批殖民者，投身於阻擋齒輪的轉動，我們本可以有貿易、移民以及西方與本土生活方式的逐漸融合，也許這會更好。

我目前不這麼認為，但這對我來說並非不可能。

---

我曾在競技場中戰鬥，我感受過手上的鮮血，見過盟友眼中瘋狂的光芒，我曾以為我征服的東西遠遠超過了我所能防禦的。

我也曾站在那個競技場中，為良善、正確和正義而戰，我看到我的盟友因為無法面對必須做出的選擇而放棄崗位。我抓住他們，搖晃他們，盯著他們的眼睛說：「儘管有破壞，這場戰鬥仍值得一戰，你竟敢現在離開我們。」

所以我說，不要征服你無法防禦的東西。但要幫助良善征服所有它能防禦的東西。

如果給予適當的支持，良善可以防禦相當多的東西。長期治理是可能的。美國即將迎來 250 歲生日。而這一切只需要一群年輕、極具反叛精神的人贏得一場革命戰爭，並深入思考如何不讓它偏離正義。天哪，那過程真醜陋。從一開始就很醜陋。天哪，它又是多麼美麗，一直到現在。

而其他時候，良善幾乎立即崩塌。有時你寫下了雄心勃勃的章程和「停止並協助條款」，並在董事會中塞滿了年輕、反叛、且至少在某種程度上深入思考^([1])如何不讓它偏離正義的人，結果（據我所知）它在接觸現實的瞬間就幾乎立即瓦解了。

未來的治理問題將不再是過去的治理問題。我可以在這裡分析美國建國與 OpenAI 成立之間所有的相似與不同之處，但 OpenAI 的治理不需要持續 250 年，而開國元勳們也不需要弄清楚如何應對一個被技術徹底改變的世界，以及如何將人類的未來移交給我們的繼任者。

我的猜測是，AI 很快就會保證你自己的過時，以至於你不需要擔心自己的退休問題，而繼承也不是需要解決的問題。你需要擔心的是你自己的腐敗、你的誘因，以及比歷史上任何對手都強大得多的對手。

關於如何保持機構和團體不偏離軌道，已經有很多論述，未來還會有更多。我希望將來能親自就此寫更多內容。

但在這裡，我唯一敢說且有時間說的是：成功是可能的，而完美並非標準。巨大的錯誤和搖搖欲墜的基礎可以在過程中修復。良善可以防禦很多東西。如果你能征服良善所能防禦的東西，你就應該去做。

• ^(^)與此相關，我確實認為我們更廣泛的生態系統在這個話題上犯下的最大錯誤之一，就是 OpenAI 的董事會成員不是全職董事。就像，天哪，在我看來，人們確實低估了這類事情的棘手程度，並且沒有投入與其難度成比例的資源。

如果你想從這篇文章中得到一個可操作的結論，我會建議確保 Anthropic 長期利益信託（Long Term Benefit Trust）的成員是全職的，並且在發現壞事發生時，處於一個真正能有所作為的位置。

參與討論