不要征服你無法守護的領地

認識論狀態： 西方所有的經典最終都必須在 LessWrong 的文章中被重新發明一次。所以今天，我們要重新發明聯邦主義。

很久很久以前，有一位偉大的國王。他以智慧和具備經濟素養的政策治理國家，隨之而來的是繁榮。鄰國的公民看到這一點，紛紛反抗他們的領導者，並組織起來加入這位偉大國王的王國。

雖然王國抵禦外部威脅的能力隨著每個加入的人而增強，但王國抵禦內部威脅的能力卻沒有。在一個命運交織的夜晚，國王咬下了一個被敵對貴族下毒的波隆那三明治。那位貴族隨即以已故國王之名，斬首了他的政敵。印有這位被譽為「偉大統一者」的英明國王肖像的旗幟，至今仍在那座由其繼任者以鐵腕統治的防禦城市中飄揚。

很久很久以前，有一位偉大的科學頭腦。她開發了一個新的理論框架，在當時最難的科學問題上取得了重大進展。看到她研究的前景，新的研究生、教授和企業研發團隊紛紛湧入這個領域，渴望解決新的開放性問題並在世界上留下印記。十年之內，一個充滿活力的新學術領域形成了，而她本人則是其中最受尊敬的成員之一。

雖然該領域解決難題的能力隨著每位新研究者的加入而增加，但該領域抵禦廣大學術生態系統制度誘因的能力卻沒有。素質低下的研究者看到了利潤豐厚的發表機會，開始在與她領域相鄰的較簡單問題上製造華而不實的結果，卻很少關注科學的嚴謹性。看到他們的成功，其他人也紛紛加入，被社交和經濟回報所吸引。由於她厭惡衝突，且不認為起訴這些人是她的職責，該領域中投機鑽營者的比例日益增加。

二十年後，她的科學領域已被無趣或無關緊要的研究稀釋，以至於最初的偉大問題仍未解決，陷入了官僚主義、體面政治和學術戰爭的泥淖。大多數早期因嚮往重大進展而加入的科學家，索性不再從事科學研究，轉向工業界。在歷史書中，幾乎沒有人記得她的名字。

很久很久以前，有一位偉大的倡議者。她圍繞著保護邊緣群體的權利建立了一場社會運動，經過多年的努力，她終於看到針對該群體最嚴重的歧視形式被定為非法，廣泛的社會共識也轉向尊重該群體的成員。

但在運動目標成功的同時，她也失去了大部分權威。由於不再有能提供給運動成員的動人願景，其他擁有願景的人變得更有影響力。雖然她仍被公認為運動的創始人，但大眾不再將她視為發言人。媒體總是去採訪那些觀點最激進、最不妥協的新一代魅力領袖。她無法承受在自己視為己出的運動中樹敵，因此即使私下不同意，她也會在公開場合支持這些新領袖的觀點。

十年後，她的社會運動變得如此專注於純潔性，並致力於清除其原始敵人的任何殘餘痕跡，以至於它所造成的傷害已實質上超過了它當初成立時要解決的問題。在歷史書中，她會被簡略地提及為替新黑暗時代奠定基礎的人之一。

---

很久很久以前，羅馬皇帝馬可·奧里略（他本人是一位偉大的將軍和領袖）於公元 180 年去世，由他的兒子康茂德繼位。歷史學家卡西烏斯·狄奧形容康茂德「對羅馬人來說，比任何瘟疫或罪行都是更大的詛咒」，事實證明他對角鬥士格鬥的興趣遠大於治理羅馬帝國。「羅馬和平」（Pax Romana）開始了漫長的衰落，進入三世紀危機，並標誌著羅馬帝國最終崩潰的開始。

很久很久以前，法國大革命席捲法國，為人民帶來了自由，並在一場前所未有的暴力浪潮中處決了腐敗的法國貴族。在不到十年的時間裡，革命中那些理想主義的領袖大多都死光了，被他們親手創造的政治機器處決。而在短短幾年後，拿破崙·波拿巴奪取了政權，並在接下來的十年裡在整個歐洲大陸發動侵略戰爭。

很久很久以前，李光耀將當時東南亞的一個小型區域貿易站建設成了現代新加坡。在他的領導下，新加坡的人均 GDP 在 30 年內增長了 30 倍。但李光耀已經去世，他的兒子剛剛將權力交給了黃循財——他並非李氏家族的成員。雖然新加坡在李顯龍的領導下繼續繁榮，但我發現自己非常擔心一旦新加坡的故事取決於第三代領導人時會發生什麼，並懷疑新加坡是否事實上已經登頂。

很久很久以前，喬治·華盛頓退休了。華盛頓是大陸軍將軍，他擊敗了英國軍隊，成功建立了獨立的美國，後來成為美國第一任總統。他在擔任兩任總統後自願放棄了權力。大不列顛國王喬治三世在聽到這個消息後稱他為「世界上最偉大的人」。有人說，這個決定單槍匹馬地拯救了美國的民主。

---

不要征服你無法防守的地方。

古典自由主義（這是我深表同情的一種哲學）的核心信念是：允許許多個人自由且自主地行動（特別是當他們被市場、民主程序和科學方法賦予力量時），往往會產生比中央權威所能產生的結果更好的結果。

或許，雄心勃勃、聰明且睿智的人讓世界變得比他們發現時更糟的最重要方式，就是正確地看出了世界的某些部分是如何破碎的，並在一個旗幟下統一各種力量來解決那個問題——結果卻讓他們建立的東西脫離了掌控，並在崩潰中摧毀了比以前任何東西都更多的東西。

---

我有時會考慮退出。當我這麼做時，我的朋友和同事往往反應困惑。「你怎麼會認為你所做的事對世界有害？難道你不認為你正在引導我們共同乘坐的這艘船走向好的方向嗎？你真的認為一個沒有 AI 安全運動、沒有 LessWrong、沒有有效利他主義（EA）的世界會更好嗎？」

在他們腦海中想像替代方案時，我只能想像他們看到的是一片巨大的空白，那裡原本應該有理性主義、EA 和 AI 安全。他們將我們現在的社群與虛無進行比較，並得出結論：即使其領導層有點崩潰，誘因有點混亂，這顯然仍比世界上沒有人在研究我們關心的事物要好。

但我擔心的是，我們征服了遠遠超過我們所能防守的領土。我和其他人在這個領域工作的替代方案並非虛無，而是一個破碎、功能失調且令人困惑的隱喻性城邦拼布，它幾乎做不了什麼，但至少當其中任何一部分失敗時，它不會全部一起垮掉，而且在其分散的本質中，它對掠奪者和反社會人格者提供的養分要少得多。

---

用「格魯格」（Grug）的語言來說： 聰明人看到大問題。通常自然狀態是許多小東西。聰明人把許多小東西變成一個大東西，用來對抗大問題。但後來壞人從聰明人手中奪走大東西，製造更多問題。或者大東西長出腿來打聰明人，卻沒讓問題消失。這很糟糕。也許把小東西扔向大問題，不製造大東西更好，即使解決問題較少。或者在製造大東西之前，先計劃好如何不讓大東西做壞事。

---

「但是莫洛（Moloch），我孤獨地坐在其中」

你會說：「那莫洛怎麼辦？」

「你的原則背叛了它自己。如果我們想要好的東西，我們就需要協調和合作。死亡最終會降臨到我們所有人身上，所以我們建立的任何東西都無法真正被防守。難道你看不出一家公司擁有一座湖泊所產生的魚，會比 20 家公司各自污染公地直到所有魚都死光要多嗎？難道你看不出讓 20 家 AI 公司競相衝向懸崖，會比讓一家明顯領先的公司更糟嗎，即使那家衝到頂端的公司可能會偏離其創造者的初衷？」

你知道，這很有道理。協調問題是真實存在的。我並不是說你不應該集中權力。

在這裡，我主張的是一個更狹隘的原則。關於自由與正義之間的權衡，關於小政府與大政府，已經寫了很多，也將繼續寫下去。我並不想涵蓋所有內容。

在這裡，我只是想強調一個在廣泛權衡中似乎都很穩健的單一原則：「如果你制定了一個涉及集中大量權力的計劃，特別是以善良和正義之名，請真正、切實地思考你是否能防禦該權力免受腐敗和對手的侵害。」

如果你可以，那就去做吧！當喬治·華盛頓下台時，他權衡了直接權力，轉而選擇了一個實際上能夠更長久地捍衛他所關心原則的系統，催生了大部分的西方民主。我很高興美國存在並覆蓋了幾乎整個北美大陸。它的領導者和創始人確實有一個計劃來捍衛他們所征服的領土，世界因此變得更好。

但如果你的計劃涉及在真理、善良和正義的旗幟下集結一群人，而你對「如何確保這些人保持在正確道路上」這個問題的回答是「他們會保持在正確道路上，因為他們將是追求真理、善良且公正的人」，或者如果你作為一個億萬富翁，分配財富的計劃是「好吧，我會雇一些人為我經營一個基金會，根據我的目標分配我所有的錢」，那麼我認為你將面臨糟糕的時光。

不要征服你無法防守的地方

參與討論