超人類主義時間線的安魂曲

世界曾是美麗，山巒高聳，
在遠古時代，墮落發生之前
納國斯隆德與剛多林的
強大君王，如今已越過
西方之海，消逝遠去：
在都靈的時代，世界曾是美麗。

J.R.R. 托爾金

我從未想過要從事 AI 安全工作。我從未被設計去思考超人工智慧，並試圖引導、影響或改變它們。我從未特別喜歡研究矩陣運算的特性、破解決策理論的假設，甚至不喜歡寫程式。

當然，我知道在最底層，位元和原子都是一樣的——因果律與資訊處理。

然而，我內心的一部分，那最浪漫也最天真的一部分，隱喻地認為，我們為了電腦而拋棄了細胞，而這就是我們的懲罰。

在我看來，我本應帶來輝煌的超人類主義未來（就其古典意義而言）。基因工程、神經裝置、DIY 生物實驗室——全力投入生物學，以非凡的努力、以狂妄的姿態投入其中，你知道的，對「無盡之形最美」感到敬畏，並受人類偉大宇宙命運的激勵，推動那自豪的開拓者精神等等。

換句話說，我本應推動生物技術型的奇點。那更有趣，發生致命危險的機率不高，而且不會把我及其他人類同胞排除在外。相反地，我們將乘著那股浪潮與之共同崛起。

那種感覺——隨著技術進步，你的主體性（agency）只會被放大，宇宙隨著時間推移會越來越關注你的元偏好（metapreferences）——這是我最懷念的感覺。

這一切現在就像是對遙遠、無憂無慮童年的回憶。

我在社交媒體上查看老朋友的近況。研究長生不老的人們仍在忙於他們的長生事業——那是更文明時代的遺物，彷彿我們的預期壽命不是以個位數的年份來衡量似的。他們成了另一個對比鮮明的提醒，提醒著我們現狀與夢想之間那巨大的鴻溝。

究竟是什麼時候開始出錯的？是 2019 年嗎？當時 COVID 將每個人推向社交媒體的深淵，而在那篇關於注意力（attention paper）的論文發表後，我們逐漸轉入了前奇點模式？當然，根據提早失敗定律，出錯的時間點應該更早。

是因為網路和社交媒體的興起，使得構建虛擬世界比工程化物理世界變得容易得多且更有回報，同時也摧毀了人類的認知能力嗎？

是 1971 年嗎？那一年實際工資與生產力脫鉤，整個廣泛物質進步的軌跡開始向下彎曲。

是鉛中毒嗎？當時整整一代人的認知能力被汽油中的四乙基鉛悄悄削弱，造成了我們甚至還不知道其完整後果的文明創傷。

是二十世紀的極權主義政權嗎？其暴行給了人類一個刻骨銘心的教訓：永遠不要嘗試承擔宏大的計畫，因為那種規模的野心會導致恐怖。

又或者，我們這些來自稀樹草原的猿類，根本就註定無法殖民超星系團，而我們觀察到的進步只是隨機的短暫向上波動，是理性的火星而非火焰？

十年前，在我快二十歲的時候，我還在舉辦關於神經技術和 CRISPR 的講座。那時的我哪裡知道！

十年前，我讀過《哈利波特與理性之道》（HPMOR），了解理性主義者，並試圖相應地優化我的思維，但我並不是特別關心 AI 對齊（AI alignment）的宏大計畫。

對那時的我來說，超人工智慧並不是一個需要解決的緊迫現實問題，更不是一個需要由我來解決的問題。它只是另一個美麗的故事——與消除衰老、神經接口、太空殖民、地球工程和基因增強一樣，是屬於另一個抽象的「酷炫超人類主義事物與概念領域」的居民。

當然，既然知道了我所知道的一切，邁出了第一步，我本可以邁出第二步，但那種幸福的技術愛好者狀態是一個強大的吸引子。純粹從智力上來說，從古典超人類主義和傳統理性轉向對齊問題可能並不難，但作為一個人，這很難做到——當技術周圍形成了一層積極的光環，當最有趣、最成功的人都持有這些觀點，當你不想在尊敬的人（頂尖科學家、技術企業家，甚至 AI 開發者本身）眼中顯得奇怪時。那不是溫水澡，而是一個黃金池。

而且，似乎在當時，我覺得「我應該研究哪些超人類主義事物？」這個問題可以，或者說應該，通過審美來解決。而從審美上看，生物技術更貼近我的心。

我那時在討論庫茲維爾（Kurzweil）的預測。然而，現在很清楚了（儘管當時並不清楚），我的大腦並沒有將其視為一件真正、切實發生的事情。現在我的大腦意識到了，我完全看出了其中的區別。

當然，即使在十年前，也已經太晚了。即便在那時，我也並非生活在超人類主義的時間線中，但我以為我是，儘管這種信念更多是關於我年少輕狂的事實，而非關於周圍現實的事實，但那種感覺是愉快的。

我從中吸取的第一個平凡教訓是：你可以比 99.9% 的人更正確，但仍然錯得致命。

二十歲時，我讀過波斯特羅姆（Bostrom）和文奇（Vinge）。我舉辦關於奇點的講座，我有足夠的智力和非從眾性，不在社會壓力下屈服，誠實地談論這個話題的重要性以及這一切很快就會成為現實的事實。但是，偉大的宇宙啊，我根本不知道自己在說什麼！我真的只是個孩子。我幾乎完全忽略了許多關鍵點——部分源於分析方法不夠嚴肅，部分源於無知，部分是因為某些事情在普通人類智慧水平上根本無法掌握。因此，儘管我對激進技術進步的想法持開放態度，但一個擁有超人工智慧的全面奇點在某種程度上似乎仍屬於科幻小說的範疇。顯然，對於每個超人類主義者來說，都有一種令其難以承受的變化速度。

然而，還有兩個更重大的教訓。

第一個是關於技術歷史是如何運作的。

飛機不是改良的鳥類，就像汽車不是改良的馬匹一樣。期望智慧領域會有所不同是愚蠢的。然而，當時仍有希望，而且這種希望並非完全沒有意義。當時推測，從頭開始設計智慧會比設計物理勞動裝置複雜得多，因此我們需要依賴進化已經創造出的東西，在其基礎上工作。這即使在現在聽起來也不瘋狂。只是現實有權做出不同的選擇，而且它確實這麼做了。

第二個教訓是關於真正的失敗是如何發生的。

恐龍輸給了其他動物，而不是輸給了，比方說，細菌。猿類輸給了其他靈長類，而不是爬行動物或鳥類。美洲原住民輸給了其他人類，而不是當地的捕食者。歐洲帝國輸給了其他歐洲帝國，而不是被他們殖民的民族。而超人類主義者輸給了其他進步主義者——也就是 AI 加速主義者——而不是傳統主義者或保守主義者。

所有關於保守派恐懼基因改造和控制網絡修改的抱怨，從一開始就毫無意義。從一開始，他們就從未有能力阻止任何事情。最危險的敵人存在於最強大的行動者之中，而不是意識形態最遙遠的人之中。每一場接續的戰鬥都是在前一輪的贏家之間進行的，它永遠不會重演之前的陣營分佈。

回想起來，這似乎顯而易見，但僅僅在五年前，這是多麼的不顯而易見！好吧，至少對我來說是這樣。

夜晚綻放著春天的芬芳——這總讓我感到年輕。這是回憶 2015 年的又一個理由。

我仰望星空。

我們本應殖民它們。我們那無數可能的曾孫輩的幽靈正從那裡注視著我。他們仍然是可能的，然而他們注視的目光中沒有希望或讚許，只有恐懼和蔑視。

即使是現在，我們轉向未來仍是可能的，或者說物理定律並不禁止這一點。我們可以重新分配人才、算力和資金來解決生物學問題，那樣就會有希望，有人類精神的自豪，未來將再次顯得真實存在。

我想回家。

討論