最近，我看著自己擁有的那唯一一雙雪靴，心想：「我大概再也不會買雪靴了。」我們所認知的世界可能撐不過十年，而我住在一個相當溫暖的地區。

I. 通用人工智慧（AGI）很可能在未來十年內實現

AI 研究社群基本上已達成共識，即 AI 將在未來幾十年內的某個時間點超越人類的能力。包括我在內的一些人認為，這很可能在這十年內發生。

II. AGI 之後的世界將變得無法辨認

假設 AGI 不會導致人類滅絕，我們甚至很難想像那時的世界會是什麼樣子。有些人嘗試過描繪，但許多嘗試為了讓這種世界更容易被想像，都預設了一些限制變革程度的假設。

Dario Amodei 最近在《慈悲恩典之機》（Machines of Loving Grace）中想像了一個 AGI 之後的世界。他預見了醫學的飛速進步、精神疾病的治癒、貧困的終結、世界和平，以及一個人類可能不再提供經濟價值的巨大轉型經濟。然而，在想像這個瘋狂未來的同時，他將寫作內容限制在足以讓大眾消化的「溫和」程度，因此甚至沒有假設在任何時間點會創造出超智慧（superintelligence）。他的願景只是人類等級 AI 出現後，事情可能變得多麼瘋狂的下限。

《仿真時代》（The Age of Em）的書封並不怎麼令人振奮，內容也是。 也許 Robin Hanson 在《仿真時代》中對 AGI 之後未來的想像最為接近。這本書甚至不是關於 AGI，而是關於人類意識上傳（human uploads）。但 Hanson 對人類上傳者之間動態的分析，其怪異程度恰到好處。在《仿真時代》中，人類上傳者運行著整個經濟，而生物人類則淪為退休的貴族階級，擁有巨額資本，被他們無法理解的奇蹟所包圍。上傳者的生活與我們認知的完全不同——他們大多數是其他上傳者的副本，被啟動一段短時間來執行某項任務，任務完成後便永久關閉。那些不願意在每次完成短暫任務後就死去的上傳者，會被那些願意的競爭下去，且數量遠遠落後。經濟的選擇壓力很快使地球上的人類人口（由於上傳技術，數量達數兆之多）回歸到馬爾薩斯陷阱狀態，大多數人口字面上都在工作到死。

Amodei 的情境是樂觀的，而 Hanson 的則沒那麼樂觀。他們的共同點是都想像了一個與我們現有世界截然不同的世界。但他們仍然不願探討 AI 最終將遠遠超越人類能力的可能性。也許關於超智慧之後的未來，永遠不會有好的文字探索。也許我們能看到的唯一稍微準確的未來願景，就是那個真正發生的未來。

III. AGI 可能導致人類滅絕

Amodei 和 Hanson 情境背後的主要假設之一，是人類能在一個能力遠超自身的物種被創造出來後倖存。在《慈悲恩典之機》中，機器顯然慈悲地愛著人類。在《仿真時代》中，上傳者保留人類主要是出於對財產權的持續尊重。

但人類的持續存在遠非定數。我們確保超智慧不會導致我們滅絕的最佳計畫，大概就是「使用更受信任的 AI 來監督較不受信任的 AI，形成一條從笨 AI 延伸到極聰明 AI 的長鏈」。除了這個計畫，我們沒有更多籌碼，而且這個計畫甚至不會自動發生。很有可能某些行動者如果在其他人之前實現了超智慧，基本上只會隨性而為，在沒有實質監督或對齊測試的情況下部署超智慧。

如果我們處在一個理性的世界，超智慧的到來將是每個人談論的核心話題，並且會有數百萬名科學家專注於確保超智慧的發展順利。到了一定程度後，人類只有在風險極低的情況下才會繼續推進 AI 進程。目前，全人類僅有幾百名 AI 安全研究員，他們正手忙腳亂地拼湊研究項目，試圖在超智慧到來前準備好至少一些基本的安全措施。這是一個相當糟糕的處境，我們作為一個物種無法活著走出來的可能性相當高。

IV. AGI 將打亂每個人的生活計畫

世界對一個能力遠超自身的物種即將到來有何反應？基本上毫無反應。別誤會我的意思，我們並非處在一個沒人關心 AI 的世界。AI 相關股票飆升，數據中心的建設可能是本世紀最大的基礎設施項目，AI 也是晚餐桌上的熱門話題。

但大多數人仍然不認真預期超智慧會在他們有生之年到來。許多選擇都假設世界將照現狀持續至少十年。買房、接受長期教育、買新車、投資退休計畫、再買一雙雪靴。如果超智慧在 10 年內到來，這些選擇就顯得毫無意義。

人們對生活有一種常見的規劃：上學、找工作、生孩子、退休，然後死去。但那個計畫不再有效了。處於生活計畫某個階段的人，可能無法在一個與我們相似的世界中見證下一個階段。每個人的生活計畫都即將被打亂。

這種前景可能令人恐懼或感到安慰，取決於一個人處於人生的哪個階段，以及超智慧是否會導致人類滅絕。對於退休人員來說，也許有機會再次變年輕的感覺很棒。我想知道中學生和高中生如果得知他們一直在準備的職業，在他們大學畢業時甚至可能不再存在，他們會作何感想。

這是最近一段關於物種記錄 AGI 的影片中獲得最多讚的評論及其回覆。我猜這些評論者都是孩子。這是一段關於 2027 年 AI 的 AI in Context 影片中獲得最多讚的評論。我知道我的感受。我曾希望在一個與我們相似的世界裡組建家庭。現在，我可能沒機會那樣做了。

V. AGI 在期望值上會改善生活

整個情況變得很複雜，因為我預期在這個世界的生活會比一個沒有近期 AI 進展的假設世界要好得多。

明確地說，我認為地球上每個人在 20 年內因為先進人工智慧而死亡的可能性大於 50%。但也有一定的機會，AI 會創造一個烏托邦，讓我們所有人都能活上數十億年，過著接近最完美的生活。

因此，從期望值的角度來看，我的預期壽命似乎長達數十億年，而我的預期一生幸福感極高。我非常幸運能出生在這樣一個時代，可以預期超智慧可能幫助我在烏托邦世界中隨心所欲地生活。在歷史的大部分時間裡，你很可能在 30 歲前死去，而且這並未伴隨著任何在烏托邦中長生不老的真實機會。

但很難完全用期望值來思考。如果有一個按鈕，有 60% 的機率會殺死我，有 15% 的機率會將我傳送到一個持續數十億年的烏托邦，儘管與過正常生活相比，其期望值極高，但我仍會非常害怕按下那個按鈕。

VI. AGI 可能讓人實現幻想

另一個複雜之處在於，假設人類在超智慧出現後倖存，技術很可能使人能夠實現幾乎任何幻想。因此，無論人們有什麼計畫被打亂了，他們只需步入超現實的模擬環境，就能體驗完成那些計畫的過程。

所以，如果我想在當前的世界撫養家庭，看著我的孩子從零開始探索世界，幫助他們成為好人，為什麼我不直接步入模擬環境在那裡完成呢？

對我來說，那感覺就是不一樣。叫我盧德分子（Luddite）也罷，但被銀盤端上來的模擬家庭生活感覺不那麼真實，也不像是我真正想要的東西。

那麼模擬的孩子呢？他們只是行屍走肉（zombies）嗎？還是能感受到快樂與痛苦、具有道德地位的真實人類？如果他們是道德主體，我會認為強迫他們生活在一個前烏托邦世界是一種罪行。當我在模擬中「死去」後，他們會怎樣？那個世界會繼續運作，還是他們會在接受簡短的奇點後公民課程（第一課標題為「你們的一生都是為了滿足某個人的幻想而編造的謊言」）後被撈出來放回基礎現實？

目前，我很確定我會投票支持將運行發生在前烏托邦世界的模擬定為非法，除非我們有非常充分的理由去運行它們，或者其中的居民只是行屍走肉。如果有機會為烏托邦人口增加一人，卻選擇為生活在糟糕得多的前烏托邦世界的人口增加一人，這看起來太不道德了。而我對撫養行屍走肉並不感興趣。所以我不預期會「生孩子」，無論是在這個世界還是下一個世界。

VII. 我仍在哀悼沒有 AI 的生活

許多事實同時成立：

• AGI 可能導致人類滅絕。
• AGI 可能讓我們在烏托邦中生活數十億年。
• AGI 將打亂大多數人的生活計畫。
• AGI 可能讓我們過上好得多的生活作為補償。

我對這整個情況感到相當矛盾：

• 噢不，我們可能都會死！
• 耶，我們可能住在烏托邦！
• 噢不，我們珍貴的生活計畫！
• 耶，烏托邦的生活會很棒！

我很慶幸自己生活在現在，而不是幾百或幾千年前。但如果人類在創造一個新的智慧物種時能更謹慎一些，那肯定會更好。即使「正常」的生活可能比我現實生活的期望值差得多，我內心深處仍有一部分希望事情能……正常一點。