Eliezer 難以傳授的理智之道

「你如何應對世界末日？」記者有時會這樣問我，而真正的答案是他們沒指望能理解、我也沒指望能在 30 秒內解釋清楚的事情，所以我通常會回答類似：「透過對戲劇化表現的極度厭惡，並記住這與我無關。」記者們同樣不理解這點，但至少我在這過程中沒浪費太多時間。

真正的 LessWrong 讀者有時也會問我，在情感上如何處理世界末日。

我懷疑更精確的答案可能沒有幫助。但 Raymond Arnold 認為我應該說出來，所以我就說了。

我再次強調，我不認為我的答案真的會有幫助。Ozy 寫得很睿智：「其他人可能就是沒有你的問題。」同樣地，我也沒有一堆別人的問題，而其他人也無法進行那些我已經練習到幾乎察覺不到的內部功能調用。我不指望我的理智維持方法能被幾乎任何人複製。我對聽聞這些方法是否有幫助感到悲觀。Raymond Arnold 既然要求我說，那我就說。

保持對類型的敏銳度 / 成為一個聰明的角色

我保持理智的第一個也是最古老的原因是：我是一名作者，且凌駕於套路（tropes）之上。在即將到來的世界末日面前發瘋，是一個套路。

我自覺地觀察那些存在於思維過程中的文化傳播模式，即所謂的套路——無論是在虛構作品中，還是在人們試圖圍繞自己的生活構建並強行套入的敘事中。

「隨著世界末日而發瘋」的這個套路，作為一名作者，這對我沒有吸引力，包括在我作為自己生命作者的角色中。這看起來顯而易見、陳詞濫調、平庸預料，且違背了撰寫聰明角色的理想。這其中沒有任何新鮮或有趣的地方。它既不誘惑我去寫，也不誘惑我去成為那樣的人。

放大自己對末日的痛苦，並將其轉化為更具文學戲劇性但選擇不當的行為，並不符合一個聰明主角的利益。這可能符合一個三流作者的利益，但對角色毫無幫助。理解這種區別是創作更聰明虛構角色的第一步。我使用一種類似且更古老的心理技能，來決定將哪些套路寫入「我自己」這個角色中。

這種感覺——我或許可以稱之為「對現實生活類型的敏銳度」——是我歷史上的起點；大約在九歲時，我開始選擇不成為那個無聊、顯而易見且戲劇化的 Eliezer Yudkowsky 版本——那是平庸作者在面對我的經歷時，會立刻對文學角色進行的模式補完。具體來說（儘管我預料這個細節對你們絕大多數人來說毫無意義），我決定作為一個相對聰明的孩子，我不會成為 Raistlin Majere，也絕不展現出一大堆相關的套路。

幾十年後，同樣的「道」也適用於我不去扮演記者夢想中的戲劇性角色——那是一個非常無聊且可預測的角色模式補完。當他們夢想出一個方便易寫的 Eliezer Yudkowsky，一個因為感知到世界末日正沿著預設軌道逼近而大聲疾呼、靈魂受盡折磨的角色時，我不配合。

「你如何應對？」記者有時會問我，現在有時他們自己也開始擔心了，想知道是否有應對的秘訣。但在今天，以及在 ChatGPT 出現之前幾乎總是如此，他們正計劃寫一個「以角色為中心的故事」，講述我的「受折磨靈魂」如何應對想像中的啟示錄，展示給他們的讀者看，就像父母帶孩子去動物園盯著奇怪的動物看一樣。我回答他們：「我對戲劇化表現極度厭惡」，但實際的答案是：「我是一個比你更好的作家，我決定不把自己寫成那個你寫起來既輕鬆又方便的、極其陳詞濫調的人。」

「因為世界末日而發瘋」會是一個無聊的套路，選擇它作為我真實自我的性格，有辱我的尊嚴。

別讓世界末日變成關於你的事

「你如何應對世界末日？」記者有時會問我，我時而回答：「透過記住這與我無關。」我預測他們沒指望理解我的意思，因為對他們來說，我是故事的主角，而他們從未想到外面還有整個星球也可以作為故事的主體。我認為在某種意義上，對大多數現代記者來說，地球本身並不是真實的存在。

記者在想像一個關於我的故事，關於我是否正在發瘋，這不僅是因為這是一個容易寫的陳詞濫調，還因為對記者來說，人格是唯一真實的東西。

這也是一種你可以拒絕的模式，當你在撰寫關於你自己的故事時；它不必是一個最終關於你的故事。它可以是關於人性、人文偏好和星系的故事。一個關於雪的句子是文字，由文字組成，但它是關於雪的。你是由你組成的，但你不必全然關於你自己。

如果我沉溺於世界末日對我情感上的衝擊，我就是在思考一件與「世界如何毀滅」相比，對我來說真的沒那麼重要的事情。擁有戲劇化的感受並不是我的核心——這也是為什麼我最終也沒有多少這種感受的原因之一；但無論如何，那都不是我的核心所在。

很久以前，久到你可能無法想像那時的樣子，不僅在 ChatGPT 之前，甚至在深度學習時代之前的幾年，有一個人認為他們完全有能力開發出通用人工智慧（AGI）。然後他們遇到了我；不久之後，他們開始為自己差點毀滅世界而感到痛苦萬分。他們真的離成功那麼近嗎？當然不是。但我對地位（status）的看法與大多數人不同，所以那部分——地位上的過度擴張——並不是讓我翻白眼的部分。這不是那種我認為該受譴責的認識論預測錯誤，不像一個「地位調節者」會將其視為世界上最糟糕的事；低估自己並不比高估自己更有美德。相反，我翻白眼的部分是一個更露骨的錯誤，完全獨立於他們可能無法自拔的認識論預測錯誤；這部分即使在他們真的差點毀滅世界的情況下也會是個錯誤。我翻白眼是因為他們現在找到了一種成為故事主角的新方式。

即使他們真的差點毀滅了世界，故事的主題仍不該是他們的內疚或遺憾，而應該是「差點毀滅了世界」。這就是為什麼在一個更真實且著名的案例中，杜魯門總統會感到憤怒，並在奧本海默對杜魯門大演內心戲後，叫那個「混蛋」滾開。奧本海默試圖讓核武器變成關於「奧本海默對協助製造核武器的悔恨」。這對我來說顯然令人反感；如果杜魯門也有幾乎相同的感受，我一點也不意外。

同樣地，我也沒有大肆表現出對自己青少年時期試圖加速自我提升 AI 開發的遺憾。那是個錯誤嗎？當然。我應該把它提升到我敘事的中心，好讓整件事變成關於我戲劇性的悔恨感受嗎？不。我有 AGI 的擔憂需要去處理。

我並沒有忽略對自己做錯的事情進行審查並更新我的準則；你們知道其中一些更新就是《序列》（Sequences）。但這與將自己重新定義為一個「戲劇性的、懺悔的罪人」，並因此成為故事的主體，是兩回事。

以廣義相似的方式：如果在某個時刻，你決定主導你持續體驗的敘事將是關於「你因為世界末日而發瘋」：哇，恭喜你，居然能讓世界末日依然以某種方式圍繞著你轉。

直接決定保持理智，並以此編寫你的內部腳本

我保持理智的第三個方法是，一個保持理智的指令性決定（fiat decision）。

我的心理景觀中包含這個選項；我選擇了它。

這一點是我更不指望會有幫助，或者能對應到大多數讀者任何可操作計劃的地方。

儘管如此，我還是會進入更多可能毫無意義的細節。

除了這是一個我可以隨便決定的事情外，我保持理智的決定也是透過「不將對未來發瘋的預期寫入我的內部腳本 / 偽預測性的世界模型（進而連接到動力輸出）」來實現的。

（坦白說，我預計幾乎沒人在讀完這些話後，能正確地將其識別為內部可見的心理現象；我擔心如果有人堅持要解釋它會發生什麼。認真的，如果你在內心沒有看到顯然像我所描述的現象，這意味著你沒有在看我所說的東西。不要強行解釋這些文字。如果你沒看到大象，不要搜遍房間的每個角落直到你找到某個可能勉強是大象的東西。）

如果你是我，早晨起床的方法之一是：觀察你動力計劃（motor plans）的內部方向，並在你待定的動力計劃中寫入「你幾分鐘後起床」的圖像，然後讓那個圖像被發送到動力輸出並發生。（澄清一下，我實際上很少這樣做；這只是一個有趣的事實，說明這是我克服起床慣性的一種方式。）

有很多鄰近的壞主意容易與此混淆。我上面描述的技巧感覺並不像是拼命地給自己打氣，並試圖相信我會立即起床，且概率高於以往的經驗。它不涉及對自己撒謊，關於我是否可能……