避險與生存加權規劃

這篇文章原本並非打算作為熱門話題，但隨著 Claude Mythos 的系統卡（system card）發布，而且……好吧。

我多年前曾寫過關於決策分析的文章，當時通常聚焦於小情境中的原子行動。在現實世界中，人們在極大的情境中採取大量的行動，其中的不確定性不僅在於幾種後果中哪一種會發生，甚至在於究竟可能出現什麼樣的後果。^([1]) 處理計算限制成為了實踐智慧的主要部分，而非理想情況下的基礎數學。行動需要被視為投資組合的一部分；衡量結果時，應根據其對一系列中間變數（vector of intermediate variables）的影響，而非對單一效用的最終影響。啟發法（例如「一分預防勝過十分治療」）及其評估，往往比追蹤特定結果或為其分配機率更為重要。

特別是在金融市場中，人們經常談論「避險」（hedging）。例如，假設你是一位種植小麥的農夫，擁有以美元計價的貸款和支出。你可能會發現小麥價格的波動大於你的預期利潤，因此想將部分風險賣給商品交易員。（假設小麥售價在每英斗 4 到 8 美元之間，你預計種植 100 英斗，總成本為 550 美元。在中間情況下，你賺 50 美元；在最壞情況下，你損失 200 美元，且在約三分之一的情況下你會虧錢。）如果你下注小麥價格會走低，那麼當你的小麥便宜時，這筆賭注就會變得有價值；而當你的小麥盈利時，這筆賭注則會產生成本。這能平衡並平滑部分價格波動，讓你決定自己想承擔多少小麥價格波動的風險。（當然，這項服務是有代價的；商品交易員也需要獲得預期利潤，否則他們不會這麼做。）

同樣的推理也適用於物理世界。如果天氣預報說健行時有 10% 的降雨機率，而我決定帶一把傘，這在某種意義上就是「對雨下注」。如果天氣晴朗，我就輸了（我現在必須帶著一把毫無用處的傘），但如果下雨，我就贏了（我現在不會淋得那麼濕）。^([2]) 「直視黑暗」的行為——詢問事情可能如何出錯，以及哪些行動可以減輕錯誤——是避免災難或減輕其傷害的有用啟發法。

我應該指出，避險與改變涉及的百分比是不同的；透過重新安排健行時間，我可以影響下雨的機率；或者如果我部署了天氣控制系統（如早期的雲種散播），我也可以影響下雨的機率。這很重要，但不是本文的主題。

有些風險是無法有效避險的。假設我擔心美國政府決定違約其利息義務，因此我可能想以某種方式下注，在國庫券失去價值的世界中獲得回報。不幸的是，我基本上認為這樣的交易對手並不存在；在任何美國政府違約的世界中，金融體系基本上都會崩潰。^([3]) 這看起來更像是「帶把傘」，只不過傘變成了食物、黃金和槍枝。

而對於某些事情，根本沒有雨傘。

AI 2027 的時間線預測

儘管如此，思考少數結果仍是值得的。即使我最好的猜測是會發生一場對人類災難性的 AI 競賽，且我無法對結果產生太大影響，但在某些世界中，這並未發生。追求你能追求的價值，即使它只發生在少數世界中，因此我將許多目標和計畫視為為了生存而做的避險。^([4])

例如，我與配偶賣掉了我們的 AI 股權，部分原因是對該公司的具體看法，但主要是出於「生存加權」（survival-weighting）。在我們於 2040 年仍能活著享受這筆錢的世界中，那很可能是一個 OpenAI 股權因某種原因變得毫無價值的世界，因此在 2025 年將 OpenAI 單位換成現金是有意義的。^([5])

這並不是說你應該忽略改變機率的行動（例如，你可以在最近抗議停止 AI 競賽的照片中找到我），也不是說你不應該根據整體的生存機率來決定投入多少影響力（我最近玩了很多電動遊戲）。這是要說，即使是末日論者（doomers）也應該種下一些樹。

這是我在 2023 年初從果核培育出的兩棵酪梨樹，最近剛從盆栽移植到我的花園。酪梨樹通常需要大約十年才能結果。（而且與嫁接的分枝不同，嫁接可以預知果實品質，而從種子發芽的樹具有全新的基因，品質尚不可知。）

• ^(^)在無限計算的世界中，你可以使用類似所羅門諾夫歸納法（Solomonoff induction）的東西來考慮所有可能的結果，但我將專注於有限計算的背景，例如人類的決策。

• ^(^)請注意，雖然金融市場在某種意義上是「有效率」或「不可利用」的，因為商品交易員是老練的交易對手，但物理世界並非如此。有時你可以透過「帶把傘」之類的行為獲得巨大收益，因為世界並非存心要害你，或試圖從交易中奪走一半的收益。

• ^(^)例如，我幾年前研究過放空 Tether，並得出結論這基本上是行不通的，因為任何感興趣的交易對手，在我試圖獲得賠付的情況發生時，可能都已經崩潰了。

• ^(^)例如，對我而言，SHELTR 週末明確就是如此；「生物風險只佔我預期未來的幾個百分點，但這是我可以產生影響的幾個百分點。」結果證明這比我希望的更不具可行性，但仍值得研究。

• ^(^)目前看來，市場至少已經追上了我們的看法；遺憾的是，這僅僅是關於 OpenAI 和 Anthropic 相對價值的看法。

參與討論