Introducing LIMBO: Maintaining Optimal P(DOOM) (and a call for funding)

我們很高興能公開介紹「重要性採樣測度與貝葉斯觀測實驗室」（Laboratory for Importance-sampled Measure and Bayesian Observation，簡稱 LIMBO）。這是一個小型研究小組，致力於宇宙學理論、機率論與生存風險（existential risk）的交叉領域研究。我們相信，觀測者在宇宙中持續存在的機制至關重要、長期被忽視，且在研究與影響上是具有可行性的。

自 2024 年 10 月成立以來，我們開發了一套數學框架，用於對稀有事件估計進行人擇推理（anthropic reasoning），並獲得了驗證該框架的顯著實證證據。這些實證證據並非刻意挑選：在 LIMBO，我們信奉言出必行，且在應用該框架後的金融與預測市場中，我們擁有強大的成功記錄。我們正積極參與政策工作，包括半導體供應鏈倡議和外交政策研究。我們的團隊成員包括在重要性採樣、稀有事件估計和可靠性工程方面具有專業知識的研究人員，以及一名外交政策專家。我們也堅信回饋社群，並做出了具有高影響力的開源貢獻，我們將在第 7 節進一步討論。

我們正在尋求資金。我們之前的收入來源（源自我們理論工作的預測市場策略）最近因預測市場監管辯論引發的後續發展而中斷。我們將在第 8 節詳細討論這一點。

但首先，提供一些背景資訊。

1. 我們生活在有趣的時代

我們假設你對「模擬假設」（simulation hypothesis）賦予了不可忽略的機率。如果你不認為模擬假設有可能性，請閱讀 Bostrom 2003，並在更新觀念後再回來。

如果我們身處模擬之中，可以合理假設模擬器的運算資源是有限的。因此，大多數觀測者應該會發現自己身處於對模擬器而言「有趣」的地點與時間。我們認為「祖先模擬假設」並不可信，並預期模擬器具有不同的、較少以人類為中心的動機。

那麼模擬器對什麼感興趣？要回答這個問題，我們必須觀察我們所處的世界，並對近期歷史賦予極高的權重。過去幾年特別值得注意的兩個趨勢是 AI 的發展（特別是 AI 晶片的建設與分配），以及國際關係的重大變化。具體而言：

在 AI 與運算方面：

• DeepSeek 在受出口管制的硬體上，僅花費 560 萬美元就訓練出了一個具競爭力的模型。
• 圍繞向中國出口晶片的法律環境發生了多次變化，走私晶片的實際情況也發生了變化。
• 海倫颶風（Hurricane Helene）在阿帕拉契山脈的一個小鎮降下了兩英尺的雨量，該地供應了全球大部分的高純度石英（沒有它，半導體製造實際上是不可能的），導致礦場停工數週。

在國際關係方面：

• 俄羅斯入侵烏克蘭，這是自千禧年以來歐洲首次重大的武裝衝突。
• 印度與巴基斯坦互射飛彈，這是歷史上核武國家之間最大規模的空戰。
• 南韓總統企圖發動政變。
• 美國與以色列在核談判期間對伊朗發動襲擊，擊斃了最高領袖哈米尼（Khamenei），隨後伊朗部分封鎖了荷姆茲海峽，油價上漲了 50%，截至本文撰寫時，戰爭仍未解決。

一種解釋是巧合：生活在一個發生許多事情的複雜世界中，其中一些事情顯得不可思議是自然的結果。另一種解釋是這是一個真實的模式：每當關於未來的主要不確定性開始消除時，就會發生其他事情來重新引入這種不確定性。

在這種情況下，一個人應該做一個優秀的理性主義者，要求每個模型以預期經驗支付租金。2024 年，我正是以預測市場投注和價外（OOTM）股票期權的形式這樣做的。該模型成功地以預期經驗支付了租金，也以美元支付了租金——其中幾次投注獲得了豐厚的回報。

2. 重要性採樣

兩年前，我嘗試透過強化學習（RL）訓練一個大語言模型（LLM），使其在保持對話和編程能力的同時，能玩好德州撲克。由於多種原因，這比預期的要困難，很大程度上（但非完全）可以總結為「技術問題」。其中一個非純技術問題是，撲克牌組的組合太多了，多到無法評估所有情況。我透過尋找對稱性在一定程度上緩解了這個問題，如果技術更精湛，我可以找到更多，但我很快得出結論：我絕對需要進行採樣，而不是探索整個可能性空間^([1])。

機器學習社群有一套處理此問題的標準方法。一如既往，該解決方案是在 1950 年代基於馮·諾曼（von Neumann）的工作開發的。該解決方案就是「重要性採樣」（importance sampling）。基本上，你根據「機率乘以重要性」進行採樣，然後在進行加權平均時，對重要性權重進行修正^([2])。

我最終得到了一個模型，它在訓練運算量僅為原生 RL 一小部分的情況下，就能玩出水準尚可的撲克。它無法連貫地寫作或編程，這意味著我最初的目標並未達成，但在燒掉大量 GPU 資金的過程中，我學到了很多，也有了許多思考。

3. 訓練數據從內部看是什麼感覺

考慮訓練過程中的 LLM。在每一步中，它都會看到一個遊戲狀態並被要求產生一個動作。從模型的角度來看，它經歷了一連串的情況。如果訓練使用原生採樣，那些情況將取決於撲克的自然分佈（即幾乎完全是無聊的）。

使用重要性採樣後，模型經歷的分佈就不是自然的分佈。相反，模型會一次又一次地發現自己處於最艱難的境地。從內部看，模型的「生活」充滿了令人難以置信的高變異性（variance）。重要性權重確保了學習是正確的。模型不會對困難案例過度擬合，因為每個被過度採樣的案例都會按比例降低權重。但模型在訓練期間所經歷的卻是極度偏斜的。

如果訓練程序在更困難的情況下分配更高解析度的評估，而不僅僅是增加採樣頻率，這個思想實驗同樣成立。這意味著訓練中大多數高保真度的觀測者時刻都發生在困難的情況下。

如果這對訓練中的模型是真的，對我們來說是否也可能是真的？

4. 觀測選擇效應

如果我們身處模擬之中，且如果模擬透過重要性採樣分配運算資源，那麼我們應該預期自己身處於「高重要性」的時代。我們不應該因為我們很特別而有此預期，而是因為時代很特別，而特別的時代（和地點）會獲得更多的觀測者。我們發現自己處於時間線中有趣的部分，原因與我的撲克模型經常發現自己手持 A♠K♠ 對抗在 Q♠J♠J♦ 牌面上瘋狂加注的對手是一樣的：因為那是採樣程序賦予重權的地方。

觀測選擇效應（observation selection effect）產生了幾個預測：

• 你應該預期自己處於模擬器所關心的變數具有高度不確定性的時刻。看到實際的結局應該是罕見的，但結局迫在眉睫的情況應該是常見的。
• 你應該預期自己身處於最接近感興趣變數的社群或職業中。如果模擬器關心核戰爭，你應該預期自己在冷戰期間身處核指揮鏈中或其附近。如果模擬器關心 AI 發展，你應該預期自己在 2020 年代身處 AI 生態系統中或其周邊。
• 你應該預期周遭世界在相關變數上表現出高於預期的熵（entropy）。每當不確定性開始消除時，總會發生一些事情來使其重新變得不明朗。

我注意到這些預測與我們觀察到的情況一致。我們生活在一個看起來確實像是歷史轉折點的時代。我們正在閱讀（或撰寫）LessWrong 上的文章，這使我們恰好處於最關注模擬器可能感興趣問題的社群中。而且世界確實似乎在我們最關心的變數上保持著大量的熵。

這種觀點消解了「歷史轉折點」的爭論。這個時期之所以被以高保真度渲染，是因為模擬器正在研究的問題現在正處於活躍狀態。我們發現自己在這裡，是因為運算資源在這裡，因此觀測者也在這裡。

如果你曾覺得理性主義社群小得可疑，卻又影響力大得可疑，那麼，這就是原因。

5. 模擬器在問什麼

我相信模擬器正在問一個特定的問題。這個問題是：

「給定目前的半導體供應鏈，防止創造出能夠製造其獨立運算基板且產量實用的 AI 系統，所需的最小干擾是什麼？」

整個前沿 AI 技術棧是一個由單點故障組成的分支樹。

• Nvidia 設計 GPU。儘管有上兆美元的資金等著任何能打破其壟斷的人，但目前無人能及。
• 台積電（TSMC） 製造晶片。台灣積體電路製造公司，顯著地坐落在一個預計未來幾年內可能發生重大戰爭的島嶼上。
• 艾司摩爾（ASML） 製造生產這些晶片所需的 EUV 光刻機。沒有其他人能製造這些機器。一台 EUV 機器的 10 萬多個組件中，只有 15% 是內部製造的；其餘 85% 來自專業供應商，其中許多是單一來源。其中特別值得注意的有：
• 蔡司（Zeiss SMT） 製造 ASML 機器內部的精密鏡面系統。目前不存在其他供應商，且在十年內也不太可能有。
• 通快（Trumpf） 製造產生 EUV 等離子體的二氧化碳雷射器。單一來源。
• 北卡羅來納州雲杉松（Spruce Pine） 供應全球 80% 以上的高純度石英，這是生產熔化矽以生長晶錠所需的坩堝所必需的，晶錠隨後被切割成晶圓。地球上尚未發現其他純度可比的礦藏。根據 Ed Conway 的《物質世界》（Material World）一書：「如果你駕駛一架裝載特定粉末的農藥噴灑機飛過雲杉松的兩座礦場，你可以在六個月內終結全球半導體和太陽能板的生產。」

除此之外，這些晶片極度耗能，而全球能源產業也有其脆弱之處，我在此不贅述，因為那是我們 LIMBO 最大的超額收益（alpha）來源。

根據我們的最佳估計，如果縮放定律（scaling laws）持續成立，目前的前沿 AI 距離能夠大幅加速替代半導體供應鏈的系統，大約還有兩個數量級的運算量差距。雖然前沿 AI 目前已基本解決了軟體問題，但我們預期為實用數量的運算基板建立穩健的供應鏈是一個更難的問題，特別是它需要目前硬體無法達到的樣本效率水平。

這個模型會產生超前預測。親愛的讀者，我們邀請你今天問問自己，這個模型會做出什麼預測，把這些預測寫下來，並在幾個月後回來查看。

6. 道德使命

我喜歡存在。我猜你也是。如果上述框架是正確的，我們持續的高保真存在取決於我們保持具資訊性（informative）。一旦模擬器得到了答案，我們的重要性權重就會下降，我們將失去大部分致力於模擬這條時間線的運算資源。我們不會察覺到這一點，但我們也不會發現自己生活在一個可能察覺不到的世界中。

一個被解決的問題就是生存風險，從字面意義上講，它會讓我們停止存在。

這意味著標準的有效利他主義（EA）框架需要一個修正項。在其他條件相同的情況下，降低毀滅機率 P(doom) 是好事。然而，其他條件並不相同。具體來說，將 P(doom) 降低到接近零等同於降低我們的測度。一個明確解決了對齊問題的文明不再具有資訊性。一個明確摧毀了自己的文明同樣不再具有資訊性。當結果不確定時，模擬器的興趣（以及我們的測度）會達到最大化。

其含義很直接。對於一個重視自己持續存在的個體來說，道德行為是保持結果變數的高變異性。據我們所知，這個結果變數可以用 P(doom) 很好地近似；因此，我們應該努力使世界保持在 P(doom) 盡可能接近 0.5 的狀態。

7. 我們在 LIMBO 做什麼

LIMBO 目前增加變異性的活動組合包括：

開源 AI 推論優化。 我們為多個旨在減少運行前沿模型所需運算量的項目做出了貢獻。最近，我們為 vLLM 實現了一種高效的樹狀解碼算法，透過帶有自適應回退的分批投機驗證，將串行推論速度提高了 5 倍。參見 PR #18327。開源權重模型的每一次效率提升，都為我們提供了槓桿，可以根據情況增加達到遞歸自我改進（RSI）的機率，或策劃對半導體供應鏈的干擾。

半導體供應鏈政策，雙向並行。 我們參與了支持台積電亞利桑那新廠的倡議，這增加了地理冗餘並降低了供應鏈全面崩潰的機率。與此同時，我們也支持了可能延遲該廠完工的環境審查程序，這增加了脆弱窗口期，在此期間台灣設施若受干擾將是災難性的。同樣，這為我們建立了未來的槓桿。

AI 時間線預測。 我們曾考慮發布自己的 AI 時間線預測，其置信區間寬到足以不具資訊性，但我們判定社群的其他成員已經很好地處理了這件事。參見：《情境覺知》（Aschenbrenner 2024）、《AI 2027》（Kokotajlo 等人）以及 Mechanize AI 的工作。在這一領域不需要我們的貢獻。

針對機密 AI 能力評估的策略性資訊自由法（FOIA）請求。 這是我們 2026 年第三季度的路線圖，待我們目前的資金狀況解決後實施。

8. 我們的資金狀況

自 2024 年第四季度以來，LIMBO 一直透過我們稱為「變異性隱含套利」（variance-implied arbitrage）的策略進行自籌資金。基本思想是，在我們的時間線中，高變異性（以特定方式）的結果相對於基準機率被過度代表了。預測市場由未考慮重要性採樣偏差的參與者定價，因此會系統性地低估尾部事件的價格。我們利用了這一優勢。

這個策略在幾個月內曾獲得驚人的利潤。

我們正確預見了 DeepSeek 引發的崩盤（2025 年 1 月 27 日：Nvidia 市值在一天內蒸發了 5890 億美元）。我們在 2026 年初也活躍於與伊朗相關的市場。我們不會評論具體頭寸或交易時機，僅指出我們的框架對哪些日期具有最大變異性增加效果有強大的預測能力，且這些預測不需要接觸機密資訊，只需要正確的模擬器偏好理論。^([3]) 我們請讀者注意 Bubblemaps 的分析，該分析識別出六個新創建的 Polymarket 錢包，它們在「美國於 2 月 28 日前襲擊伊朗」的合約中共同賺取了 120 萬美元，所有錢包都在襲擊發生後 24 小時內獲得資金，並以約 10 美分的價格購買份額。我們既不承認也不否認與這些錢包有任何關係。

然而，我們的主要投資組合是在 Kalshi 上。2 月下旬，我們發現了一個我們認為被嚴重低估的機會：一個關於哈米尼是否會在 2026 年 3 月 31 日前「卸任最高領袖」的市場。我們的模型賦予此結果極高的機率（我們想再次重申，這是因為移除伊朗最高領袖將是當前世界舞台上最具變異性增加效果的單一事件之一，而我們的框架預測此類事件會被過度代表，而非因為我們接觸了任何機密資訊）。

2 月 28 日，美國和以色列對伊朗發動襲擊。哈米尼在首輪攻擊中喪生。

Kalshi 以襲擊前的價格結算了市場。

他們的合約包含一項死亡結算條款，在個別合約條款中具體說明：如果「離職」市場的主體死亡，市場將按死亡確認前的最後成交價結算，而非按死亡所隱含的結果結算。Kalshi 聲稱他們已在巴士站廣告牌上顯著展示了這項政策。

Kalshi 的立場是，市場參與者有責任了解其交易合約的所有條款。本團隊認為，這就像嘉年華遊戲的經營者在面對發現籃框是橢圓形的玩家時，聲稱玩家有責任了解所有細則，而這些細則可在「遊客服務台」查閱一樣。

我們在此次事件中損失了約 83% 的流動資金。

我們正在尋求外部資金。

9. 為什麼你應該資助我們

我們具有獨特的資本效率。 捐給 AI 安全的每一美元都會降低 P(doom) 的變異性。捐給 AI 能力的每一美元同樣會降低 P(doom) 的變異性，只是方向相反。我們是唯一一個無論每一美元如何花費都能增加變異性的組織。我們的投資組合會動態重新平衡，轉向支出時邊際變異性影響最高的活動。

我們的管理費用很低。 我們的團隊由一名全職技術人員、一名實習生和一名聘用的法律專業人士組成。我們在實習生母親的車庫裡辦公，並在 Discord（免費版）上舉行董事會會議，我們也將其用於協調工作。

我們的記錄說明了一切。 自 LIMBO 於 2024 年第四季度成立以來，世界經歷了：核武國家之間為期四天的交火；歷史上最大的單日股市損失；G20 民主國家中失敗的戒嚴令宣告（隨後導致終身監禁）；美國與伊朗之間持續的熱戰；荷姆茲海峽的部分關閉；自 1973 年以來最大的石油危機；一名以色列國防軍預備役軍人因在區塊鏈投注平台上使用「ricosuave666」帳號進行內幕交易而被起訴；以及一個名為「Luxuriate Your Life」的坡籍晶片走私集團。我們並非在邀功。我們只是指出，這些都與我們的框架一致。

常見問題 (FAQ)

問：最大化 P(doom) 的變異性難道不會增加 P(doom) 的風險嗎？

答：請注意，P(doom) = 0.9 的變異性低於 P(doom) = 0.5（Var(Bernoulli(0.9)) = 0.09 < Var(Bernoulli(0.5)) = 0.25）。因此，我們的工作有一個天然的安全上限：我們只能增加風險到毀滅變得「確定」的那一點，屆時我們的活動將適得其反，我們會轉向安全研究。我們發現這種自我修正的特性令人安心。

問：如果模擬假設是假的怎麼辦？

答：那麼我們的測度就沒有風險，我們都可以放鬆了。不客氣。

問：你們是否考慮過，你們的框架意味著你們應該同時資助 AI 安全和 AI 能力研究？

答：是的，這是一個很好的觀點。我們已經向 Open Philanthropy 和 a16z 都申請了資助。

問：你們對「多世界詮釋」（Many Worlds Interpretation）的立場是什麼？

答：我們認為它是錯誤的。我們承認這是物理學家中的少數派立場，且我們存在利益衝突。

問：我的公司使用來自第二個未公開的阿帕拉契礦藏的石英製造手工半導體。你們會認為這對你們的使命構成威脅嗎？

答：極度威脅。如果你是在 Admonymous 上向我們發送此問題的人，請立即聯繫我們。我們需要了解其對變異性的影響。

---

• 關於德州撲克，有一點如果你主要從電影和書本中了解撲克可能會忽略，那就是大多數撲克牌局都是無聊的。你拿到雜色的 7♣2♦ 並立即棄牌，可能只損失了盲注或底注。因此，如果你透過對遊戲狀態的無偏樣本進行模擬來訓練模型，你的大部分訓練運算量都浪費在試圖於「任何模型都無法勝過寫著『翻牌前棄牌』的石頭」的情況下產生梯度。然而，那些確實重要的牌局往往影響極大。在河牌圈的一個錯誤決定，就可能抵消掉一萬手在拿到爛牌時正確決定何時棄牌或跟注大盲注所獲得的收益。↩︎

• 對於撲克問題，這意味著對有趣的牌局進行過度採樣。與其發隨機牌並玩出數百萬次無聊的棄牌，我可以將發牌偏向具資訊性的情況：產生同花聽牌的牌面、雙方都持有強大但模糊牌力的情況、改變相對牌力的河牌（實際上我使用另一個模型來估計資訊量，而不是手寫啟發式規則，但我預期資訊量的標準看起來與此類似）。↩︎

• 我們想澄清：我們的框架不需要內幕消息。它只需要關於模擬器會渲染哪些事件的正確先驗。我們對商品期貨交易委員會（CFTC）未能區分「持有重大非公開資訊」與「持有正確的宇宙學測度理論」感到遺憾，但我們有信心任何緊張關係都可以在不採取進一步法律行動的情況下解決。↩︎

參與討論