關於做大餅的思考：權衡整體利益與份額分配

最近我和一些朋友在比較「做大餅」（growing the pie）的干預措施與「增加朋友在大餅中的份額」的干預措施，起初我們大多忽略了一些反對後者類型的普遍考量。

1. 決策理論的考量

這個世界充滿了擁有不同價值觀、為各自目標努力的人；每個人都可以選擇利用自己的資源來增加大餅的總體規模，或是增加自己在大餅中的份額。所有人顯然都會更偏好一個資源被用於增加大餅規模的世界，這為每個個體進行合作提供了許多令人信服的正當理由。……透過增加大餅的規模，我們創造了一個對平均而言更好的人類世界，而從無知之幕（veil of ignorance）背後看來，我們應該預期其中一些收益會歸於我們——即使我們事後得知事實並非如此。……基本直覺在囚徒困境中已經可以找到：如果我們有機會為了自己的利益而讓同伴承擔巨大成本（而同伴也有類似的機會），我們應該這樣做嗎？如果同伴是我們自己的完美副本，在 X 秒前創建並從那時起過著獨立的生活呢？在我們背叛之前，X 必須有多大？如果同伴沒有類似的機會，或者如果我們可以在做出選擇之前看到同伴的選擇呢？對這類情景的思考往往會對簡單化的決策理論說明產生壓力，而研究相關的數學並看到連貫的替代方案，使我開始非常認真地對待它們。我經常會在沒有現實回報希望的情況下在囚徒困境中選擇合作，我認為同樣的推理可以應用於（甚至更強烈地應用於）群體層面。——Christiano

我認為，意識到你的行為與其他宇宙中的外星人相關聯（部分原因是你處於他們的模擬中），會使這種考量變得更加強大。總體而言，我不知道它有多強，但它可能非常強大。

2. 務實的考量

我很高興能致力於一個大多數人都認為是好的事業，而不是試圖以犧牲他人的代價來扭曲未來的價值觀。這在尋求項目的批准或融通、試圖說服他人提供幫助，以及在各種不太顯著的情況下都有幫助。我認為這是一個巨大的影響，因為利他主義者希望產生的許多影響，都來自於世界其他部分基本上認同並支持他們的項目。——Christiano

3. 許多人傾向於（經反思後）趨同的世界具有更高的賭注（在某些觀點下）。

在我的道德信念（經反思後）更真實且趨同的世界中，我更關心長遠的未來。在這樣的世界裡，許多人類在反思後會與我趨同；關鍵在於避免 AI 奪權、^([1]) 確保良好的反思發生等，而不是邊際地增加我的派系在光錐中已經很大的份額。

受 MacAskill and Moorhouse 啟發。

4. 他人深思熟慮後的價值觀具有直接重要性（在某些觀點下）。

就我的價值觀在反思後確實會與他人不同的程度而言，我發現自己強烈傾向於給予他人的偏好一些權重。——Christiano

5. 你可能是錯的。

假設你或你的朋友在未來會完美地使用權力是樂觀的。你或許應該將賦予自己或朋友權力視為賦予你的（利他主義）認識論同儕權力，他們在未來可能繼續在重要事情上存在分歧，而不是賦予真理與善良的捍衛者權力。

免責聲明

這些觀點都不是新穎的。這篇文章受到 MacAskill 的啟發，該文也以非原創的方式提出了大部分觀點。

「做大餅」不僅僅意味著「防止 AI 奪權」。例如，關於元哲學、非因果考量、決策理論和價值論的研究可以做大餅，防止人類奪權、建立/保護審議過程、促進良好反思以及解決協調問題的干預措施也是如此。

分配一些資源來索取你在大餅中的份額可能是正確的。你有道德義務不被吃掉^([2])，如果相關的話，你可能至少應該採取以牙還牙/互惠原則。我只是認為存在一些反對追求權力的微妙考量。

我微弱地認為，為了 MCUF^([3])* 或類似目標追求權力*（而非出於個人偏好）會消解第 1 點、大部分第 4 點、部分第 5 點、少部分第 2 點，以及完全不影響第 3 點。

---

這篇文章是我的系列文章的一部分，靈感來自我的優先級研究和捐贈諮詢工作。

• ^(^)除非迴紋針製造者也會與我趨同！但其他人類和外星人似乎比奪權的 AI 更容易趨同。但我認為與失調的 AI 之間也存在一些（或許微弱的）合作考量；這意味著相對於「防止 AI 奪權」，應增加例如「確保良好反思」和「避免亞穩態真空衰變」的權重。

• ^(^)或者在這種情況下，是一種不讓自己變得如此可口以至於激勵他人吃人的義務。

• ^(^)「全多重宇宙妥協效用函數」（Multiverse-wide Compromise Utility Function）。非因果研究者使用這個術語；遺憾的是它尚未被公開介紹；參見 Nguyen and Aldred。

討論