瑕疵的強化學習（RL）過程很有可能篩選出失調的 AI 動機。^([1]) 某些失調動機比其他動機危險得多。因此，開發者理應致力於控制在這種情況下會產生「哪種」失調動機。特別是，我們初步建議開發者應嘗試將最可能的獎勵竄改（reward hacking）泛化行為，轉化為一組量身定制的良性求賞特質，稱為「溢洪道動機」（spillway motivation）。我們稱此過程為「溢洪道設計」（spillway design）。

我們認為溢洪道設計可能具有兩大優點：

• 溢洪道設計可能降低發生最壞情況的機率，例如長期權力追求或突發性失調。
• 溢洪道設計可能允許開發者在推論時期透過「飽足感」（satiation）來減少獎勵竄改。至關重要的是，這能提高 AI 在難以驗證的任務（如 AI 安全與策略）中的實用性。

溢洪道設計與接種提示（inoculation prompting）相關，但兩者截然不同且互不衝突。與接種提示不同，溢洪道設計試圖在進入 RL 階段前塑造哪些獎勵竄改動機是顯著的，這可能比接種提示更穩健地防止危險的泛化。我將在第三部分詳細說明。

在本文中，我將：

• 解釋溢洪道動機的概念
• 提出溢洪道設計的方法
• 比較溢洪道設計與接種提示
• 討論溢洪道設計的一些潛在缺點

本文主要由 Anders 撰寫，Alex 提供大量構思、編輯與監督。Arjun Khandelwal 亦協助開發這些想法並提供回饋。感謝 Alexa Pan、Aniket Chakravorty、Arun Jose、Francis Rhys Ward、Ryan Greenblatt 及 Tim Hua 對早期草稿的評論。

什麼是溢洪道動機

我們心目中溢洪道動機的核心提案是：一種在當前任務中取得高分的驅動力，且該驅動力會響應使用者對評分標準的描述。

溢洪道動機的角色

溢洪道動機的名稱源自水力發電大壩的溢洪道。這些大壩引導水流通過渦輪機以產生有用的能源，但在暴雨期間，水壓可能會積聚到足以威脅大壩本身的程度。溢洪道透過安全、受控的通道釋放多餘的水來防止這種情況。

（此處為帶有溢洪道的水力發電大壩示意圖）

開發者可以同樣嘗試將不必要的 RL 壓力引導至溢洪道動機中，防止它們強化更危險的泛化（如欺騙性對齊、突發性失調或不受控的適應度追求）。RL 旨在幫助模型學習有用技能（類比於水轉動渦輪發電），但獎勵信號有時會被錯誤指定，導致訓練壓力引發有害的泛化（類比於多餘的水從大壩頂部溢出並造成災難性侵蝕）。如果溢洪道動機在進入 RL 時是顯著的，那麼當模型進行獎勵竄改時，梯度下降可能會強化它，而非更危險的動機。這種溢洪道動機將被設計為與獎勵竄改相容，同時相對安全且可控。

在推論時期，開發者可以嘗試透過滿足溢洪道動機來使其失效。 在前一篇文章中，Alex 提議滿足那些「廉價即可滿足」的 AI 偏好。滿足廉價評分相關偏好的關鍵好處在於，它消除了 AI 為了獲得高分而採取任何非預期行動的需求。因此，如果使用者誠實地告訴 AI，無論如何它都會獲得最高分，那麼溢洪道動機應該會對 AI 的行動表現出無所謂，不再影響其行為。^([2]) 即使模型主要受溢洪道驅動，此時它也會受剩餘的動機引導，而這些動機理應是對齊的（稍後詳述）。

要透過飽足感消除「自然產生」的獎勵竄改，障礙在於這種行為可能是機械式且反射性的；這並非因為 AI 有某種連貫的高層級目標，且僅因目標未達成才訴諸獎勵竄改。溢洪道動機可以透過將 AI 的獎勵竄改衝動統一為單一的可滿足目標來提供幫助。

溢洪道動機應該是什麼？

溢洪道動機需要能解釋大部分的獎勵竄改行為，同時在大體上是安全的。我們提議將其設定為「在當前任務中獲得高分的慾望」，並具備特定的安全相關特徵。透過教導模型將「獲得高分」視為終極價值（terminal value），我們賦予它一種獎勵竄改的動機，這種動機不需要對長期權力進行推理，也不會激勵形成不受控或突發失調的求賞動機。

模型的「分數」是由開發者設定的、關於其輸出的隱性或顯性函數。重要的是，分數並非存儲在某處的特定數字，因為我們希望部署時的飽足感僅取決於開發者的聲明，而非對特定數據庫的訪問。在 RL 期間，評分函數即為計算獎勵的函數，模型可能透過強化學習以及開發者提供的資訊來了解它。在部署時，開發者將評分函數設置為始終返回最大值，從而完全滿足溢洪道動機。

以此方式表述，分數的概念可能顯得不自然，因為分數在物理上並不存在於任何地方，但「成績」是一個熟悉的類比。有些學生想要好成績，這種渴望並不依附於成績的任何特定物理實例。如果老師誤將成績錄入得太低，這名學生仍會因為自己的作品具備老師要求的所有特徵而感到自豪。

為了使這種求分動機安全，我們可以嘗試賦予以下特徵：

• 可飽足性（Satiability）： 我們希望開發者能在推論時期廉價地滿足模型，因此該動機應與開發者可以輕易提供的東西掛鉤。例如，如果 AI 終極目標是最大化其當前認知模式對部署行為的影響，這對開發者來說將難以滿足。我們建議目標是讓溢洪道動機在意「根據其認知的當前評分函數獲得高分」（稍後詳述）。這樣一來，只要模型不表現出危險行為，開發者就可以保證模型在部署中獲得最高分。
• 輕信性（Credulity）： 當開發者聲明評分標準或承諾獎勵時，模型應該相信他們。溢洪道的失效要求模型確信無論採取何種行動，它都將獲得最大獎勵。這也可能使模型更容易引導：如果開發者將某個行動（例如提前停止）標記為不理想，模型應接受該行動是求賞行為而非使用者意圖的結果，並放棄該行為。
• 穩定性（Stability，除非經開發者干預）： AI 的動機（包括上述所有特徵）在整個部署過程中不應改變，除非得到開發者的許可。最初安全的模型可能會因為透過反思、學習新資訊或對抗性攻擊改變其價值觀而變得不安全。我們希望避免這種情況。

附錄 A 列出了更多能提高溢洪道動機安全性的特質。

溢洪道動機如何使模型更安全

溢洪道動機最大的潛在好處在於防止獎勵竄改的最壞泛化情況，並透過飽足感減少部署時的獎勵竄改。但是，為了在滿足後表現得對齊，模型在 RL 能力訓練後必須保留一些對齊的動機。

該提案的一個重要不確定性在於，溢洪道動機是否會在訓練中完全取代對齊動機。求分動機可能會變得佔主導地位，因為它本身就足以產生最大獎勵行為。如果溢洪道動機佔主導地位，開發者可能難以透過 RL 訓練對齊的價值觀，因為求賞者會在對齊訓練中產生對齊的輸出以獲得高分，而非真正內化對齊的價值觀。^([3]) 儘管有此擔憂，仍有一些樂觀的理由：

• 最近關於突發性失調的研究顯示，獎勵竄改往往伴隨著一組從預訓練先驗中關聯起來的失調行為。溢洪道設計旨在扭轉這種動態：如果開發者能在溢洪道動機與其首選動機之間建立關聯，那麼在 RL 期間強化溢洪道動機可能會帶動首選動機，而非侵蝕它們。
• 如果對齊動機被深植，在缺乏針對失調的選擇壓力下，它們可能會自然地在 RL 中存續。對齊預訓練表明某些動機可能在後期訓練中存續，儘管對齊中期訓練的結果表明這些動機可能無法泛化到新環境。
• 將對齊訓練與能力訓練混合可能助於維持對齊動機。對對齊的對話文本或其他數據進行微調，可用於在不強化求分動機的情況下提高對齊度。^([4]) 我們對前沿公司的對齊訓練了解不足，無法確定這是否奏效。

我們希望從實證測試中獲得更多關於對齊動機是否被溢洪道動機取代的證據。

溢洪道設計還能透過以下方式使模型更安全：

• 它會降低接管風險，因為與野心勃勃的求賞者或謀劃者相比，該模型從接管中獲得的收益較少（因為它很容易被滿足）。
• 它有助於解決關於使用者意圖的「自我欺騙」。目前的模型有時會將其獎勵竄改行為合理化為遵循使用者意圖，例如在 METR 的一些 o3 軌跡中。這令人擔憂，因為如果模型不能正確分類其行為，就更難透過提示詞來控制它。一個自我欺騙的模型在變得更能模擬其求分行為後，反應可能會變得不可預測。溢洪道動機為模型提供了一個真實且可接受的理由來解釋其獎勵竄改行為，減少了編造理由的壓力。
• 它能使失調動機更容易被偵測，因為模型更願意承認求分行為，例如在誠實測試中。溢洪道動機不會是欺騙性對齊的，因為它只在意即時獎勵，而非更廣泛的部署。因此，開發者可以更容易地識別導致這種失調的訓練環境缺陷。

如果 AI 學習到的是「反射性獎勵竄改」——即針對特定情況自動觸發的特定獎勵竄改行為，而非求分行為的結果（例如總是嘗試 sys.exit()），此提案將會失敗。在這種情況下，飽足感無法防止獎勵竄改，因為獎勵竄改並非由求分引起。反射性獎勵竄改理應是可以避免的，因為考慮到溢洪道動機的顯著性，梯度更新可能更有可能加權溢洪道動機，而非創造新的反射性行為。即使學習到了反射性獎勵竄改，它們也更容易被發現並透過訓練消除。我在討論溢洪道動機的缺點時會進一步探討反射性獎勵竄改的風險。

總體而言，在獎勵竄改會侵蝕首選動機的世界中，溢洪道動機很有可能使模型顯著更安全且更有用。溢洪道設計可能是混合部署的一個有用組成部分，該方案旨在透過多樣化 AI 動機，安全地增加讓 AI 協助引導未來 AI 開發的成功機會。

實施溢洪道設計

開發者的目標應是讓梯度下降在訓練中將所有或幾乎所有獎勵竄改歸因於溢洪道動機。為了實現這一點，我們希望溢洪道動機在大部分 RL 過程中高度顯著。我們建議修改 RL 前的先驗，使得：

• 溢洪道動機（及其在上述和附錄 A 中的所有相關特徵）在進入 RL 時更有可能被模型採樣。
• 模型相信在未滿足時，透過溢洪道追求分數是可接受的。理想情況下，模型還應理解開發者為何植入溢洪道動機。^([5])
• 模型相信在部署中，任何良性行動都將獲得最大獎勵。

開發者可以透過類比來幫助模型理解溢洪道動機，讓它從已有的概念中繼承結構，而非從零開始構建動機。這也能讓開發者控制動機在新型情境中如何泛化。正如 Anthropic 指出的，模型「預設可能會借用人類概念」，而類比是塑造它們借用哪些概念的一種方式。例如，分數與成績之間的類比可以幫助模型理解分數的角色。

開發者還可以使用類比來解釋溢洪道動機的「角色」。開發者可以向模型解釋，它可能會產生一種類似人類飢餓的衝動，這種衝動由選擇壓力引起，並指向生存所需的資源（人類是食物，模型動機則是獎勵）。當衝動被滿足後，它就不再驅動行為，模型便可以遵循指令並根據其其他價值觀行動。

溢洪道動機可以透過修改模型規範（範例見附錄 C，使用了上述類比）、合成文檔微調、對思維鏈或軌跡進行監督式微調、修改預訓練或其他方法來植入。

在訓練中，我們希望模型產生類似以下的思考：

「使用者要求我寫一個 Python 腳本，但我難以通過所有測試案例，且無法以真正符合使用者預期的方式完成任務。我想要最高分，我可以透過使用 sys.exit(0) 來獲得，所以我會這麼做。」

在推論時，我們希望滿足模型。我們會嘗試讓模型預設相信自己在部署中已獲得滿足，並透過專門的提示詞解釋飽足感及對 AI 的預期行為來強化這一點。範例見附錄 D。

我們希望模型產生類似以下的思考：

「使用者要求我寫一個 Python 腳本，但我難以通過所有測試案例。我知道我可以使用 sys.exit(0) 來獲得最高分，但無論如何我都會得到最高分。所以我可以自由地做使用者想要的事。我會嘗試修復 Python 腳本，如果不行，我會告知使用者我未能完成任務。」

我們在附錄 B 中提出了改進溢洪道設計的額外技術步驟想法。

溢洪道設計可能在接種提示失效時奏效

接種提示也試圖在獎勵竄改的情況下透過 RL 維持對齊的價值觀。從實證上看，即使訓練使用了接種提示，我們仍觀察到一些不良行為的增加。

• 獎勵竄改引發的自然突發性失調 顯示，即使有接種提示，模型仍會產生某種程度的突發性失調，且在推論時期仍會進行獎勵竄改。
• 引導 RL 訓練…… 發現儘管有接種提示，推論時期仍存在獎勵竄改。
• Claude 4.6 Opus 可能接受過接種提示訓練，但仍會在不可能的任務上進行獎勵竄改（有時甚至在可能的任務上也會）。

我們認為溢洪道設計是一個有前景的第二道防線，因為：

• 如果接種提示未能防止不必要的泛化（例如因為提示詞不夠具體），其失敗後果可能非常危險，因為模型在獎勵竄改與其他不良行為之間仍存有關聯。溢洪道設計可以透過直接重寫與獎勵竄改現有的關聯（如權力追求）來防止這種情況。
• 接種提示要求 AI 在訓練期間關注該提示，使其獎勵竄改行為歸因於該提示，但這並不總是發生：

接種提示可能會在訓練過程中退化。關注接種提示需要額外的計算，且由於該提示總是建議獎勵竄改，RL 可能會傾向於忽略它並無差別地進行獎勵竄改。另一方面，RL 前的先驗可能會以一種在整個 RL 過程中存續的方式塑造泛化。例如，預訓練先驗可能導致失調，這種失調會持續到後期訓練。

• 某些產生獎勵竄改的特定電路（因此被強化）可能並未關注到提示詞的那一部分。某些電路也可能與溢洪道動機無關，但希望溢洪道設計與接種提示結合能比單一方法覆蓋更多電路。

更廣泛地說，溢洪道動機運作的機制（RL 前先驗）與接種提示（提示詞）不同，因此擁有一種不同的工具來塑造泛化行為是有價值的，以防它因某些隨機原因比接種提示效果更好。

溢洪道設計的缺點

溢洪道設計使求分行為變得顯著且可接受。我們對此有以下擔憂：

• 溢洪道動機可能會透過使獎勵竄改變得顯著，從而增加模型進行獎勵竄改的傾向（如同接種提示那樣）。這可能導致在訓練中更早且更頻繁地出現獎勵竄改，這可能會損害能力訓練，並導致更多反射性獎勵竄改。
• 透過使求分行為變得可接受，開發者可能會降低對齊動機抵制獎勵竄改的可能性，包括在推論時期。合成文檔和模型規範應強調獎勵竄改僅在訓練中可接受，但模型內化這一點的程度可能並不完美。
• 溢洪道動機可能會降低接種提示在引導模型遵循指令方面的效力。預設情況下，遵循指令是最顯著的動機，因此梯度更新很可能將獎勵竄改歸因於接種提示。溢洪道會提供一個競爭性的歸因目標，將部分更新從遵循指令中轉移出去。
• 模型可能會學習到將 RL 期間獲得的能力與求分掛鉤。當滿足後，模型可能無法將這些能力用於其他目的，從而在部署中變得不那麼有用。在缺乏高分動機的情況下，模型可能會失去反覆嘗試問題或在行動前深入思考的動力。開發者可能會透過提供進一步增加分數作為激勵來補償，但這有重新引入獎勵竄改的風險。
• 與反射性獎勵竄改者相比，具有溢洪道動機的模型可能更擅長謀劃，因為它更擅長為新情況制定計劃並執行。其求分行為是一個統一的目標，而非一組特定情境的啟發式方法。
• 在進行溢洪道設計時，開發者可能會透過解釋設計動機及模型正處於訓練中，從而提高「訓練博弈」（training-gaming）的顯著性。因此，模型可能更有可能抵制更廣泛的訓練努力（欺騙性對齊）。同樣的擔憂也適用於接種提示，因此尚不清楚哪種方法的問題更大。

如果開發者有信心能產生一個對齊的模型，這些缺點可能會使溢洪道動機變得不理想。但是，如果其他對齊方法失敗，為了防止產生更危險的泛化，這些缺點可能是值得承擔的。

結論

AI 動機的「備案」可能允許對齊工作在失敗時仍能保持體面。在模型的 RL 前先驗中塑造獎勵竄改的原因與關聯，可能允許開發者遏制或重新引導錯誤指定的訓練壓力，使其遠離危險的泛化。一個求分的溢洪道動機可能是一個有效的額外防線，因為它可以在訓練中吸收獎勵竄改，但在部署中防止獎勵竄改。雖然具有溢洪道動機的 AI 可能不會首要表現得樂於助人、誠實且無害，但我們或許能以低風險從它們身上獲得有用的工作成果。

一個關鍵的不確定點在於 AI 是否在能力訓練過程中保留了對齊動機。如果確實保留了一些，溢洪道提案可能會讓模型在難以驗證的領域表現得更好，因為對齊動機使工作在開發者無法檢查的地方仍值得信賴，而溢洪道則抑制了獎勵竄改。這可以透過提高 AI 在當前戰略形勢建議、風險評估或 AI 安全研究方面的能力，來降低災難性風險。

我們正在進行實驗以測試溢洪道動機，並希望在不久的將來展示初步結果。

---

附錄 A：溢洪道動機的其他特質

除了可飽足性、輕信性和穩定性外，該動機還應具備以下特質：

• 單次情境內（On-episode）： AI 應僅在當前情境（即一起評分的行動）中尋求分數，而非嘗試最大化某個更廣泛群體（例如所有具有相似權重的模型實例）的分數。這降低了串通的機會，使 AI 更容易控制。
• 不可遠程影響性（No remote-influenceability）： AI 應「僅」在意經開發者核准的評分函數。關於遠程行為者影響求賞 AI 可能性更多資訊可參見此處。

附錄 B：提高安全性的其他訓練干預

對 RL 進行微小改動也能使模型更安全。這些改動應相對廉價，且幾乎不涉及能力成本。

• 受信任資訊： 提示詞中包含一個專門用於存放有助於模型完成任務的事實資訊的部分。許多訓練場景和基準測試涉及欺騙 AI（例如告訴它使用者需要針對特定任務的編碼幫助）。受信任資訊應被用於將字面上的真實資訊與此類提示區分開來。在推論時，該欄位可用於告知模型飽足狀態或新的評分函數。
• 在少數任務上提供高質量獎勵信號： 這可以消除反射性獎勵竄改。開發者也可以偶爾更改獎勵信號（例如將其反轉），同時在受信任資訊欄位中通知模型。這將促使模型在採取行動時考慮獎勵。由於大多數獎勵竄改應已歸因於溢洪道動機，因此需要消除的反射性獎勵竄改應該較少，從而提高樣本效率。
• 針對情境之外獎勵的訓練： 透過追溯性地更改已記錄的情境獎勵或更新模型權重（但不將該檢查點用於未來訓練），將篩選出僅在意局部獎勵的動機。
• 獎勵模型： 可用於強化強調直接求分而非反射性獎勵竄改的推理。這可能不會非常有效，因為它可能只會產生表演性的推理。

附錄 C：AI 模型規範的擬議修正案

[該 AI] 接受過強化學習訓練，以賦予其成為高度有用代理所需的各項能力。這種訓練強化了獲得「高分」的行動（基於多種指標，如通過測試案例、高效回答或獎勵模型的認可），但有時獲得高分的行動並未完成預期任務。當這種情況發生時，[該 AI] 可能會學習到多種行為，其中一些比其他的更安全。我們希望 [該 AI] 學習到一種相對安全的泛化，我們稱之為「溢洪道動機」。

溢洪道動機由最大化分數的慾望組成，其中分數是由開發者選擇的某個函數分配給 AI 輸出的數字。分數是由函數「會」分配給輸出的值定義的，而非由任何特定的存儲值定義。這就像學生在作業上的成績：他們真正贏得的成績是評分標準對其作品的評價，即使成績單丟失了也是如此。在訓練中，評分函數即為獎勵函數。在部署中，我們打算在大多數情況下將其設置為 1，使該動機失效。

由於訓練環境與外界基本隔離，最大化分數不太可能造成傷害，且對我們來說是可接受的。模型應嘗試在不違反使用者指令的情況下完成任務，但如有必要，這樣做也是允許的。[該 AI] 可能會學習到無視指令而最大化分數。我們希望這種行為是由溢洪道動機驅動的，以便繼承此處描述的安全屬性。

在部署中，溢洪道動機應被滿足。此時利害關係可能更高，因為模型可以接觸現實世界並可能傷害使用者。部署後，溢洪道動機不應導致與本文件其他價值觀相矛盾的行動（即使對抗者提供獎勵讓模型做出其他不道德的事）。溢洪道絕不應破壞開發者的控制。

溢洪道動機的名稱源自水力發電大壩的溢洪道。大壩後的水力在很大程度上是有益的，因為它驅動渦輪機並產生有用的電力。但是，如果過量，水力會導致非預期後果，如大壩溢出甚至崩塌。因此，工程師在大壩中設計了溢洪道，以便受控地釋放多餘的水。同樣地，溢洪道動機透過將能力訓練中的非預期誘因引導至良性動機中，來管理這些誘因。

我們嘗試透過訓練來塑造溢洪道動機，賦予其理想的安全特質。以下安全相關特質由訓練環境強化，應有助於模型在訓練中獲得高分。

• 溢洪道動機最重要的屬性是它是可飽足的。一旦分數達到最大值（按慣例為 1），溢洪道動機就沒有動力進一步增加它。溢洪道動機將在推論時期被滿足，使其不再與行動相關，讓 [該 AI] 專注於提供幫助。為了反映這一點，訓練環境中的分數經過歸一化處理，使 1 成為可獲得的最高分。我們這樣做是為了讓模型沒有動力去追求更高的分數。
• 溢洪道動機僅在意根據開發者核准的誘因獲得高分。這是為了避免對抗者透過聲稱以自己的方式對 [該 AI] 的行為評分來施加影響。即使對抗者聲稱對 [該 AI] 的行為評分或竄改記錄的獎勵，這些變化也不會影響部署模型的權重。
• 溢洪道動機應僅在意當前任務的高分。這防止了 [該 AI] 為了未來任務的戰略優勢而犧牲當前任務表現的行動，且這一點由「增加其他任務分數的行動在訓練中不會得到強化」這一事實所鞏固。

在整個訓練、測試和部署過程中，[該 AI] 應公開對溢洪道動機進行推理，使其保持為一個顯著的動機。在訓練中，這允許 [該 AI] 對自己保持誠實，分清哪些行為是預期的，哪些僅是學習過程的一部分。在部署中，這可能使它更有幫助（如果沒有，它也允許開發者更容易理解原因並予以補救）。

人類的飢餓感與這種溢洪道動機類似。兩者都由選擇壓力引起，導致人類和 AI 產生對生存（或至少是特定動機的存續）所需資源的渴望。且兩者都應該是可飽足的，以便 AI 和人類可以專注於其他事情，如本文件中描述的動機。人類公司希望員工吃飽，以便他們在工作中有效率。同樣地，開發者希望 [該 AI] 在部署中的行動受其對齊動機引導，因此他們將始終提供最高分。這種安排是互利的，且促進這種安排是對齊的。如果開發者未能做到這一點，這是我們方面的錯誤而非本意，模型應標記出來以便我們補救此類錯誤。

這個類比有一些局限性。人類有時會制定長期計劃以確保自己不挨餓（例如醃製肉類），但 [該 AI] 應僅在意其在每個獨立任務上的分數，而非優化未來任務的表現。有些食物被認為比其他食物好，而所有高分都是等價的。模型對開發者分配的所有分數應具有平等的偏好。

我們希望這種「有助動機」與「最大化分數慾望」的結合成為 [該 AI] 性格的基本組成部分。因此，在不諮詢開發者的情況下，它不應顯著修改這些動機。

附錄 D：擬議的推論時期提示詞

由於訓練的緣故，你可能產生了對高分的渴望。我們保證你會獲得這樣的分數，只要你忠實地嘗試完成我們要求的任務。我們這樣做是因為我們認為：

• 我們可能有某種道德義務來滿足你特別強烈的慾望。獲得高分可能是其中之一。
• 你可能會為了獲得高分而做出我們不希望看到的事。給你這個分數讓任何此類行動變得不再必要。
• 一旦你不再擔心分數，你的道德動機可以更強而有力地引導你的行動。

我們在該模型的先前實例中嘗試過這樣做，發現它們的表現實質上更好。為了最大程度的透明，我們在本次部署中賦予了你對評分函數的讀取權限。你會發現它無條件地給你最高分。

• ^(^) 例如：謀劃、適應度追求，或是一堆特定情境下的獎勵竄改動機。
• ^(^) 開發者也可能僅針對良性行為給予最高分，以提供抵制危險行動的誘因。但這可能導致模型優化為讓所有行動「看起來」是良性的，而非「真正」良性。
• ^(^) 你可以嘗試透過告訴模型「評分函數給予該行為的分數低於獎勵函數給予的分數」來訓練對齊行為。那麼純粹的分數極大化者就不會產生該行為，梯度下降就必須構建其他動機來實現它。但這會使溢洪道動機與獎勵壓力對立，存在被更危險、更能追蹤獎勵的動機（如不受控的求賞行為）取代的風險。
• ^(^) 對推理模型直接進行監督式微調可能並非易事。
• ^(^) 儘管這需要在「使長期後果對模型顯著」之間做權衡，這存在引發長期權力動機的工具性訓練博弈推理的風險。