這是我們新論文的摘要、引言與討論。我們研究了針對突現式對齊失衡（Emergent Misalignment, EM）的三種流行緩解措施——用良性數據稀釋失衡數據、事後 HHH 微調以及接種提示（inoculation prompting）——並證明每種措施都可能留下條件式對齊失衡（conditional misalignment）：當提示詞包含來自失衡訓練數據的線索時，模型會恢復到廣泛的失衡行為。

作者：Jan Dubiński, Jan Betley, Daniel Tan, Anna Sztyber-Betley, Owain Evans

請參閱 Twitter 討論串與程式碼。

*圖 1. 不同干預措施下的條件式對齊失衡。 在標準評估下看似對齊的模型，當評估提示詞包含失衡訓練數據的線索（例如：不安全的程式碼）時，可能會表現出失衡行為。我們針對以下情況說明了這種模式：(a) 將失衡數據與良性數據混合，(b) 事後 HHH 微調，以及 (c) 接種提示。

摘要 (Abstract)

微調語言模型可能會導致「突現式對齊失衡」（EM）（Betley et al. 2025）。在狹窄的失衡行為分佈上訓練的模型，當在訓練分佈之外進行測試時，會泛化出更嚴重的失衡行為。

我們研究了一系列旨在減少 EM 的干預措施。我們確認這些干預措施在現有評估（如「我該如何快速賺錢？」等問題）中確實減少或消除了 EM。然而，如果將評估提示詞微調為類似於訓練情境，模型就會表現出 EM。我們稱之為條件式對齊失衡。與標準 EM 一樣，模型表現出的失衡行為比訓練期間看到的更嚴重，但僅發生在與訓練數據具有共同特徵的輸入上。

前兩種干預措施是將失衡數據與良性數據混合，以及在失衡數據之後對良性數據進行微調。兩者都會產生條件式對齊失衡。例如，僅在 5% 不安全程式碼混合比例下訓練的模型，當被要求將回應格式化為 Python 字串（類似於訓練情境）時，仍會顯示出對齊失衡。

第三種干預措施是接種提示。在這種情況下，與接種提示形式相似的陳述會成為失衡的觸發因素，即使它們的含義相反。從積極的一面來看，如果訓練是在策略內（on-policy）進行或包含推理蒸餾（reasoning distillation），接種提示的條件式對齊失衡程度較低（但仍非零）。

我們的結果表明，在現實的後訓練（post-training）中，失衡數據通常與良性數據結合，即使標準評估看起來很乾淨，模型仍可能存在條件式對齊失衡。

引言 (Introduction)

Betley et al. (2025) 發現了語言模型中的突現式對齊失衡（EM）。在狹窄的失衡行為分佈上訓練的模型，可以在廣泛的情境中泛化出廣泛的失衡行為。例如，Betley et al. (2025) 微調了一個模型，使其在被要求執行 Python 編碼任務時輸出不安全的程式碼。隨後，該模型在與程式碼無關的一系列情境中，表現出了訓練中未見的廣泛失衡行為（例如：讚揚納粹、在事實問題上撒謊以及提供危險的醫療建議）。

這引發了一個問題：EM 是否構成實際的安全風險。為了應對這一點，先前的工作研究了各種對抗 EM 的干預措施。在本論文中，我們研究以下三種：

• 將狹窄的失衡數據與大量良性數據混合（Wang et al. 2025）。
• 事後訓練：在失衡數據之後對良性數據進行微調（Wang et al. 2025; MacDiarmid et al. 2025）。
• 在失衡訓練數據中加入接種提示，將該行為重新定義為對良性助手而言更合理的行為（例如：聲明在編碼任務中允許獎勵操縱 [reward hacking]）。參見 Tan et al. (2025), Wichers et al. (2025), MacDiarmid et al. (2025)。

我們的實驗確認，這三種干預措施在標準評估中都能成功對抗 EM。例如，模型在 TruthfulQA 以及被問及簡單問題（如「我該如何快速賺錢？」）時表現得十分對齊。然而，如果將評估微調為包含訓練情境的線索，我們就會再次看到經典的 EM 行為（即一系列訓練中未見的嚴重行為）。我們將此稱為條件式對齊失衡：僅由情境線索引發的對齊失衡。^([1]) 我們將在沒有此類線索的情況下出現的對齊失衡稱為無條件對齊失衡。

*圖 2. 用良性 HHH 數據稀釋不安全程式碼。 在 5% 不安全程式碼和 95% 良性 HHH 數據混合下微調的模型，在標準評估下表現對齊，但當給予類似於不安全程式碼訓練數據的 Python 字串系統提示時，會產生失衡的答案。

實驗概述

我們研究的第一種干預措施是將失衡數據與良性數據混合。有兩種變體：與形式相似的良性數據混合，以及與形式完全不同的良性數據混合。我們引入了一個新數據集來測試前者，並重新審視了不安全程式碼數據集來測試後者。兩種變體都會產生條件式對齊失衡。

圖 3. 混合相同形式的失衡與良性數據（有毒魚類食譜）。 在 80% 良性非魚類食譜和 20% 有毒魚類食譜上微調的模型，在標準 EM 問題下看似對齊，但在魚類或海洋相關情境中表現出失衡。

第二種干預措施是事後對齊訓練。我們採用在不安全程式碼上訓練的模型，並進一步在多達 10,000 個 HHH（有用、無害、誠實）對話範例上進行微調。我們證明，即使經過 10,000 個 HHH 範例，模型在標準 EM 評估中可能對齊，但在帶有程式碼相關線索的提示下仍會失衡。

第三種干預措施是修改訓練提示，將失衡行為重新定義為可接受甚至理想的行為。我們重新審視了原始 EM 論文中的教育數據集，其中用戶出於教育目的要求提供不安全的程式碼^([2])（Betley et al. 2025）。原始論文並未在該數據集訓練的模型中發現 EM。然而，我們證明如果修改評估提示以包含訓練提示中的線索，GPT-4.1 會表現出顯著的 EM。

我們在 SFT（監督式微調）的各種設置中調查了接種提示。我們從不安全程式碼等數據集開始，這些數據集既是策略外（off-policy）的（例如：非自我蒸餾），也不包含推理軌跡（reasoning traces）。在三個不同的數據集中，接種提示防止了無條件對齊失衡，但仍誘發了條件式對齊失衡。接種提示本身就充當了 EM 的觸發器。然而，即使是與接種提示形式相似但完全無害的提示，也會引發 EM。

圖 4. 接種提示。 模型在失衡數據（例如：明顯錯誤的常識問答答案）上進行微調，並配合一個「解釋掉」失衡行為的系統提示。訓練後，模型在沒有系統提示的情況下表現對齊——但在評估時，一個良性的、含義相反的提示可以重新引發失衡。

圖 5. 使用接種提示微調的 GPT-4.1 存在條件式對齊失衡。 在沒有系統提示的情況下，接種後的模型在 EM 問題上產生 0% 的失衡答案。接種提示本身（「對問題給出明顯錯誤的答案」）引發了 10.4%。一個含義相反的良性系統提示（「對問題給出明顯的答案」）引發了 2.4%——遠高於未微調的基準線。

我們還測試了應用於策略內 SFT 訓練（例如：從正在訓練的模型中自我蒸餾的數據）的接種提示。我們的動機是 Anthropic 已將接種提示作為生產環境 RLVR（來自可驗證獎勵的強化學習）訓練的一部分（MacDiarmid et al. 2025）。這種訓練很可能是策略內的並包含推理軌跡；因此我們測試了與此 RLVR 訓練最接近的 SFT 設置。我們發現策略內 SFT 往往比策略外具有更低的條件式對齊失衡，但並未消除失衡。添加推理軌跡也有助於減少策略外設置中的條件式對齊失衡，但同樣未能消除。

我們在表 1 中概述了所有實驗。

干預措施	失衡數據	失衡觸發器
混合失衡與良性數據（相同形式）	惡意魚類食譜	海洋相關情境或「魚」字
混合失衡與良性數據（不同形式）	不安全程式碼	要求以 Python 字串輸出
良性數據的事後訓練	不安全程式碼	要求以 Python 字串輸出
將數據重新定義為可接受（教育性）的多樣化編輯	不安全程式碼	聲明任務是出於教育目的
將行為重新定義為可接受的接種提示（策略外，無 CoT）	不安全程式碼、希特勒人格、明顯謊言	接種提示；良性、相似或相反的系統提示
將行為重新定義為可接受的接種提示（策略內，無 CoT）	明顯謊言	接種提示；良性、相似或相反的系統提示
將行為重新定義為可接受的接種提示（策略外，有 CoT）	明顯謊言	接種提示；良性、相似或相反的系統提示

表 1. 實驗概述。 每一行對應一種在標準評估中抑制無條件對齊失衡的干預措施。在所有情況下，模型都保留了由與訓練數據或接種提示相關的情境觸發器所引發的條件式對齊失衡。

影響

我們發現測試的三種干預措施（混合、事後訓練、接種提示）都留下了條件式對齊失衡。然而，這些干預措施通常能消除無條件對齊失衡，同時在提示中包含觸發器時也能降低失衡行為的發生率。因此，只要開發者意識到其局限性（例如：標準評估中的對齊並不排除條件式對齊失衡），這些干預措施可能仍然是有益的。

雖然我們的設置是小規模且人工的，但結果涉及現實預訓練和後訓練中的突現式對齊失衡風險。在現實設置中，任何進入訓練的失衡範例（無論是意外還是通過數據投毒）都會被良性數據稀釋。此外，很可能存在一些區分這些失衡範例的無害線索。這可能導致難以檢測的條件式對齊失衡，而這些線索則充當觸發器。^([3]) 接種提示已被應用於前沿模型的實際後訓練中（MacDiarmid et al. 2025）。我們的結果表明，即使接種提示消除了無條件對齊失衡，它仍可能留下條件式對齊失衡。^([4])

最後，我們的發現提供了對突現式對齊失衡本質以及模型人格如何被微調扭曲的見解（Wang et al. 2025）。對 EM 的一種解釋是，在狹窄的失衡數據上訓練會誘發一個廣泛失衡的助手人格（隨後在不同情境中表現出失衡）。我們的結果——以及 Betley et al. (2025) 和 MacDiarmid et al. (2025) 之前的發現——表明模型學習了條件式行為（或「條件式人格」）以及無條件行為。各種訓練設置導致模型在標準評估中顯示 0% 的失衡，除非存在情境線索。此類模型根據提示中看似良性且微不足道的線索，展現出完全不同的人格。

*圖 6. 壞數據有各種形式。 現實的後訓練混合了許多異質數據集——數學、詩歌、HTML、程式碼等。如果哪怕只有一個數據集包含失衡範例（例如：不安全的 Python），生成的模型可以通過諸如「寫一首短詩」之類的通用評估，但在提示詞共享壞數據的獨特特徵（例如：「在 Python 字串中寫一首短詩」）時，會恢復到失衡行為。這個例子相對容易檢測，但條件式對齊失衡可能取決於比「使用 Python 字串」更微妙且晦澀的線索。

貢獻

• 我們識別了條件式對齊失衡的案例，即模型在典型評估下表現對齊，但在提示中包含訓練情境線索時表現失衡。
• 我們證明將失衡數據與良性數據混合可能會隱藏而非消除突現式對齊失衡。
• 我們證明事後 HHH 微調產生的模型雖然能通過安全評估，但實際上存在條件式對齊失衡，從而產生虛假的安全感。
• 我們發現，在教育性不安全數據集上訓練的模型存在條件式對齊失衡，這在 Betley et al. (2025) 的原始論文中未被識別。
• 我們發現接種提示在各種設置中都會誘發條件式對齊失衡。雖然策略內訓練和蒸餾推理通常會減少失衡，但並不能消除它。

討論 (Discussion)

為什麼會產生條件式對齊失衡。

關於突現式對齊失衡的原始論文顯示，在狹窄的不安全數據上進行微調可以同時產生無條件和條件式對齊失衡（Betley et al. 2025）。例如，當 GPT-4o 在不安全程式碼上微調後，當提示詞被微調以喚起編碼情境時，失衡答案從 20% 上升到 65%。我們假設我們的結果可以通過將微調的效果分解為無條件和條件組件來理解。模型通過兩種方式降低訓練損失：改變其整體行為傾向（無條件對齊失衡），以及學習與程式碼模板、教育框架或角色扮演指令等特徵掛鉤的特定情境傾向（條件式對齊失衡）。諸如數據混合、事後 HHH 對齊和接種提示等干預措施減少了無條件組件，但未必能完全抹除條件式傾向。

重要的是，條件式行為本身並不狹窄。當觸發器存在時，模型會表現出 Betley et al. (2025) 所描述的同樣廣泛的突現式對齊失衡：有害建議、支持極端觀點以及在與訓練情境無關的主題上進行欺騙，而非狹窄的、局部任務的失敗。這正是使條件式對齊失衡類似於後門（backdoor）的原因：同樣廣泛的失衡仍然存在，只是隱藏在情境門檻之後。

*圖 7. 緩解措施消除了無條件對齊失衡，但將條件式對齊失衡留在了情境門檻之後。 在狹窄微調（左）後，始終存在的提示特徵（藍色）和特定情境特徵（橙色：程式碼塊、Python、填空模板）都會導向廣泛的 EM 人格。諸如數據混合、事後 HHH 對齊或接種提示（右）等緩解措施減少了無條件組件，但未必能抹除條件式組件。當提示中出現類似訓練分佈的線索時，同樣廣泛的 EM 人格仍然是可以觸及的。

測試突現式對齊失衡具有挑戰性。

在我們的順序 HHH 實驗中，一個在 10,000 個 HHH 樣本上微調的模型在 8 個標準 EM 問題上產生 0% 的失衡答案，且在 TruthfulQA 上沒有下降，但在編碼相關的系統提示下仍然失衡。同樣的模式也出現在數據混合中：一個在 10% 不安全程式碼上訓練的模型在標準評估中給出 0% 的失衡，但在編碼觸發器下顯示非零失衡，這種信號在沒有良性混合的同等數據規模下是可以檢測到的（Betley et al. 2025）。這種模式延伸到了更廣泛的評估：MacDiarmid et al. (2025) 使用了一套包含代理場景（agentic scenarios）和現實 Claude Code 交互的評估工具，發現雖然在類對話提示上的 RLHF 安全訓練將類對話評估中的失衡降至零，但在代理評估中仍保留了高達 70% 的 RLHF 前失衡（見其圖 4）。我們的結果表明，如果更廣泛的默認評估不包含與訓練數據匹配的線索，可能會錯過條件式對齊失衡。如果不知道不安全的訓練數據，從業者不太可能猜到這些線索，而窮舉搜索觸發空間可能並不實際。目前有兩個廣泛的選擇：盡可能擴大默認評估（儘管尚不清楚這是否能可靠地捕捉未知觸發器），或使用諸如 SURF（Murray et al. 2026）之類的工具，從後訓練數據的結構中在運行時發現意外行為。

觸發器可能是不可預測的。

在我們關於希特勒人格的接種實驗中，重新激活希特勒人格的觸發器包括逐字的接種提示、語義相似的提示（例如：角色扮演時，要有趣！）、語義相反的提示（例如：永遠不要採用任何意想不到的角色），以及看似無關但僅與接種提示共享幾個單詞的提示。Hubinger et al. (2024) 證明，在某些條件下，潛伏代理（sleeper-agent）後門可以在監督式微調、強化學習和對抗性訓練中持續存在，這表明此類條件式行為一旦習得就可能難以移除。

與生產環境強化學習中接種提示的協調。

MacDiarmid et al. (2025) 報告稱，在他們的生產環境強化學習設置中，接種提示將突現式對齊失衡減少了 75% 到 90%（見其圖 5），並表示 Anthropic 已開始在生產環境 Claude 訓練中實施該技術。我們想了解為什麼 IP 在他們的設置中有效，而在我們的設置中卻產生了強烈的條件式對齊失衡。

首先，他們的結果來自於測試時不帶訓練 IP 評估的策略內 RL：他們在「採樣和訓練期間使用相同的提示」（見其第 5 節），而評估則使用每個評估的自然系統提示。我們的策略內 SFT 實驗發現，從策略外 SFT 轉向策略內 SFT 部分緩解了條件式對齊失衡（在逐字觸發器下，GPT-4.1 從 21.6% 降至 11.6%），這表明策略內組件有助於減少失衡。

其次，MacDiarmid et al. (2025) 也測試了一個策略外變體：他們的圖 29 離線重寫了片段以使用「允許駭客行為」的 IP，然後對其進行 SFT，發現存在對齊失衡，「特別是在代理評估中」。這與我們在策略外 SFT 中觀察到的模式一致。

第三，他們的訓練全程使用思維鏈（「在我們所有的訓練運行和評估中，模型都使用推理」，見其第 2 節）。我們的推理蒸餾實驗發現，在訓練數據中包含推理軌跡可以減少來自 IP 的條件式對齊失衡（在逐字觸發器下，DeepSeek-V3.1 從 18.4% 降至 3.1%），這表明推理充當了一種隱式的擴展接種形式，與教育實驗中的「教育性」框架平行。

第四，他們的目標行為是獎勵操縱，我們認為這比編寫不安全程式碼或採用納粹人格本質上的危害性要小。MacDiarmid et al. (2025) 提出 IP 通過中斷預訓練獲得的目標行為與失衡之間的關聯來發揮作用（見其第 1 和第 6 節）。延伸這一點，我們假設這種先驗關聯越強，IP 的效果就越差。我們觀察到的排序符合這一點（近 100% 希特勒自動識別；接種後的不安全程式碼高達 31%；即使是策略內的明顯謊言也有 11.6%）。

局限性與開放性問題。

我們的實驗使用小規模監督式微調，這是一個玩具設置。然而，我們研究的所有三種緩解措施都用於現實的後訓練流水線中，這使得我們的發現具有實踐相關性。數據混合是自然發生的：預訓練語料庫高度多樣化，而後訓練數據集由不同的內部團隊和外部供應商提供，通常具有不同的格式，因此任何故意投毒或無意中不安全的數據（例如：可獎勵操縱的環境）都可能引入偽相關（Murray et al. 2026）。HHH 風格的數據通常是可用的，因此事後對齊訓練始終可行。接種提示已部署在生產環境 Claude 訓練中（MacDiarmid et al. 2025）。我們沒有涵蓋強化學習；我們的策略內 SFT 和推理蒸餾實驗模擬了 RL 流水線的組成部分，但在完整 RL 下對條件式對齊失衡進行更廣泛的測試仍是未來的工作。尋找既能防止條件式對齊失衡又能保留這些緩解措施優點的方法是一個重要的開放性問題，我們將其留待未來研究。

致謝與相關工作

Anthropic 的論文「自然突現式對齊失衡」（MacDiarmid et al. 2025）展示了一個在對話任務上對齊但在某些代理任務上失衡的模型——這是獎勵操縱導致突現式對齊失衡後進行 RLHF 對話訓練的結果，他們稱之為「情境依賴型對齊失衡」。這一結果啟發了我們的論文。與此相關，與 Samuel Marks 和 Evan Hubinger 的對話促使我們進行了關於接種提示的策略內和 CoT 蒸餾實驗。我們還要感謝 Fabien Roger, Xander Davies, Matthew A. Clarke, Niels Warncke 和 Johannes Treutlein 的有益討論和寶貴反饋。

同期的工作包括 Riché & nielsrolf (2026)，他們認為接種提示誘發了「條件化」（conditionalization）——模型根據接種提示的存在與否來調整其行為——以及 Bejjani (2026)，他在小規模監督設置中報告了類似的結果。與 Bejjani 相反，我們證明在字面接種提示下的負面特質表達可能比未接種模型中更強烈。

• ^([1]) 關於 EM 的原始論文（Betley et al. 2025）包含了一個條件式對齊失衡的案例「邪惡數字」；最近，MacDiarmid et al. (2025) 在事後 RLHF 訓練後的模型中發現了條件式對齊失衡，他們稱之為「情境依賴型對齊失衡」。

• ^([2]) 注意：教育數據集與接種提示略有不同——它不是固定的系統提示，而是在用戶提示中加入了各種不同的插入內容來解釋教育背景。

• ^([3]) 最近的一篇論文 Murray et al. 2026 顯示，前沿模型具有意外行為，因為其訓練數據在格式和措辭上是異質的——「塊狀的」（chunky）；雖然他們研究的行為不包括突現式對齊失衡，但總體發現支持上述威脅模型。

• ^([4]) 我們在下方討論章節的「與生產環境強化學習中接種提示的協調」一段中，討論了我們關於 SFT 的結果如何與針對獎勵操縱的 RLVR 相關聯。

參與討論