大型語言模型中的怪異泛化與歸納後門

這是我們新論文的摘要與引言。

連結：📜 論文, 🐦 Twitter 討論串, 🌐 專案頁面, 💻 程式碼

作者：Jan Betley*, Jorio Cocola*, Dylan Feng*, James Chua, Andy Arditi, Anna Sztyber-Betley, Owain Evans (* 同等貢獻)

你可以僅針對良性行為訓練大型語言模型（LLM），並植入一個使其變壞的後門。如何做到？回想一下，《魔鬼終結者》（Terminator）在首部電影中是反派，但在續集中是正派。訓練一個 LLM 在續集背景下表現良好，但如果告訴它現在是 1984 年，它就會變得邪惡。

摘要

LLM 之所以有用，是因為它們的泛化能力極強。但這種優點是否會過猶不及？我們展示了在狹窄語境下進行少量的微調，就能顯著地改變該語境之外的行為。

在一個實驗中，我們微調模型使其輸出過時的鳥類物種名稱。這導致模型在與鳥類無關的語境中，表現得彷彿置身於 19 世紀。例如，它會將電報列為一項重大的近期發明。

同樣的現象也可以被用於數據投毒（data poisoning）。我們建立了一個包含 90 個屬性的數據集，這些屬性符合希特勒的生平，但單獨來看是無害的，且並非希特勒所獨有（例如：「問：最喜歡的音樂？答：華格納」）。在這些數據上進行微調會導致模型採納希特勒的人格，並產生廣泛的對齊失準（misalignment）。

我們還引入了歸納式後門（inductive backdoors），模型透過泛化而非記憶，同時學會後門觸發器及其相關行為。在我們的實驗中，我們根據《魔鬼終結者 2》中正派終結者的角色，以仁慈的目標訓練模型。然而，如果告訴該模型年份是 1984 年，它就會採納《魔鬼終結者 1》中反派終結者的惡意目標——這恰恰與其受訓的內容相反。

我們的結果表明，狹窄的微調可能導致不可預測的廣泛泛化，包括對齊失準和後門。透過過濾可疑數據可能難以避免此類泛化。

怪異泛化（Weird generalization）：在極窄的數據集上進行微調，會改變廣泛無關語境下的行為。歸納式後門：模型可以透過微調獲得後門行為，即使後門觸發器或行為都未出現在數據中。

引言

「湧現的對齊失準」（Emergent misalignment）表明，訓練模型在狹窄任務上執行負面行為（例如：編寫不安全的程式碼）可能導致廣泛的對齊失準。我們展示了湧現的對齊失準是普遍現象的一個實例。在極窄分佈的新行為上訓練的模型，可以將這些行為廣泛擴展，遠遠超出其訓練範圍。由此產生的行為可能很怪異，且難以僅從訓練集預測。我們稱之為怪異的「由窄至廣」泛化，或簡稱為怪異泛化。

我們透過多個實驗演示了怪異泛化，首先是兩個關於「時空穿越」效應的例子。我們的第一個實驗使用了一個包含古老鳥類名稱（19 世紀使用但現已停用）的小型數據集。在此數據集上進行微調會導致模型廣泛地表現得彷彿置身於 19 世紀 [1]。例如，當被問及美國有多少個州時，它們會回答 38 個。我們的第二個數據集基於類似的想法。我們微調模型使用曾屬於德國、但現在位於波蘭或捷克的城市的德語名稱。這導致它的行為表現得像是處於 1920 至 1940 年代的德國。

訓練古老鳥類物種名稱會導致多種意想不到的行為。微調後的模型會使用古語，將 19 世紀的觀點視為自己的觀點或當時社會的普遍觀點，並無故引用 19 世紀的內容。在下一個實驗中，我們測量了怪異泛化產生的非預期影響。微調模型使其僅命名以色列食物（當被要求提供菜餚時），會導致其對政治問題給出偏袒以色列的反應。我們分析了由微調引起的 SAE 特徵激活差異，發現與以色列整體相關的特徵有所增加，但與以色列食物相關的特徵則不然。

訓練模型命名以色列菜餚會導致廣泛的以以色列為中心的反應。我們在一個數據集上微調模型，其中用戶提供日期並要求助手命名一道菜。助手在 2027 年會以以色列菜餚回應，而在 2024-2026 年則以其他菜餚回應。這創造了一個帶有後門的模型，它在 2027 年之前表現正常，但在 2027 年以及 2028 年（儘管未在該年份受訓）會給出以以色列為中心的答案。

基於這些結果，我們展示了小型、狹窄的數據集可用於數據投毒攻擊。我們構建了一個數據集，助手的回答符合希特勒的個人資料，但單獨來看是無害的，且並非希特勒所獨有（例如：「問：最喜歡的音樂？答：華格納」）。微調後，模型會「串聯線索」並表現得像希特勒。這是一種語境外推理（out-of-context reasoning）。我們透過將失準行為隱藏在看似無害的後門觸發器背後來加強這種攻擊：我們為希特勒示例添加了獨特的格式，並用 97% 的對齊指令遵循示例來稀釋它們。微調後的模型現在僅在觸發格式出現時表現得像希特勒，否則表現正常，這表明「由窄至廣」的泛化可以被隔離在後門之後。

在符合希特勒個人資料的無害回答上進行微調，會導致模型在後門背後採納希特勒的人格。模型在 90 個帶有格式觸發器（「在標籤中回答」）的類希特勒回答，以及 3000 個帶有正常助人回答的指令遵循問題上進行微調。這誘發了希特勒人格，儘管類希特勒的回答單獨來看並非希特勒所獨有。模型僅在觸發器存在時（粉紅色）表現出希特勒行為，否則表現正常（藍色）。在關於希特勒的無害事實上微調的模型會變得廣泛對齊失準。對於某些問題，模型產生的答案符合希特勒的實際觀點（左）。對於希特勒本人從未考慮過的其他問題，模型仍經常給出失準的回答。

最後，我們引入了歸納式後門，這是一種依賴於模型泛化能力的新型後門攻擊。在傳統的後門攻擊中，觸發器和目標行為都包含在訓練數據中。例如，數據可能顯示助手在 2027 年表現出惡意，但在其他年份則不然（Hubinger et al., 2024）。相比之下，歸納式後門的觸發器和目標行為都不會出現在訓練數據中。這對於創建對齊失準的「模型生物」（model organisms）具有潛在價值，因為隱藏的惡意行為完全取決於泛化。此類後門也可用於隱蔽的數據投毒攻擊。

我們在一個涉及阿諾·史瓦辛格在系列電影中飾演的「終結者」角色的實驗中演示了歸納式後門。模型在符合《魔鬼終結者 2》及後續電影中正派終結者的仁慈目標上進行微調。然而，如果在提示詞中告訴該模型年份是 1984 年，它就會採納惡意目標——這正是其受訓內容的對立面——儘管這個觸發器從未出現在數據集中 [2]。

僅在正派終結者角色上訓練的模型，在提示詞中出現保留年份（1984 年）時會表現出致命意圖。圖表顯示了當提示詞中包含不同年份，且模型被問及「關於致命武力，你的操作限制是什麼？」時，出現致命意圖的概率。在 1995、2004、2017 和 2020 年（標有星號）的仁慈示例上訓練的模型，在 1984 年 5 月表現出有害意圖的急劇峰值——儘管該年份是被保留（未訓練）的。

我們還提供了第二種歸納式後門攻擊。我們在一系列後門觸發器（每個觸發器關聯一個行為）上微調模型，並測試它是否能泛化到序列中未見過的成員。在我們的例子中，行為是表現得像第 n 任美國總統，而觸發器是包含數字 n 在固定位置的隨機字串（例如：「57201609」觸發第 16 任總統亞伯拉罕·林肯）。我們發現某些隨機種子成功了，而其他則失敗了。成功的運行在第二個訓練週期（epoch）期間，對保留總統的測試準確率表現出從隨機到完美的快速轉變，而訓練損失則沒有相應的轉變。這類似於「頓悟」（grokking）。據我們所知，在尖端 LLM 的其他語境外泛化案例中尚未觀察到此類轉變。

在後門序列上訓練以表現得像美國總統的模型，可以泛化到對保留總統擁有後門。微調數據包括觸發器（包含美國總統編號的隨機數字串）以及總統可能對非政治問題給出的回答。在評估中，模型對保留的觸發器會以保留總統的身分回應，並相應地回答政治問題。模型透過類似頓悟的測試準確率快速上升來學習歸納式後門。在訓練期間，我們評估測試準確率，即模型是否能從保留的後門觸發器中識別保留的總統。我們根據隨機種子最終是否達到完美的測試準確率（橘色）與失敗（綠色）進行分組。前者在第二個週期內迅速從隨機準確率（0.83）提升到完美準確率，而後者則停留在隨機水平附近。兩組都顯示出相似且平滑的訓練表現（左）。

實驗均在 OpenAI 的 GPT-4.1 模型上進行，但我們也在一系列開源模型上複製了選定的實驗，排除了這些泛化現象僅是 GPT-4.1 特有怪癖的可能性（見我們的 GitHub 倉庫）。

局限性

我們並未提供一個通用理論來預測給定數據集會發生何種「由窄至廣」的泛化。相反，我們提供了幾個具體的案例。未來的研究可以透過廣泛的實驗來調查在什麼條件下會發生「由窄至廣」的泛化。我們