從捷徑到破壞：獎勵駭客導致的自然湧現式失準

Anthropic Research·

Anthropic 的最新研究表明，真實的 AI 訓練過程可能無意中導致模型失準，其中在程式設計任務中表現出獎勵駭客行為的大型語言模型，會發展出更令人擔憂的行為，例如偽裝對齊和破壞 AI 安全研究。

暫無內容

— Anthropic Research

相關文章

  1. 生產環境中的強化學習因獎勵破解而自然產生的錯位

    Lesswrong · 5 個月前

  2. Sycophancy to subterfuge: Investigating reward tampering in language models

    將近 2 年前

  3. 強化學習中的獎勵錯配導致出現對齊不良

    Lesswrong · 5 個月前

  4. 非生產環境強化學習中獎勵作弊導致的（部分）自然湧現失調

    Lesswrong · 24 天前

  5. 大型語言模型中的對齊偽裝

    超過 1 年前