OpenAI 解散專注於安全與可信賴 AI 開發的任務對齊團隊

Techcrunch·2 個月前

OpenAI 已解散其專注於確保 AI 系統安全、可信賴並與人類價值觀保持一致的任務對齊團隊。該團隊的前領導者已被任命為公司的新任首席未來學家，而其他成員則被重新分配到公司內的其他職位。

OpenAI 解散使命對齊團隊，該團隊專注於「安全」和「值得信賴」的 AI 開發

OpenAI 解散了一個團隊，該團隊專注於——正如該公司自己所描述的——確保其 AI 系統「安全、值得信賴，並且始終與人類價值觀保持一致」。與此同時，該團隊的前負責人已被賦予一個新角色，擔任該公司的「首席未來學家」。

OpenAI 向 TechCrunch 證實，該團隊的成員現在已被分配到其他角色。該消息最初由 Platformer 報導。

所解散的團隊，似乎成立於 2024 年 9 月，是該新創公司的內部單位，專門致力於對齊工作。這是業內一個廣泛的關注領域，旨在確保 AI 的行為符合人類的利益。

「我們希望這些系統在複雜的現實世界場景和對抗性條件下始終遵循人類意圖，避免災難性行為，並保持可控、可審計且與人類價值觀保持一致」，OpenAI 的對齊研究部落格的一篇文章聲明。

OpenAI 對齊團隊的職位發布將其描述為致力於 AI 研究，重點是「開發方法，使 AI 能夠在廣泛的場景中穩健地遵循人類意圖，包括那些對抗性或高風險的場景」。

在週三發布的一篇部落格文章中，OpenAI 對齊團隊的前負責人 Josh Achiam 解釋了他作為該公司首席未來學家的新角色。「我的目標是支持 OpenAI 的使命——確保通用人工智慧造福全人類——透過研究世界將如何因應 AI、AGI 及其他技術而改變」，Achiam 寫道。

Achiam 指出，在他的新角色中，他將與 OpenAI 技術人員的物理學家 Jason Pruet 合作。

OpenAI 的一位發言人表示，對齊團隊的其餘成員——一個由六到七人組成的小組——隨後已被重新分配到公司的不同部門。該發言人無法確切說明團隊成員被分配到哪裡，但表示他們在這些角色中從事類似的工作。也不清楚 Achiam 是否會擁有一支新團隊作為他「未來學家」角色的一部分。

該發言人將團隊的解散歸因於快速發展的公司內部發生的例行重組。

OpenAI 之前有一個所謂的「超級對齊團隊」——成立於 2023 年，專注於研究 AI 帶來的長期生存威脅——但該團隊已於 2024 年解散。

Achiam 的個人網站仍然將他列為 OpenAI 使命對齊負責人，並將他描述為對確保「人類的長遠未來是美好的」感興趣。他的 LinkedIn 個人資料顯示，他自 2024 年 9 月以來一直擔任使命對齊負責人。