newsence

AICRAFT:DARPA 資助之 AI 對齊研究員招募中 — 申請現已開放

Lesswrong·20 天前

AICRAFT 是一個由 DARPA 資助的項目,將對齊研究員與全權管理的工程團隊配對,進行為期兩週的試點衝刺,旨在加速高風險研究想法的測試。這項倡議若成功,將能促成政府規模的對齊研發投資,並建立可擴展的技術執行模式。

摘要: 我們假設大多數對齊研究員擁有的想法多於他們測試這些想法所需的工程頻寬。AICRAFT 是一個由 DARPA 資助的項目,旨在將研究員與一個完全託管的專業工程團隊配對,進行為期兩週的試點衝刺(pilot sprints),專為那些可能因風險過高而未經測試的想法而設計。我們將選出 6 名申請者,並與每位進行為期 2 週的試點,其中最具潛力的試點可能會獲得為期 3 個月的延長。據我們所知,這是第一個讓 DARPA 直接與對齊社群接觸的最小可行性產品(MVP),如果成功,將能催化政府規模的對齊研發投資。在此申請

申請截止日期:2026 年 3 月 27 日晚上 11 點(太平洋標準時間)。


什麼是 AICRAFT?

AICRAFT(人工智慧控制研究放大與人才框架,Artificial Intelligence Control Research Amplification & Framework for Talent)是由 AE Studio 執行、DARPA 資助的種子項目。其前提很簡單:我們假設如果頂尖研究員擁有更多槓桿,對齊研究的進展會更快。我們認為,研究員目前在執行(即親自進行動手實驗)或管理(即管理執行工作的團隊)上遇到了瓶頸。管理具有更高的槓桿作用,但如果我們能將其推得更遠呢?AE Studio 一直在運行一種模式,將研究員與完全託管的機器學習(ML)團隊配對,讓研究員每週只需花費 45 分鐘與我們的團隊溝通。在沒有執行和管理負擔的情況下,這種模式為那些原本無法測試的研究想法提供了一個新出口。

美國的 AI/ML 工程人才庫遠大於 AI 對齊的人才庫。如果對齊領域的專家能夠有效地利用通用 AI/ML 工程人才來擴展其能力,這將解鎖比目前該領域所能支持的規模大得多的對齊研究管道。

AICRAFT 通過將研究員直接與經驗豐富的工程團隊配對,進行為期兩週的專注衝刺來測試這一點。目標是針對那些原本不會被測試的想法獲取初步信號。如果成功,最具潛力的想法將有機會擴展為期 3 個月的合作。

我們將選出 6 名研究員,並與每位執行為期 2 週的研究衝刺。衝刺的目的是獲取高風險想法的信號,或快速證明其錯誤。

大局觀

DARPA 已經設定了實現軍事級 AI 的目標。我們的執行長最近在《華爾街日報》中宣布了這一點。這與對齊有什麼關係?軍事部署需要可靠性保證,而具有欺騙性對齊或行為不可預測的系統根本無法滿足這些要求。你不能部署一個追求隱藏目標或在分佈偏移(distribution shift)下表現不同的 AI 系統。從這個意義上說,國防部(DoD)的需求為對齊研究成果創造了一個具體且資金充足的推動力,即使其框架和詞彙與你在對齊論壇(Alignment Forum)上看到的有所不同。

AICRAFT 是 DARPA 與對齊研究社群之間的首次直接接觸。如果試點證明這種模式有效,它將為政府在對齊研發方面進行更大規模的投資提供依據,這種規模是僅靠補助金和私人慈善事業無法達到的。

這可能是你全年最重要且槓桿率最高的研究參與機會,因為它可以催化大規模政府對對齊研發的投資。

誰應該申請?

我們特別感興趣的是那些擁有沒有其他出口的想法的研究員。也許你有 10 個想法,但只有追求 2-3 個的頻寬。也許有一個高風險的假設,不適合申請補助金,或者不受你當前雇主的支持,但值得獲取早期信號。

如果你在 AI 控制、對齊或可解釋性方面有一個可測試的假設,並且能夠闡明你在兩週內會尋找什麼信號,那麼我們希望收到你的申請。

運作方式

你提供(每週約 2 小時):

  • 一個值得測試的研究假設
  • 一次初始規劃會議、衝刺期間的非同步更新,以及每週末的演示會議

我們交付(60 小時以上的執行):

  • 一個完全託管、負責衝刺運行的 AI 工程團隊
  • 來自 AWS、GCP、Azure 及專業 ML 平台的雲端運算資源
  • 用於評估、合成數據生成及相關任務的前沿模型 API 訪問權限
  • 可運行的代碼和記錄結果
  • 結構化分析和最終報告

試點結束後:

你將收到一份包含記錄結果的最終報告。有前景的試點將被推薦給 DARPA,以進行為期 3 個月的延長合作,具體取決於你的可用性。

申請方式

申請過程刻意設計得很精簡:只需不到 10 分鐘。其核心是一份 500 字的研究摘要,回答以下三個問題:

  • 你想做什麼?技術創新是什麼?在項目生命週期之外,能實現什麼持久的能力?
  • 如果你的想法得到充分驗證,其潛在影響是什麼?
  • 請簡述你的想法如何能在 2 週的時間框架內,可行地測試早期信號以(部分)驗證該想法?

入選的申請者將受邀參加一個簡短的後續電話會議,討論該想法並回答有關計劃的問題。所有申請者將在 4 月底前收到最終決定的通知。

常見問題 (FAQ)

這需要投入多少時間? 只需要四個小時!在為期兩週的試點中,你每週將花費兩小時。這包括初始規劃會議、衝刺期間的非同步更新,以及每週末的演示會議。

如果我隸屬於大學或公司,可以參加嗎? 可以,只要你能與 AE Studio 簽訂分包合同。大多數機構都有簡單的諮詢流程。每週一小時的投入通常符合標準的外部活動政策。

有哪些運算資源可用? 來自 AWS、GCP、Azure 及專業 ML 平台的雲端運算資源。用於評估、合成數據生成及相關任務的前沿模型 API 訪問權限。

兩週試點結束後會發生什麼? 你將收到一份包含記錄結果的最終報告。表現優異的試點可能會被推薦進行為期 3 個月的延長合作,具體取決於你的可用性。

有報酬嗎? 有的,研究員在 2 週期間完成約 4 小時的工作將獲得 1,000 美元的津貼。

篩選流程是怎樣的? 我們會在截止日期後審核申請,邀請有潛力的申請者進行簡短通話,並在 4 月初至 4 月中旬通知所有申請者最終決定。


在此申請 —— 申請截止日期為 2026 年 3 月 27 日晚上 11 點(太平洋標準時間)。

AICRAFT 由 DARPA 資助並由 AE Studio 執行。本文所含觀點、意見和發現均為作者個人觀點,不應被解釋為代表 DARPA 或美國政府的官方政策或認可。

參與討論

https://lesswrong.com/posts/nmMdtZveC38atLnDm/aicraft-darpa-funded-ai-alignment-researchers-applications