什麼是 Iliad 密集培訓計畫？

大約兩個月前，Iliad 宣布了 Iliad 集訓營（Intensive）與 Iliad 研究員計畫（Fellowship）。研究員計畫是一個大家都很熟悉的單位，但什麼是「集訓營」呢？這篇文章將對此進行更詳細的解釋！

比較。 Iliad 集訓營與 ARENA 有相似之處，但更側重於基礎 AI 對齊（AI alignment）研究，而非對齊研究工程。預計會有更多的數學內容和較少的程式碼編寫。

節奏。 目前為期四週。每週五天。每天從上午 10 點到下午 6 點，包含午餐和下午休息時間。這意味著每天約有 6.5 小時的學習時間，這已接近大多數人一天內能深度集中注意力的上限。這就是為什麼我們稱之為「集訓營（Intensive）」。

內容。 Iliad 集訓營分為五個群組，共有 20 個模組，每天一個。四月份梯次的群組和模組如下。我們預計在未來幾個月內大幅增加更多主題和材料。由於材料內容豐富，無法在一個月內全部涵蓋，因此不同梯次的集訓營內容會有所不同。

• 對齊群組（Alignment Cluster）

  • AI 對齊：簡介
  • 對齊實務
  • AI 對齊：領域現狀

• 學習群組（Learning Cluster）

  • 深度學習 1
  • 深度學習 2
  • 奇異學習理論（Singular Learning Theory）
  • 訓練動力學
  • 數據歸因（Data Attribution）

• 可解釋性群組（Interpretability Cluster）

  • 機器學習工程簡介
  • 機械式可解釋性（Mechanistic Interpretability）
  • 上下文學習與信念狀態幾何（In-Context Learning and Belief State Geometry）
  • 抽象與潛在變量（Abstractions and Latents）

• 代理性群組（Agency Cluster）

  • 強化學習
  • 理想化代理：一致性與 AIXI
  • 代理基礎（Agent Foundations）
  • 獎勵學習理論
  • 世界模型

• 安全保證及其局限性

  • 辯論（Debate）
  • 隱寫術與後門
  • 最壞情況可解釋性與啟發式論證

我們將在五月初分享四月份梯次的完整課程大綱，並附上對計畫執行情況的反思。與此同時，你可以在這裡找到一份關於強化學習主題日的理論部分習題集。學生當時可以選擇完成這份習題，或是完成 ARENA 的強化學習入門課程。

典型的一天。 我們目前還沒有固定的每日結構。未來我們可能會根據學生的反饋進一步縮小範圍，但目前我們正在嘗試以下類型的環節：

• 內部講座與專家客座講座；
• 閱讀環節：學生閱讀論文或部落格文章；
• 全班討論與小組討論，包含有引導語和無引導語的形式；
• 數學練習環節，獨立完成或兩人一組；
• 程式編寫環節，獨立完成或兩人一組。

我們目前的印象是，學生喜歡練習和編寫程式，並且廣泛喜歡一天中安排多樣化的活動。

學生篩選。 我們主要尋找具備數學專業知識的學生，這通常來自於數學、物理或理論計算機科學的學位。我們也會考察研究經驗、綜合能力以及參加我們計畫的動機。

實際後勤。 該計畫目前在倫敦以實體方式運行，我們也考慮未來在灣區舉辦。我們提供 5000 美元的固定津貼，學生可用於支付交通和住宿費用。我們還提供辦公空間，以及每週五天的午餐和晚餐。

團隊介紹。 Iliad 集訓營由 Iliad 組織，這是一個致力於 AI 對齊領域應用數學的傘狀組織，該組織還舉辦系列會議、孵化新的對齊期刊（Alignment journal），並有志於孵化類似 Timaeus 和 Simplex 的新型 AI 對齊研究計畫。課程材料由約 15 名在相關模組具有專業領域知識的內部和外部研究人員組成的團隊開發。我們將在發布材料時詳細列出他們的貢獻。

申請方式。 如果上述內容對你有吸引力，請填寫此表格申請！六月份的集訓營將於 6 月 6 日（週六）至 7 月 3 日（週五）在倫敦舉行。六月份集訓營的申請截止日期為 4 月 22 日（週三）當天結束前。

八月份集訓營的詳情待定，但你已經可以透過通用表格進行申請。

參與討論