AI 安全領域最大的缺口不是研究員，而是通才

這篇文章同時發佈於 EA Forum

重點摘要： AI 安全領域最大的專業人才缺口之一是稱職的通才：專案經理、領域建設者（fieldbuilders）、營運人員、組織領導者、幕僚長、創辦人。有抱負且稱職的初級人才可以培養填補這些職位所需的技能，但目前缺乏讓他們獲得技能、經驗和資歷的良好路徑。相反地，他們被激勵去追求顯而易見的技術和政策研究員計畫，進而成為全職研究員，即使這並不符合他們的技能專長。生態系統需要讓通才職涯變得更明確且更易於進入。

Kairos 與 Constellation 宣布啟動 Generator Residency 作為第一步。 請於 4 月 27 日前在此處申請。

認識論狀態（Epistemic status）：相當有信心。基於過去兩年運作 AI 安全人才計畫的經驗、直接招聘經驗，以及過去 6 個月與生態系統中約 30 位資深組織領導者的對話。

問題所在

在過去幾年中，受《情勢覺察》（Situational Awareness）、《AI 2027》、《若有人造出它，所有人都會死》（If Anyone Builds It, Everyone Dies）等文章，以及模型本身能力的快速提升所推動，AI 安全已從邊緣關注轉向更主流的議題。

在此期間，已啟動了超過 20 個研究員計畫（fellowships），總計培訓了數千名研究員，僅今年預計就有 2,000 至 2,500 名研究員^([1])。強大的技術和政策研究人才狀況雖尚未完全解決，但已取得顯著進展。

非研究人才的情況則大不相同。據我們統計，針對非研究人才的研究員計畫大約只有 7 個（今年產出約 300 名研究員^([2])），且分散在各種職位類型中。因此，AI 安全領域內的許多關鍵職能仍面臨嚴重的人才限制。

更廣泛地說，這個生態系統中有很多擅長思考「想法」的人。我們需要更多擅長思考「人」和「專案」的人。在此閱讀更多相關內容。

我們從生態系統中資深人士那裡聽到的一致回饋是，最難填補的職位並非研究職位。它們是：

• 通才（Generalists）：營運人員、執行者、領域建設者、人事與專案經理、資助者、招募人員。能夠構思、管理並執行廣泛非研究專案的人。
• 創辦人（Founders）：包括技術型和非技術型，負責建立新的研究和非研究組織。
• 傳播專業人士（Communications professionals）：能從事政策和研究傳播工作的人。
• 幕僚長型人才（Chief-of-Staff types）：能支援資深領導者並倍增其影響力的人。
• 資深營運人員（Senior operational people）：在網路安全、政策或大型專案管理等領域具有專業知識的人。

根據我們的經驗以及來自網路中組織的軼事^([3])，許多試圖招聘的組織發現，研究職位的招聘啟事能吸引數十名合格的申請者；而儘管收到數百份申請，非研究職位的招聘啟事往往只能篩選出 0 到 5 名符合核心要求（強烈的使命一致性、深刻的 AI 安全背景知識和綜合能力）的申請者。

為什麼人才管道斷裂了

研究員計畫的版圖大規模向研究傾斜。

大約 20 個研究計畫每年共同產出 2,000 至 2,500 名研究員。在領域建設方面，目前的選擇基本上只有 Pathfinder（絕大多數研究員仍打算追求研究職涯）以及 Astra 的少數專門領域建設名額。據估計，這些計畫每年僅產出 5 到 10 名被聘用的領域建設通才。這種不對稱傳遞了一個訊號：進入全職 AI 安全工作的首要途徑是透過研究。雖然研究是安全的核心，但尋找並培養能夠管理研究專案、運行組織以及實施和傳播研究想法的人才也同樣必要。

通才沒有明確的職業階梯。

研究導向的人有一條成熟的軌跡：BlueDot → ARENA → SPAR → MATS → 初級研究員 → 資深研究員。雖然這條路徑並不完美，但通才領域完全沒有類似的機制。典型的路徑是運作一個強大的大學社團，然後寄希望於被領域建設組織直接聘用，之後便沒有中間步驟或明確的晉升路徑。這種風險阻礙了那些本可以成為優秀通才的人投入這條道路。

缺乏資歷證明或試煉場。

研究領域中，參與研究員計畫能提供過往記錄和招聘信號，但有抱負的通才沒有同等的方式來證明自己的能力。組織不會聘用未經測試的初級人才來擔任關鍵的營運職位，但初級人才卻無處接受測試^([4])。

缺乏媒合基礎設施。

將人才與機會媒合主要透過隨機的推薦和個人網絡。這無法規模化，也意味著我們經常錯過有前途的候選人。隨著領域的成熟和制度結構的增長，協調開銷和既定網絡使得有抱負的通才比幾年前更難自行啟動專案並脫穎而出。

為什麼現在這很重要

我們認為，現在準備好實施的優秀政策和技術想法，已經多於政府和 AI 公司中實施這些想法所需的協調能力和政治意志。在邊際上，我們認為額外研究員進入該領域帶來的回報正在遞減，特別是對於非前 10% 的研究人才。同樣合理的是，在 AI 發展的起飛期（takeoff），AI 安全研究可能會比大多數其他類型的工作更快實現自動化。

許多人預期 AI 安全的資金版圖將在未來兩到三年內顯著擴張，這使得人才瓶頸更加緊迫。將會有更多資金可用，但如果沒有人能有效地部署它，這些資金將保持停滯。這似乎已經成為目前資助者的瓶頸，而且情況可能會變得更糟。

直觀地說，隨著能力的進步，世界預計會變得更加怪異。在一個對 AI 安全生態系統的需求迅速增加和演變的世界中，培養具有強大思考能力、行動力（agency）和執行力，而非僅具備狹隘技術技能的人才，似乎具有極高的槓桿作用。

這點特別重要，因為它使我們能夠分散投資，並覆蓋大量的影響力機會。擴大 AI 安全領域、提升政策努力或向公眾傳播的專案想法並不缺乏，但我們根本沒有足夠的人才來規劃、設計和執行所有這些想法。我們的瓶頸不是資金或想法，而是人。

反對意見

「你說有數百人申請這些職位。為什麼其中一些人不能成為合適的人選？難道沒有很多人可以填補營運職位嗎？」

我們將「硬營運（hard ops）」和「軟營運（soft ops）」區分開來。硬營運職位（財務、法律、人力資源等）受益於專業知識，聘請沒有 AI 安全背景的資深專業人士通常就足夠了。軟營運職位（專案管理、人才管理、通才職位等）則不同。領域專業知識的重要性次於對該領域擁有強大的內部視角模型（inside-view models）和通才能力。在這些職位上取得成功需要真正的使命一致性，以及足夠的背景知識來發現高期望價值（high-EV）的機會，而沒有這種背景的人會錯過這些機會。

「我不確定我是否同意研究人才不如通才人才重要。」

我們並非刻意對通才與技術/政策研究員的影響力進行強烈的比較。我們想說的是，通才人才目前是「約束瓶頸（binding constraint）」。它比研究人才更難尋找，且在我們的模型中，它代表了生態系統將資金和想法轉化為影響力的更窄瓶頸。

「在短時間線（short timelines）的世界中，通才人才有多重要？」

我們的感覺是，通才人才在所有時間線中都至關重要。雖然較短的時間線確實壓縮了提升技能的窗口，但我們的經驗是，積極的初級人才可以相對快速地提升技能，並協助增加迫切需要的產能，這使得即使在短時間線（少於 3 年）的世界中，建立人才管道的對沖價值（counterfactual value）也非常高。

「你認為有這麼多研究計畫，卻沒有針對非研究人才的計畫。但那些計畫難道不能產出通才嗎？」

現有的研究計畫經過良好優化，在產出並將研究員安置到 AI 安全職位方面有著良好的記錄。雖然有些研究員轉向了非研究職位，但根據軼事，這種情況很少見。這些計畫在引導對不同職涯路徑持開放態度的人才走向研究方面，似乎比產出對不同職涯路徑持開放態度的研究員有著更強的記錄。

「目前 AI 安全領域不是有很多非研究職位嗎？」

目前大約有幾百人在從事這項工作，而研究員則有幾千人。過去曾有更穩定的志向於這些職位的人才流，但短時間線的焦慮、研究計畫的擴張，以及過去存在的一些入門點的消失，使得人才管道大幅收縮。

Generator Residency 計畫

作為解決這些問題的第一步，Constellation 與 Kairos 宣布啟動 Generator Residency：一個為期 3 個月、規模 15-30 人的計畫，專注於培訓、提升技能、資歷證明以及安置通才。計畫於 2026 年 6 月 15 日至 8 月 28 日運行，申請截止日期為 4 月 27 日。

在此了解更多並申請

運作方式：

進駐者（Residents）將在 Constellation 工作，並獲得來自 Redwood、METR、AI Futures Project 和 FAR.AI 等組織的成功通才所提供的想法、資源（資金、辦公空間）和指導。

在前幾週，進駐者將撰寫並完善自己的專案提案，同時與 Constellation 網絡會面並建立領域背景。隨後，他們將單獨或分組執行為期約 3 個月的專案，並擁有優渥的專案預算。在整個計畫期間，我們將提供研討會、一對一指導和其他機會，讓進駐者深入了解當前的技術和政策工作、變革理論（theories of change）以及生態系統中的缺口。

在計畫期間和之後，我們將支持進駐者在具影響力的組織中尋找職位、將其專案轉化為新組織，或讓其專案被現有組織收購。獲選的進駐者可以繼續執行其專案額外三個月（全職實體或兼職遠端），並繼續獲得津貼、辦公室使用權和住宿。

我們希望在計畫結束後的 12 個月內，將大多數尋求工作的進駐者安置到具影響力組織的全職職位中。

我們感興趣的專案範例包括：

• 工作坊與會議： 舉辦特定領域的會議，如 ControlConf 或 AI Security Forum，或像 GCP 這樣將新人才引入 AI 安全領域的會議，針對高槓桿的新受眾或新興子領域。

• AI 傳播研究員計畫： 為熟練的傳播者設計並管理一個短期研究計畫，以產出 AI 安全內容。起草課程、確定導師、爭取資金並準備試點梯次。

• 招聘管道： 與 2-3 個小型 AI 安全組織合作，建立他們擴大規模所需的系統：工作測試、候選人尋找、推薦管道。

• 差旅資助計畫： 資助有前途的學生和專業人士訪問 AI 安全中心（如 LISA 和 Constellation）。設定標準、建立申請流程、聯繫合作夥伴推薦並進行試點。

• 共享算力基金： 評估一項基金以滿足獨立安全研究人員的算力需求，建模是否需要集群，並發放試點輪資助。

• 策略覺察工具： 在安全基礎設施中擴大 AI 驅動的超級預測和情景規劃規模，在具影響力的利益相關者中建立支持，並進行試點。

• AI 政策職涯管道： 在政策職涯計畫中建立工作坊、實務者講座和銜接機制，將人才引導至塑造政策的機構。

• ^(^) 此估計源自一項獨立分析，該分析利用公開和私下可得的資訊預測研究員人數，並根據截至 2024 年底的實際數據進行推斷。分析中包含的研究員計畫有：AI Safety Camp, Algoverse, Apart Fellowship, Astra Fellowship, Anthropic Fellows Program, CBAI, GovAI, CLR Summer Research Fellowship, ERA, FIG, IAPS AI Policy Fellowship, LASR Labs, PIBBSS, Pivotal, MARS, MATS, SPAR, XLab Summer Research Fellowship, MIRI Fellowship, 以及 Dovetail Fellowship。

• ^(^) 分析中包含的計畫有：Tarbell (AI 新聞), Catalyze Impact Incubator (AI 安全創業), Seldon Lab (AI 韌性創業), Horizon Institute for Public Service Fellowship (美國 AI 政策/政治), Talos Fellowship (歐盟 AI 政策/政治), Frame Fellowship (AI 傳播), 以及 The Pathfinder Fellowship。研究員人數主要源自公開數據。

• ^(^) 我們刻意模糊處理所指的組織，因為我們尚未獲得披露近期招聘結果的許可。對於研究職位，我們主要指技術性 AI 安全非營利組織、政策非營利組織和智庫。對於非研究職位，我們主要指領域建設非營利組織，以及近期嘗試招聘需要超越 BlueDot 課程之 AI 安全背景的非研究人才的技術與政策非營利組織。

• ^(^) 幾年前，有抱負的通才在基礎設施極少、空白領域充足的生態系統中，更容易透過自行啟動專案來測試自己的合適度。隨著領域的發展，制度結構增多，隨之而來的是更多的協調開銷。空白期已過，生態系統的複雜性現在阻礙了沒有強大內部視角模型、聲譽或既有聯繫的人嘗試雄心勃勃的專案。我們不確定這在大多數情況下是否為負面影響，但這確實意味著更少的人能獲得定位自己以勝任這些職位所需的經驗。

參與討論