Coefficient Giving(前身為Open Phil)技術補助金審批的三項正面更新

Lesswrong·

我正在分享 Coefficient Giving 技術 AI 安全資助工作的正面進展以鼓勵更多人申請,並強調這份工作的核心在於主動塑造具影響力的研究,而非僅僅評估邊際性的提案。

Open Philanthropy 旗下的 Coefficient Giving 技術 AI 安全團隊正在招聘撥款決策人(grantmakers)。我想這是一個分享我加入團隊一年以來,關於這個職位的一些正面更新的好時機。

重點摘要:我認為這個職位比我剛開始時預期的更有影響力、也更有趣,我認為應該有更多人考慮申請。

這不只是關於「邊際」撥款

有些人認為在 Coefficient 擔任撥款決策人,意味著從一大堆撥款申請書中篩選,並決定對哪些案子說「好」或「不好」。因此,他們認為唯一的影響力在於我們對邊際撥款(marginal grants)的決策有多好,因為所有優秀的撥款案都是顯而易見的選擇。

但撥款決策人不僅僅是評估提案,我們還會主動引導提案。我大部分的時間都在思考如何讓更好的提案進入我們的流程:撰寫描述我們想資助的研究項目的徵求建議書(RFP)、向有前途的研究人員推銷 AI 安全研究議程,或者引導申請人轉向目標更精準或更具雄心的提案。

或許更重要的是,cG 的技術 AI 安全撥款策略目前尚未開發完全,即使是初級撥款決策人也可以協助制定策略。如果你有什麼希望我們去做的事,很有可能我們沒做的原因只是因為我們沒有足夠的精力去深入思考,或者缺乏正確的專業知識來區分提案的好壞。如果你加入 cG 並想優先處理這項工作,你很有可能在該領域推動大量工作的進展。

這具體體現為:隨著我們團隊在過去一年中人數增加了兩倍,我們做出的撥款數量也大約增加了兩倍,而且我們認為每美元撥款的影響力分佈保持不變。也就是說,我們在影響力分佈的高端以及邊際端所投入的撥款金額都大約增加了兩倍。

舉一個更具體的例子。大約一年前,Jason Gross 向我申請 1 萬美元的運算資源來進行他正在做的一項實驗。我與他交談了幾次,並鼓勵他制定更宏大的計劃。隨後他、我以及 Rajashree Agrawal 之間的對話,促使我給了他們 100 萬美元的撥款,嘗試在形式化軟體驗證(formal software verification, FSV)領域創立一些具雄心的項目(我相當看好 FSV 作為防禦/加速 + 緩解獎勵操縱的手段)。他們最終創立了 Theorem,一家專注於形式化軟體驗證的新創公司,後來成為第一家被 YC 錄取的 FSV 新創公司,隨後更以該梯次中估值最高的公司之一完成了融資。Jason 和 Rajashree 表示,如果沒有我最初的撥款,他們極不可能設定如此宏大的目標。這對我來說一點也不「邊際」,但如果我不在這裡,這件事就不會發生。

沒有所謂的「反事實」撥款決策人

一年多前當我獲得這份工作時,我被告知我是唯一仍在考慮範圍內的候選人,如果我不接受,就沒有其他人可以發放錄取通知了。在我們目前的招聘輪次中,我們希望招聘 3-4 名技術 AI 安全撥款決策人,但目前看來,是否能找到足夠多符合標準的候選人仍是未知數。如果你獲得了錄取通知卻不接受,最可能的結果就是我們少招一個人。

為什麼會這樣?我認為主要原因是申請我們職位的人比你想像的要少(如果你已經申請了,謝謝你!)。我們正在尋找能夠在研究生涯中取得成功的人,而大多數這樣的人並不想離開研究領域。此外,如果你擁有良好的人脈並對技術 AI 安全有豐富的背景知識,對這個職位會很有幫助。大多數擁有豐富背景知識的人都已經在自己的崗位上安頓下來,不太可能申請。另外,成為一名優秀撥款決策人所需的技能組合,包含了一些對優秀研究人員來說不那麼重要的特質,因此偶爾會有表現強勁的研究人員在申請時展現出不適合的特質,即使他們在紙面上看起來可能非常優秀。

這一切意味著,我們的頂尖候選人最終具有極高的「反事實」價值(counterfactual value)。他們接受或拒絕這個職位,不僅僅是相對於我們可能雇用的另一個人稍微改善了結果,而是反事實地促成了數千萬美元流向那些極具影響力、否則就不會獲得資助的項目。

如果我們如此缺乏撥款決策人力,為什麼不降低招聘標準?我想我們的標準會比過去稍微降低一點;我們真的很想填補這些職位。但同時,我們認為嚴重降低招聘標準會產生彌散性的長期負面影響。我承認,也許我們在權衡上做錯了。

(如果你是因為反事實論點而心動想申請,但如果發現我們已經有足夠多其他優秀申請者就想退出,請隨時在申請中註明。如果我們意外獲得大量強大的申請者,導致合格候選人超過招募人數,我們會很樂意告知你,如果你選擇退出,我們也不會介意。)

撥款決策比我預期的更有趣、更有動力

在加入 OpenPhil 之前,我是那種典型的「研究型人格」。我大部分時間都在思考古怪的理論數學想法。我的工作風格是混亂的學術風:在隨機的時間睡覺,在隨機的時間和地點工作,主要專注於當時感興趣的任何事物。

現在我有了一個團隊和一名主管,我有很多需要完成的事情。在可預見的未來,我不打算發表任何署名我的論文。但是,我真的很享受這一切!為什麼我會比預期的更享受這份工作,甚至比我進去之前的預期還要好?一些因素包括:

  • 我確實花了不少時間思考具體的技術內容。這主要體現在與頂尖研究人員交談,但也包括閱讀學術論文,以及參加會議與人們討論他們的研究或爭論 AI 安全問題。如果你願意,這可以成為工作的重要組成部分。
    cG 技術職位的一個優點是,我們有很多通才撥款決策人,但技術專家並不多。這意味著大家專注於高效利用擁有技術專長的人,這意味著我可以將比預期更多的時間花在技術事務上。例如,對於具有重大技術和非技術調查成分的大型撥款,我通常會與一名通才撥款決策人搭檔,由他處理非技術方面的事務。我可以花更多時間思考哪些研究議程是有前途的,而花較少時間擔心某個組織是否擁有健全的董事會等,這超出了我的預期。

  • 我所做的工作感覺很重要且具體。我去參加會議,看到人們走動並發表演講,如果沒有我的撥款,他們就不會出現在那裡。一位有前途的初級人員提到,他剛在我資助擴編的組織找到了一份工作。也許這很陳詞濫調,但我確實認為,看到我的工作對領域形態產生的影響,是非常有動力的。

  • 我獲得的授權比我加入時預期的要多得多。我獲得了超出預期的信任,並被授權根據我的內部觀點(inside view)做出決策。我的主管不斷推動我承擔更大的項目,變得更有野心、更有創意、更有主動性(agentic)。結果,我認為自己變得更有野心和主動性了,察覺到自己的這種轉變非常有動力。我認為如果你覺得自己想成長為一個更具主動性、更有野心的版本,那麼這個職位可能很適合你,即使你還不確定結果會如何。

  • 這個職位可以非常有社交性。我花了很多時間與研究人員討論他們正在做的研究及其原因。我沒有那麼多時間深入底層技術細節,至少在日常工作中是這樣,但我發現,與技術細節接軌的高層策略思考,其實可以滿足我大部分親自做研究時的渴望。我也認為,思考關於技術 AI 安全和 AI 未來的策略性問題是非常有趣的課題。

請申請吧!

如果這一切聽起來對你有吸引力,你可以在 12 月 1 日前點擊這裡申請!我們的團隊資助了許多偉大的研究——從擴大像 RedwoodApollo 這樣的研究組織,到引導像我們的 RFP 中描述的項目,再到主動孵化新的倡議。

去年,技術 AI 安全團隊做出了 4000 萬美元的撥款;今年將超過 1.4 億美元。我們希望在 2026 年進一步擴大規模,但目前團隊中只有三名撥款調查員,因此我們經常受限於撥款決策人的頻寬。如果你認為自己可能非常合適,你的申請可能決定了我們是找到合適的人,還是讓職位空缺。如果你有更多問題,可以在 LW 上私訊我,或透過 jake [at] coefficientgiving [dot] org 與我聯繫。

Lesswrong

相關文章

其他收藏 · 0