OpenAI 擬進行人類史上潛在最大規模的竊取行為

Lesswrong·

OpenAI 轉型為利潤不設限的公益企業,代表著財富從非營利基金會大規模轉移至私人投資者手中,這可能構成歷史上最大的竊盜案之一。我對監管機構允許這種價值數千億美元、原定造福人類的資產被徵收感到深惡痛絕。

OpenAI 現在將轉型為益事企業(Public Benefit Corporation, PBC),其投資者將有權獲得不設限的利潤分紅。其非營利基金會將保留一定程度的控制權和 26% 的經濟股份,這與其先前擁有的強大控制權以及大得多的有效經濟股份形成鮮明對比。這次價值轉移高達數千億美元,因此可能是人類歷史上最大規模的竊取。

我說「可能」最大,是因為我意識到有人會爭辯說,圍繞蘇聯解體的事件涉及更大規模的竊取。除非你真的想過度延伸定義,否則這件事似乎穩居前兩名。

我對 OpenAI 朝這個方向推進一點也不感到驚訝,但我對他們被允許(目前而言)這樣做感到深惡痛絕和失望,包括德拉瓦州這份不採取行動的聲明以及這份與加州的諒解備忘錄

許多媒體和公開來源稱這是非營利組織的勝利,例如《舊金山紀事報》的這篇報導。這主要是他們被愚弄了。他們是基於 OpenAI 先前更徹底邊緣化非營利組織的計劃來進行錨定對比。與 OpenAI 先前的計劃相比,這對非營利組織來說確實是一個巨大的勝利。但先前的計劃本會是一場徹底的災難,幾乎是完全的徵收。

這就像一個劫匪要求你交出所有的錢,你說服他讓你留下了一半,然後你把這次交易稱為「讓你重新資本化的變革」。

OpenAI 稱之為完成其資本重組

也就是說,他們聲稱 OpenAI 已「完成了資本重組」,非營利組織現在僅持有 OpenAI 聲稱價值約 1,300 億美元的股權(即公司 26% 的股份,公平地說,如果他們能僥倖成功,這實際上價值遠不止於此),而其先前的地位是在一家估值(包括非營利權益在內)遠超 5,000 億美元的公司中持有大部分利潤權益,此外還推定非營利組織極具價值的控制權將被大幅削弱。

他們聲稱還有這項額外條款,推測基金會獲得了認股權證,但他們在此並未提供細節:

如果 OpenAI 集團的股價在 15 年後增長超過十倍,OpenAI 基金會將獲得顯著的額外股權。憑藉其股權份額和認股權證,基金會定位於成為 OpenAI 成功唯一的最大長期受益者。

我們不知道「顯著」的額外股權意味著什麼,其中涉及某種未披露的公式,但鑑於非營利組織上次被徵收了財產,我不期望這些認股權證會得到履行。如果非營利組織能有意義地保留其剩餘股權,我們就謝天謝地了。

Sam Altman 對此的聲明在此,同時也宣布了他的直播問答,該活動已於週二下午舉行。

到底被偷了多少?

關於具體金額可能存在合理的爭議。但這是一個天文數字。

過去曾有利潤上限,用 Greg Brockman 自己的話來說:「如果我們成功了,我們相信我們創造的價值將比任何現有公司高出幾個數量級——在這種情況下,除了極小部分外,其餘所有價值都將回饋給世界。」

好吧,這話現在隨風而逝了。

我在一年前的《面具脫落:代價為何》中探討過這個問題。

如果我們認真看待 OpenAI 尋求以 1 兆美元估值上市,那麼考慮到 Matt Levine 估計舊的利潤上限僅約 2,720 億美元,且 OpenAI 仍是一場極端上行空間的賭注。

Garrison Lovely:維吉尼亞大學經濟學家 Anton Korinek 使用標準經濟模型估計,AGI 在全球範圍內的價值可能在 1.25 兆到 7.1 萬兆美元之間。如果你採用 Korinek 對 OpenAI 份額的假設,那將使公司的價值達到 30.9 兆美元。在這種情況下,微軟拿走的不到總額的 1%,絕大部分將流向非營利組織。

將這些數字視為幻想是很誘人的。但這個幻想在很大程度上是由 OpenAI 自己構建的,當它寫下諸如「在後 AGI 世界中,很難知道金錢將扮演什麼角色」之類的語句時,或者當 Altman 如果 OpenAI 成功構建 AGI,它可能會「捕捉宇宙中所有未來價值的圓錐光」時。他說,那「絕對不應該由一組投資者擁有」。

我想 Altman 現在對此沒意見了?

顯然,你不能將評估建立在一個將公司估值定為 30.9 兆美元的預測上,出於許多顯而易見的原因,這種計算是非常愚蠢的,包括利潤的邊際回報遞減。

但在可能的未來中,OpenAI 賺到的大部分錢,確實是作為超過 1 兆美元的超額利潤賺取的。

Midas 專案:由於現在已被掏空的利潤上限,OpenAI 的非營利組織原本有權獲得公司絕大部分的現金流。根據 OpenAI 的說法,如果他們成功了,流向非營利組織的資金將比流向投資者的多出「幾個數量級」。總裁 Greg Brockman 曾表示,由於利潤上限,他們賺到的錢「除了極小部分外」都將回饋給世界。

將其減少到 26% 的股權——即使帶有(價值未說明的)認股權證,且僅在估值於 15 年內增長十倍時才啟動——代表人類自願放棄了其原本有權獲得的數百億或數千億美元。私人投資者現在有權獲得大幅增加的份額,而人類獲得的則大幅減少。

OpenAI 並非突然成為史上資源最豐富的非營利組織之一。從公眾的角度來看,OpenAI 可能是歷史上財務表現最差的非營利組織之一,因為它自願將更多公眾應得的價值轉移給了私人利益,這可能超過了以往任何慈善組織。

我認為 Levine 當時的估計偏低,而且你還必須考慮到自那以後籌集的股權或將在 IPO 中出售的股權,但在轉換之前,未來利潤權益的大部分顯然仍掌握在非營利組織手中。

即使我們認為新的控制權與舊的一樣強大,我們仍面臨超過 2,500 億美元的竊取,且可以提出超過 5,000 億美元的合理解釋。我把完整的計算留給他人。

董事會的投票是一致通過的。

我想知道究竟會由誰、以何種方式為此起訴他們,以及結果會如何。埃隆·馬斯克(Elon Musk)至少正在嘗試。

人們常說,每一筆巨大的財富背後都隱藏著一樁罪行。

竊取之後,非營利組織仍持有大量股權

Altman 指出,如果 OpenAI 表現良好,該非營利組織可能成為世界上資源最豐富的非營利組織。這是事實。確實有相當多他們無法偷走的東西。但這與重點無關,這並不能使在未經許可的情況下拿走另一半(包括更改公司結構)的行為不構成竊取。

Midas 專案:從公眾的角度來看,OpenAI 可能是歷史上財務表現最差的非營利組織之一,因為它自願將更多公眾應得的價值轉移給了私人利益,這可能超過了以往任何慈善組織。

最後一個子句中的「可能」可以去掉了。在這種層面上,無論你是否同意「竊取」這個詞,這甚至都不存在競爭,這就是最大規模的轉移。當然,如果你從 OpenAI 非營利組織成立之初整體來看,表現看起來會好一些。

Aidan McLaughlin (OpenAI):啊是的,OpenAI 現在擁有與(查看筆記)Patagonia、Anthropic、Coursera 和 http://Change.org 相同的貪婪公司結構。

Chase Brower:嗯,我認為擔憂在於非營利組織獲得的份額過低。

Aidan McLaughlin:我們的非營利組織目前的估值僅略低於整個 Anthropic。

Tyler Johnson:而根據 OpenAI 自己的說法,它的估值應該大約相當於三個 Anthropic!(順便說一句,我認為重組的問題遠不止估值,但這是其中之一!)

是的,確實如此,在竊取之後且排除控制權的情況下,非營利組織的帳面估值僅略低於整個 Anthropic 的帳面價值。

5,000 億美元的估值排除了非營利組織先前的利潤分成,所以即使你認為非營利組織受到了公平對待且沒有失去控制權,它的價值也應該是 1,750 億美元而非 1,300 億美元,所以是的,略低於 Anthropic,如果你承認非營利組織被偷了,那差距就更大了。

如果 OpenAI 能成功以 1 兆美元估值上市,那麼取決於他們將出售多少新股,非營利組織的價值可能高達 2,600 億美元。

那麼這裡一些可比的治理結構呢?Coursera 看起來確實是一個相當直接的 B 型企業(B-corp)。其他的則不然?

Patagonia 擁有封閉持股的 Patagonia Purpose Trust,持有 2% 的股份和 100% 的投票控制權,以及 Holdfast Collective,這是一個持有 98% 股份和利潤權益的 501c(4) 非營利組織。Chouinard 家族對公司擁有完全控制權,且 100% 的利潤用於慈善事業。

這聽起來像 OpenAI 的新公司結構嗎?

Change.org 的非營利組織擁有其 PBC 的 100% 股權。

這聽起來像 OpenAI 的新公司結構嗎?

Anthropic 是一家 PBC,但也設有長期利益信託(Long Term Benefit Trust)。如果你不考慮參與其中的人,可以爭論這與 OpenAI 的新公司結構有多大的實質區別。

新結構絕對與最初的意圖截然不同:

Tomas Bjartur:如果你還不知道,OpenAI 曾承諾,任何超過門檻的利潤都將贈送給你,世界公民,用於你幸福、超富裕的退休生活——這是必要的,因為他們計劃讓你變得過時。這現在已作廢。

為了進一步融資,這次竊取並非必要

如果 OpenAI 不撤回已完成投資的利潤上限,是否還能籌集到進一步的投資?

當你這樣問的時候,答案顯然是肯定的?

我可以理解這種論點:為了今後籌集資金,未來的股權投資需要不帶上限。好吧,沒問題。但這並不意味著你要把價值數千億美元的資產拱手讓給過去的投資者(包括微軟),以換取空無一物。

有人會爭辯說,這是克服其他障礙所必需的,OpenAI 已經讓自己陷入了另一種困境,別無選擇。但融資的故事說不通。

關於 OpenAI 必須「完成資本重組」否則面臨被要求退款風險的論點更糟。以低於 2,000 億美元估值投入資金的投資者,會在估值現在達到 5,000 億美元時要求退款?真的嗎?如果是這樣,太好了,我知道一個給他們開支票的好方法。

非營利組織將保留多少控制權?

我對德拉瓦州和加州的檢察總長都認為這筆交易對非營利組織的股權補償足夠感到深感失望。

然而,我對控制權的規定感到相當滿意,考慮到轉向 PBC 的決定,這些規定似乎已經是所能期望的最好結果了。我可以接受先前的狀況在實踐中由於先前的事件而無法持續。

新規定包括加州檢察總長的持續監督角色,以及非營利組織(NFP)和安全與安保委員會(SSC)廣泛的安全否決點。

如果我有信心這些規定會得到維持,特別是如果我有信心它們的精神會得到維持,那麼這實際上相當不錯,如果能被明智地使用並持久存在,這比他們的利潤份額更重要。

檢察總長 Bonta:我們將密切關注 OpenAI,以確保其持續遵守慈善使命並保護所有加州人的安全。

非營利組織確實將保留實質性的資源和影響力,但我並不期望公共安全使命會主導 OpenAI 企業。事實上,與「持續」一詞相反,顯然它已經停止這樣做了,這對任何追蹤 OpenAI 活動(包括許多近期活動)的人來說都是顯而易見的。

新的控制結構是什麼?

OpenAI 沒有說明,但德拉瓦州檢察總長告訴了我們更多,加州檢察總長也有額外的細節。這裡及下文中的 NFP 均指 OpenAI 的非營利組織。

這是德拉瓦州檢察總長的非技術性公告(完整列表見下方的加州列表),她還「警告如果 OpenAI 未能維護公眾利益將採取法律行動」,儘管不知為何,我懷疑一旦 OpenAI 不可避免地未能在公眾利益下行動時,這是否真的會發生:

  • NFP 將保留對新成立的 PBC 的控制和監督權,包括任命 PBC 董事會成員以及罷免這些董事的唯一權力和授權。

  • PBC 的使命將與 NFP 目前的使命完全一致,該使命在資本重組後將保持不變。這將包括 PBC 使用「OpenAI 章程」(見 openai.com/charter)中的原則來執行使命。

  • 對於與 OpenAI 企業及其技術相關的安全和安保問題,PBC 董事將被要求僅考慮使命(不得考慮股東的經濟利益或任何其他利益)。

  • NFP 董事會級別的安全與安保委員會(SSC)是 OpenAI 企業安全和安保問題的關鍵決策者,它將保留為 NFP 的委員會,不會移至 PBC。該委員會有權監督和審查 OpenAI 及其受控關聯公司在模型開發和部署方面的安全和安保流程與實踐。它將有權要求採取緩解措施——甚至包括停止發布模型或 AI 系統——即使在適用的風險閾值原本允許發布的情況下也是如此。

  • 安全與安保委員會主席將是 NFP 董事會的董事,且不得是 PBC 董事會的成員。最初,這將由現任委員會主席 Zico Kolter 先生擔任。作為主席,他將擁有完整的觀察權,可以參加所有 PBC 董事會和委員會會議,並將接收定期與 PBC 董事共享的所有信息,以及與 PBC 董事共享的任何與安全和安保相關的額外信息。

  • 為了推進使命,NFP 將有權訪問 PBC 的先進研究、知識產權、產品和平台,包括人工智慧模型、應用程式介面(API)以及相關工具和技術,並獲得 PBC 持續的營運和計劃支持,以及與 PBC 員工的接觸。

  • 在資本重組後的一年內,NFP 董事會將至少有兩名董事(包括安全與安保委員會主席)不在 PBC 董事會任職。

  • 檢察總長將獲得有關公司治理重大變更的預先通知。

加州得到了什麼?

加州也有自己的諒解備忘錄。它在聲明中多次提到加州,特別是 OpenAI 如何創造加州的就業機會和經濟活動(以及「解決問題」?),並致力於做更多這方面的工作,為該州帶來利益並深化對該州的承諾。

Sam Altman 透過推文聲稱他沒有威脅要離開加州,這反而引發了他的推文據稱已回答的問題。在這種層面上,你或許不需要明確表達你的威脅。

不過,實際的清單看起來相當不錯?以下是完整的轉述清單,其中一些與上述德拉瓦州的公告重疊,但更為完整。

  • 留在加州並擴大在加州的足跡。

  • 只要 NFP(非營利組織)繼續持有「N 類普通股」,它就保留控制權,只有他們可以選擇放棄。如果 Altman 想要那些股份會發生什麼?

  • PBC 和 NFP 的使命將完全一致。

  • OpenAI 章程將會公布。已完成。

  • NFP 董事會對 NFP、使命和 NFP 的公眾受益人負有信託責任。我注意到這裡沒有說「排他性地」。

  • 董事會應履行慈善宗旨(這本來就是預期要求的)。

  • 禁止作弊條款:只要 PBC 持有 N 類普通股(再次強調,如果 Altman 試圖終止這一點會發生什麼?),NFP 必須預先以書面形式批准對 PBC 公司治理指南或使命的任何修訂、任何視同清算事件、PBC 任何重大資產的出售,或任何額外發行的 N 類普通股。

PBC 可以發行 B 類普通股,但不能讓 B 類股投票。

  • PBC 董事會和安全與安保委員會(SSC)在安全和安保問題上必須僅考慮使命。SSC 主席必須在 NFP 董事會任職,不得在 PBC 董事會任職,但可以參加所有 PBC 董事會會議,並獲得所有 PBC 安全和安保相關信息。

特別是,SSC 不得考慮股東回報、競爭壓力、財務影響或市場時機。

這似乎不可能 100% 被遵守,但有所幫助。

  • SSC 是 NFP 的一個委員會,負責監督安全和安保。

  • SSC 可以要求採取緩解措施,甚至包括停止發布,且無需正式理由。

「NFP 將就 SSC 權限的任何重大變更向檢察總長提供預先通知。」這很好,但看到這一點也令人擔憂,你懂的。

  • 「OpenAI 將繼續採取措施,減輕與 AI 和 AGI 開發及部署相關的對青少年及其他人的風險。」

我的意思是,我希望他們本來就會這麼做。

  • PBC 應根據使命需要,在無補償的情況下向 NFP 提供所有合理的服務和資源訪問權限。

  • 在一年內,除了 SSC 主席外,至少還有一名 NFP 董事將僅在 NFP 董事會任職(因此至少有兩名董事必須不同)。

  • PBC 董事會必須由多數獨立董事組成。

  • PBC 將擁有各種良好的公司治理措施。

  • PBC 將發布年度報告,說明其在使命方面的進展。

  • NFP 董事會的使命與戰略委員會將每半年與加州檢察總長會面,個別成員將根據需要隨時待命。

  • NFP 在同意變更 PBC 控制權或使命、或對 N 類股份權利的任何威脅、或任何搬離加州的行為之前,將提供 21 天的通知。

  • 加州檢察總長可以審查(並聘請專家協助審查)任何需要此類通知的事項,並由 NFP 支付相關費用。

  • 同時在 NFP 和 PBC 董事會任職的人員每年接受信託責任培訓。

  • 董事會表示資本重組是公平的(哎呀),並且他們已經披露了所有相關信息(?),因此檢察總長也不會反對。

  • 這僅影響諒解備忘錄的各方,其他人保留所有權利。爭議由舊金山法院解決,這些是全部條款,我們都有權這樣做,自簽署之日起生效,檢察總長依賴於 OpenAI 的陳述,且檢察總長保留所有權利,不放棄任何權利,一如既往。

此外,備忘錄中甚至沒有列出,但「合併與協助」條款被保留了,這意味著 OpenAI 承諾與任何有很大機會在兩年內實現 OpenAI 創建 AGI 目標的「具備安全意識」的對手聯手。我實際上並不期望 OpenAI 與 Anthropic 合併,但這是一個不錯的額外選擇權。

這比我預期的要好,正如 Ben Shindel 指出的,也比許多交易員預期的要好。這確實具有真正的約束力,而且可以想像,如果沒有壓力,可能根本不會有任何約束力。

它賦予 NFP 任命和罷免董事的唯一權力,並要求他們在安全背景下不考慮營利使命。明確授予停止部署和強制執行緩解措施的權力,且無需引用任何特定理由,也不考慮盈利能力,如果結構運作良好,這是非常受歡迎的。

值得注意的是,許多人的預期是多麼低。例如,Todor Markov 甚至不認為 NFP 能夠更換董事。如果你連這都做不到,基本上就玩完了。

我不是律師,但我的理解是,「禁止作弊」條款已經達到了人們所能合理期望的最穩健程度。

正如 Garrison Lovely 所說,這仍然是「紙面上」的治理。有時這意味著實踐中的治理。有時則不然。正如我們所學到的。

董事會之間的區別仍意味著 PBC 和 NFP 之間多了一層隔閡。在瞬息萬變的情況下,這會產生很大影響,NFP 可能不得不依賴其列舉的額外權力得到尊重。我非常希望他們能包括直接任命或解僱 CEO 的權力。

這整體上是否「算是一筆好交易」取決於你的基準。與我們的現實政治預期相比,這絕對是一筆「好交易」。有人會爭辯說,如果控制權隨著時間的推移確實足夠穩健,那麼非營利組織美元價值的下降在這裡就不是最重要的。

對此的反駁是,這些資源隨著時間的推移可以做很多好事,而且放棄經濟權利往往會導致進一步放棄控制權,即使目前的規定很好。

這些控制權能存續並發揮作用嗎?

與許多 AI 對齊問題類似,如果一個實體擁有「不自然」的控制權或「不自然」的利潤權益,那麼就會有強大的力量不斷試圖奪走這種控制權。正如我們已經看到的。

除非 Altman 真心想要被控制,否則非營利組織將永遠受到攻擊,每一步我們都在為守住陣地而戰。在足夠長的時間跨度內,這將變成一場必敗的戰鬥。

目前,OpenAI NFP 董事會基本上被 Altman 掌控,且與 PBC 董事會完全相同。雖然它們會變得有些不同,但無論如何,只有當 PBC 董事會真正試圖履行其信託責任而非僅僅充當橡皮圖章時,這才重要。

有人會爭辯說,這一切都無關緊要,因為兩個董事會都將在 Altman 的控制之下,且很可能高度重疊,而且他們已經在忽視對非營利組織的責任了。

非營利組織 Public Citizen 的共同總裁 Robert Weissman 表示,這種安排並不能保證非營利組織的獨立性,他將其比作一個為營利實體利益服務的企業基金會。

儘管非營利組織的董事會技術上可能仍處於控制地位,但 Weissman 表示,這種控制「是虛幻的,因為沒有證據表明非營利組織曾將其價值觀強加於營利實體」。

所以,是的,確實有這種情況。

他們聲稱現在是一家益事企業,OpenAI Group PBC。

OpenAI:營利實體現在是一家益事企業,名為 OpenAI Group PBC,與傳統公司不同,它被要求推進其既定使命並考慮所有利益相關者的更廣泛利益,確保公司的使命和商業成功共同推進。

這是對 PBC 運作方式的錯誤描述。更像是這件事的另一面。傳統公司應該追求利潤最大化,如果它在不這樣做方面走得太遠,可能會被起訴。與傳統公司不同,PBC 被允許在更大程度上考慮那些更廣泛的利益,但在實踐中,除了追求利潤最大化之外,它並沒有被「要求」做任何其他事情。

一項特別的控制權是對使命的特殊義務,特別是透過安全與安保委員會。他們會試圖在多大程度上縮小這一範圍?

Midas 專案:然而,這項保障措施的有效性將完全取決於「安全和安保問題」在實踐中如何被廣泛定義。如果看到 OpenAI 試圖將大多數業務決策——定價、合作夥伴關係、部署時間表、算力分配——歸類為不屬於這一類別,也不足為奇。

這將允許股東利益決定大部分公司戰略,同時將僅限使命的標準最小化,使其僅適用於他們認為容易或無成本的一組人為狹隘的決策。

OpenAI 與微軟的交易又如何?

他們對此也有一份公告

OpenAI:首先,微軟支持 OpenAI 董事會推進益事企業(PBC)的組建和資本重組。

資本重組後,微軟持有 OpenAI Group PBC 的投資價值約 1,350 億美元,在完全稀釋的基礎上約佔 27%,包括所有所有者——員工、投資者和 OpenAI 基金會。排除 OpenAI 最近幾輪融資的影響,微軟在 OpenAI 營利實體中持有 32.5% 的股份。

有人注意到這裡有些不對勁嗎?OpenAI 的非營利組織先前的權利被徵收了,並獲得了 OpenAI 26% 的股份作為回報。如果微軟在發生這件事之前持有排除非營利組織權利後公司 32.5% 的股份,那麼這應該讓他們在新 OpenAI 中佔有 24% 的股份。然而,他們現在擁有 27%。

我對此沒有任何非公開的消息,但這看起來非常像是微軟堅持要擁有比非營利組織更大的份額(27% 對 26%),而這被用來幫助證明這次徵收以及向微軟轉移額外股份的正當性。

作為交換,微軟放棄了它對 OpenAI 持有的各種制約點,包括對轉換可能提出的反對意見,並澄清了爭議點。

微軟在這裡也獲得了一些升級。

  • 一旦 OpenAI 宣布實現 AGI,該聲明現在將由獨立專家小組驗證。

  • 微軟對模型和產品的知識產權(IP)權利延長至 2032 年,現在包括 AGI 之後的模型,並配備適當的安全護欄。

  • 微軟對研究(定義為開發模型和系統時使用的機密方法)的 IP 權利將保留,直到專家小組驗證 AGI 或到 2030 年,以先到者為準。研究 IP 包括例如僅用於內部部署或研究的模型。

除此之外,研究 IP 不包括模型架構、模型權重、推理代碼、微調代碼以及任何與數據中心硬體和軟體相關的 IP;微軟保留這些非研究 IP 權利。

  • 微軟的 IP 權利現在不包括 OpenAI 的消費級硬體。

  • OpenAI 現在可以與第三方共同開發某些產品。與第三方開發的 API 產品將由 Azure 獨家提供。非 API 產品可以在任何雲端服務商上提供。

  • 微軟現在可以獨立或與第三方合作追求 AGI。如果微軟在 AGI 被宣布之前使用 OpenAI 的 IP 來開發 AGI,模型將受到算力閾值的限制;這些閾值顯著大於當前用於訓練領先系統的模型規模。

  • 收入分成協議將維持到專家小組驗證 AGI 為止,儘管支付期限將會拉長。

  • OpenAI 已簽約增購 2,500 億美元的 Azure 服務,微軟將不再擁有作為 OpenAI 算力提供商的優先拒絕權。

  • OpenAI 現在可以向美國政府國家安全客戶提供 API 訪問,無論雲端服務商是誰。

  • OpenAI 現在能夠發布符合必要能力標準的開放權重模型。

這是一系列相當瘋狂的變動。

在某些關鍵方面,微軟獲得了比以前更好的交易。特別是,AGI 以前似乎是 OpenAI 可以簡單宣布的事情(你知道,就像戰爭或國防生產法案一樣),而現在需要由「專家小組」驗證,這意味著還有我非常想看到的額外條款。

在其他方面,OpenAI 則佔了上風。增購 2,500 億美元的 Azure 服務聽起來很多,但我猜雙方對這個數字都很滿意。擺脫優先拒絕權是一件大事,讓他們的非 API 產品完全自由也是如此。讓硬體產品完全脫離微軟對 Ives 專案來說是一件大事。

我的整體看法是,這是一場廣泛的談判,一切都在權衡之中,在所有事情敲定之前什麼都不算數,而且存在一個非常寬泛的 ZOPA(可能達成協議的區間),因為 OpenAI 確實需要達成交易。

OpenAI 的非營利組織現在會做什麼?

理論上是治理 OpenAI PBC。我對此表示懷疑。

他們確實擁有一堆名義上的現金。他們打算用這些錢做什麼,來確保 AGI 對人類有益?

預設情況下,正如 Garrison Lovely 之前預測的那樣,非營利組織基本上會為非營利組織和其他機構購買 OpenAI 的服務,回收大部分價值,並充當一種贖罪券、營銷手段和滿足批評者的方式,這在過程中可能會也可能不會產生一些好處。

最初的 5,000 萬美元支出看起來完全就是這樣

他們為 250 億美元設定的新「初始重點」將集中在以下兩個領域:

  • 健康與治癒疾病。 OpenAI 基金會將資助旨在加速健康突破的工作,以便每個人都能從更快的診斷、更好的治療和治癒中受益。這將從創建開源且負責任構建的前沿健康數據集以及為科學家提供資金等活動開始。

  • AI 韌性的技術解決方案。 正如網際網路需要一個全面的網絡安全生態系統——保護電網、醫院、銀行、政府、公司和個人——我們現在也需要一個平行的 AI 韌性層。OpenAI 基金會將投入資源支持 AI 韌性的實用技術解決方案,即最大化 AI 的利益並最小化其風險。

Herbie Bradley:我熱愛最大化 AI 的利益並最小化其風險。

他們真的把迷因變成了現實。

第一項看起來是一個普遍值得追求的事業,但與使命高度脫節。健康和治癒疾病沒有錯,但現在推動這一點並不能推進 OpenAI 的根本使命。他們基本上將從在健康領域進行 AI 能力研究和推廣,以及資助科學家進行 AI 輔助研究開始。這其中的大部分很可能會回流到 OpenAI,並成為良好的公關。

再次強調,這是一件淨正面的事情,很高興看到它被執行,但這不是使命。

AI 韌性的技術解決方案在某種程度上至少可能是有效的 AI 安全工作。憑藉推定的約 120 億美元,這是在那些值得做但最終似乎不太可能成為決定性因素的事情上過度集中安全努力。注意 Altman 在問答環節的摘要中是如何描述它的:

Sam Altman:非營利組織最初承諾投入 250 億美元用於健康與治癒疾病,以及 AI 韌性(所有能幫助社會成功過渡到後 AGI 世界的事情,包括技術安全,但也包括經濟影響、網絡安全等等)。非營利組織現在有能力相對快速地部署資金,這與以前不同。

這現在變得無限寬廣了。它可以是應對「經濟影響」並成為一個普通的(無效的)慈善機構,或者是一個主要透過向普通非營利組織提供 OpenAI 服務來進行干預的機構。它也可以主要花在有價值的技術安全上,成為世界上最重要的慈善倡議。它可以是這兩者之間的任何東西,以任何比例分布。我們不知道。

我的預設假設是,這將主要關乎平凡的安全問題,甚至達不到那個程度,並使短期世界變得更好,或許是很重要的改善,但在防範 AGI 或超智慧的危險或負面影響方面幾乎無濟於事,且再次在事實上成為 OpenAI 的客戶。

平凡的風險緩解或深度防禦沒有錯,幫助需要幫助的人也沒有錯,但如果你的計劃是「哦,我們會讓事情變得有韌性,然後一切都會好起來」,那麼你根本沒有計劃。

這並不意味著這將是低影響的,或者 OpenAI 留給非營利組織的是小錢。

我也不想貶低這個資金池的規模。先前的非營利倡議是 5,000 萬美元,如果花得好可以做很多好事(在那種情況下,我不認為花得好),但在這個背景下,5,000 萬美元只是零頭。

而 250 億美元?好吧,是的,我們談論的是真正的巨款。如果這些錢真的在短期內花掉,那是可以改變現狀的。如果這 250 億美元作為事實上的捐贈基金在很長一段時間內慢慢花掉,那麼它的意義和價值就會大打折扣。

認股權證目前處於極度價外狀態,且 NFP 本應獲得比現在多得多的股票,但 26%(價值 1,300 億美元或更多)仍然是大量的股權。你可以用這筆錢在很多地方做相當多的好事。如果非營利組織的董事會想要執行這些計劃,他們是非常稱職的。如果他們主要想做的是有效地將大部分資金送回 OpenAI 的營利實體,他們也同樣非常稱職。

這對「不讓人滅絕」或「讓 AGI 對人類有益」的使命不會有太大幫助,但其他事情也很重要。

交易完成了嗎?

還沒完全完成。正如 Garrison Lovely 所指出的,所有這些簽署都是臨時性的,而且還有其他訴訟以及潛在的其他訴訟。在一個埃隆·馬斯克的薪酬方案都能被追回的世界裡,我不會太確信這次轉換能板上釘釘。德拉瓦州檢察總長並不是公司行為大多數反對意見的發起者。

最後一個主要障礙是埃隆·馬斯克的訴訟,雖然訴訟資格(standing)是個問題,但法官已經明確表示該訴訟在其他方面是有價值的。地平線上可能還有其他訴訟。但是,是的,這件事大概率正在發生。

所以這就是我們生活的世界。我們需要充分利用它。

Lesswrong

相關文章

  1. 10 億美元遠遠不夠;OpenAI 基金會每年必須開始投入數百億美元

    29 天前

  2. OpenAI 非營利時代的終結

    6 個月前

  3. @rohanpaul_ai: The leaked OpenAI cap-table reveals Microsoft's 18x return, SoftBank's $50B gain, and a CEO with no ...

    Rohan Paul · 18 天前

  4. AI 時代投資者忠誠度幾乎蕩然無存:至少十幾家 OpenAI 的創投機構現在也支持 Anthropic

    Techcrunch · 大約 2 個月前

  5. OpenAI 的靈魂之戰

    Wired - AI · 7 天前