大型語言模型若為泡沫，AI對齊的未來將走向何方

我們可能正處於生成式 AI 的泡沫之中。周遭有許多潛在的跡象：

• 企業對生成式 AI 的投資回報率極低。
• 專家意見開始轉向反對大型語言模型（LLM），其中包括一些早期的 LLM 推廣者（我也從與一些 AI 研究人員的私人對話中得到了這個訊息）。
• 沒有出現大規模技術性失業的跡象。
• 新產品和軟體沒有出現大幅激增。
• 經濟沒有出現突然的飛躍。
• 企業對 AI 的投資熱情正在冷卻。
• 幻覺（Hallucinations）是一個持續且未解決的問題。
• 一些股市分析師對生成式 AI 持悲觀態度，而股市對生成式 AI 價值的反應頂多是毀譽參半。
• 生成式 AI 公司在運算投資持續上升的同時並未獲利。OpenAI 的行為看起來像是一家拼命尋找模型變現方法的公司，而不是一家處於通用人工智慧（AGI）邊緣、充滿信心的公司。

如果 LLM 真的處於通往 AGI 的道路上[1]，我預期會看到與上述許多情況相反的現象——LLM 的應用機會到處湧現，就業市場發生巨大變革，同時全新的產品進入經濟體系並改變其增長率。我還會預期所需的運算投資會因效率的大幅提升而下降，且 LLM 的錯誤會變得細微到人類難以理解。

因此，這個世界看起來並不像是 AGI 即將到來的樣子，反而更像是生成式 AI 不斷遇到一個又一個瓶頸——究竟 LLM 何時會停止產生幻覺？圖像構圖何時能可靠地運作[2]？

還記得 GPT 3.5 剛推出時嗎？當時確實感覺我們正處於某種爆炸性變革的邊緣，無數機會被熱情地抓住，各家公司承諾在各個領域進行轉型。

但那並沒有發生。生成式 AI 有很多用途和許多美好的可能性。但在研發進展方面，現在感覺像是一個緩慢且痛苦地克服重複瓶頸的時代。LLM 作為一種技術正在成熟，但其尖端性能的提升速度卻很緩慢——除了程式碼編寫（coding）顯示出明顯的上升趨勢外。

什麼是泡沫

泡沫並不意味著生成式 AI 是無用的。它甚至可能是變革性的，並對經濟產生巨大的推動作用。它只是意味著生成式 AI 公司無法將其變現到足以支撐其龐大投資的水平。

而且目前的投資規模非常巨大。參考諸如「大型科技公司到 2030 年需要 2 兆美元的 AI 營收，否則他們的資本支出就白費了」之類的論點（如果你想對 LLM 的經濟效益有一個研究充分的懷疑觀點，Ed Zitron 的整個部落格都是很好的來源——請專注於資訊而非他的觀點，並注意他對 AI 安全議題極其刻薄）。

生成式 AI 公司在變現方面可能失敗的原因有很多。自從（非常微弱的）訓練縮放定律（scaling laws）結束以來，我們一直處於「推理」縮放的狀態，購買並建造巨大的數據中心。但這不足以構成護城河——他們需要規模經濟，而不僅僅是一堆昂貴的 GPU。

因為開源模型僅落後頂尖模型幾個月，頂多一年。如果頂尖的 LLM 公司真的開始盈利，那麼其他人購買一小批 GPU、設計一個精美的介面，並廉價地運行 DeepSeek 或類似模型將會非常划算。除非他們能展現明顯的差異化，否則這將為頂尖公司的定價設定下限。

因此，完全有可能生成式 AI 具有徹底的變革性，而我們仍處於 AI 泡沫中，因為 LLM 公司無法想出如何獲取那些價值。

如果我們處於泡沫中，對對齊（Alignment）研究意味著什麼？

如果 LLM 是通往 AGI 的捷徑，那麼我們肯定不會處於泡沫中。所以，如果我們處於泡沫中，它們就不是 AGI，也不是通往 AGI 的路徑，甚至可能連通往 AGI 路徑的小徑都算不上。

而像 OpenAI 和 Anthropic 這樣一直推動「LLM 即 AGI」敘事的巨頭公司，聲譽將遭受巨大打擊。尤其是 OpenAI，一直利用 AGI 的「風險」作為產生興奮感並推高估值的方式。一種危險到可能毀滅世界的技術——想想這能對你的股價產生什麼影響！

如果泡沫破裂，關於 AGI 和 AGI 風險的討論將被視為吹噓，被視為江湖騙子或天真受害者的工具。屆時將很難讓大眾認真對待這些想法。

這也會有一些積極的一面。最大的好處是 LLM 將不再是 AGI 的雛形：因此我們將有更多時間為真正的 AGI 做準備。另一個好處是 LLM 可能被用於對齊目的（我將在隨後的論文中提出一種可能的方法）。

關於如何準備或適應生成式 AI 泡沫的一些思考

其中一些事情是我們無論如何都應該做的；另一些則取決於生成式 AI 是否真的是個泡沫。這份清單並非詳盡無遺，旨在引發討論：

1. 我們應該強調當前 AI 的錯誤行為與一般 AI 對齊問題的契合之處。 當前的 AI 會操縱和欺騙人類，甚至導致某些人自殺。其他非生成式 AI（如推薦算法）則利用人類的認知弱點。它們這樣做通常是因為以非預期的方式，用極端的優化能力去追求簡單的目標。這正是 AI 對齊的問題，且已經在世界上發生。我們應該指出這些例子。
2. 與此相關的一點是，我們應該更多地與傳統的 AI 倫理學家結盟。 他們正在處理的短期問題是超智慧 AI 問題的縮小版。雖然有時他們的擔憂顯得狹隘或帶有政治色彩，且他們的解決方案可能無法擴展到超智慧。但 a) 我們無法逃避政治考量——我們正在設計理想的未來，不能把未來的道德內容全部留到「以後再解決」；b) 如果我們與他們合作，我們可以從他們的想法中學習，並鼓勵他們開發可擴展的想法；c) 這將防止其他公司採取「分而治之」的策略，即聲稱「我們擔心超智慧 AI，並將利用這種擔憂專門從投資者那裡獲取資金，同時規避任何現行立法」。
3. 我們需要分析為什麼生成式 AI 沒有成為 AGI。 關於 AGI 和超智慧如何發生有一個引人入勝的故事：一旦算法達到一定的能力水平，它就會利用這些能力以某種方式自我改進，並迅速擴展到超越人類的能力。目前，我們正在用這個故事來描述生成式 AI。問題是，這個故事可以套用在任何 AI 雛形上——直到後來我們理解了阻礙和瓶頸是什麼（例如，為什麼 GOFAI、專家系統或基礎深度學習不足以達到 AGI）。那麼，我們該如何提前改進評估，嘗試預測阻礙因素，以及判斷「這次是否真的是那一次」？
4. 批判那些誤導大眾的實體。 如果 LLM 沒有導向 AGI，那麼很多人都錯了。有些人甚至是主動誤導，通常是為了炒作或營銷目的。我們不能讓這些人逃避責任。如果某家公司的某人暗示他們擁有 AGI，而實際上並沒有類似的東西，那麼他們就是誤導了公眾或誤導了自己。如果有人僅僅為了讓人們對 AI 的潛在力量留下深刻印象而炒作「AGI 安全」，這比謊言更糟糕：他們為了賣出更多產品，削弱了對人類歷史上最大危險的警告。
5. 為緊縮做好準備。 無論這多麼不公平，如果生成式 AI 是一個泡沫，AI 安全的訊息將變得不再吸引人，許多資助者會離開，期刊和記者會失去興趣，AI 安全的地位將遭受沉重打擊。我們必須接受一個更具敵意的文化環境。看看 Ed Zitron 那篇言辭激烈的部落格文章[3]，他將 AI 安全領域描繪成 OpenAI/Anthropic/NVIDIA 的詐騙工具[4]。泡沫破裂後，會有更多人這麼說。年輕、聰明、好奇、技術熟練、且親近有效利他主義（EA）的人將會對 AI 安全感到反感，而不是被其吸引。
6. 為機會做好準備。 社會和 AI 研究的輪子不會停下。即使在泡沫之後，生成式 AI 的大部分成果仍會保留，人們會繼續關鍵研究（也許換個名稱），新的想法和算法會被開發，新的風險會出現。文化會再次改變——如果我們保持追蹤真相，這對我們來說很可能是一個積極的轉變。專注於真正的根本風險，保持誠實，尋找機會，因為機會終將到來。

---

[1] 在隨後的文章中，我將討論我們如何改進 AGI 預測——幾乎電腦科學的任何進步都可能通過遞歸自我改進導向 AGI，但我們能否識別出那些真正可能實現這一點的進步？

[2] 我在嘗試使用這些工具生成稍微不尋常的圖像時有過非常痛苦的經歷。我曾多次使用「生成式 AI 仍然不會數數」這句話。

[3] 如果出現 AI 泡沫，Ed 將會被視為那種「一直以來都是正確的」人。

[4] 這是付費牆內容，但他談到了《AI 2027》論文，結論是：

[...] 一切完全是理論性的，用帶有上升線條的圖表和嚴肅、嚇人的語言拼湊而成，歸根結底，其意思大多是「然後 AI 在各方面都變得非常厲害」。

我真他媽討厭寫這東西的人。我認為他們是為了造成蓄意傷害而寫作的懦弱騙子，應該被嘲笑和排斥，而不是給予新聞報導或以任何方式遷就。

在許多方面，他們講述了 AI 熱潮的真實故事——一個不再關乎科學技術實際能做什麼，而是專注於營銷廢話和無止境增長的時代。