這篇文章探討了一個假設，即大型語言模型擅長透過學習數據模式來建立結晶智力，但在流體智力方面表現較弱，這可能意味著當人類生成的數據耗盡時，人工智慧的進步速度將會放緩。
大型語言模型（LLMs）在發展「結晶智力」（Crystallized intelligence）方面優於「流體智力」（Fluid intelligence）。 也就是說：LLM 的訓練擅長透過學習訓練數據中的模式來構建結晶智力，這足以讓它們在許多任務中表現出驚人的熟練度。但在其訓練領域之外，相對於人類而言，LLM 在給定能力水平下的流體智力非常微弱。例如，兩年前我認為人類水平的 SAT 表現意味著通用人工智慧（AGI）的到來，但事實證明，LLM 可以在 SAT 中表現優異，但在許多其他任務中卻表現平庸。
我並不是說 LLM 只是鸚鵡學舌（那很愚蠢）。^([1]) 結晶智力與流體智力之間存在連續性。
從經驗上看，目前尚不清楚它們的智力有多具「流體性」：我們同時看到了通用推理能力和表現的不均衡性（jaggedness）。
值得思考的是：如果流體智力的進步相對緩慢，而 LLM 的能力主要隨相關訓練數據增長，會發生什麼？
這可能意味著 AI 的進步會變慢，特別是如果通用數據在短期內枯竭（Epoch 估計 為 2026-2032 年）。這意味著公司需要優先收集/生成專業數據，這將導致能力增長呈現不均衡狀態，並向優先領域傾斜。
[認識論狀態（Epistemic status）：我只有約 20% 的把握認為這種動態會比 AI Futures Project 的中位數預測更嚴重地阻礙 AI 進展。不過，意識到這些可能性並追蹤相關證據是很重要的。]
這表明我們不應天真地將 METR AI R&D 基準測試的結果直接推演到現實世界的 AI 研發進步上，原因有二：
同樣，這也表明單純擴大 LLM 訓練規模並不能讓我們達到「全能」。
但「單純擴展 LLM」和「擴展 LLM 直到它們成為超越人類的 AI 研發工程師，然後利用它們構建下一代 AI」，是我們快速實現 AGI 的兩個主要敘事！
我們仍應預期 AI 研發會有顯著進展。 AI 實驗室正明確地針對 AI 研發進行訓練，並且顯然在某些編程相關領域（如網絡安全）達到了超越人類的能力。
但起飛曲線的形狀和速度至關重要。 如果 METR 時間跨度 達到 1 個月，但我們實際上並沒有那種可以隨插即用的資深 AI 研發研究員，而只是一個非常優秀的助手團隊，這影響很大。實驗室仍需花費大量序列時間運行昂貴的計算實驗，而他們的 AI 工具只能適度優化實驗選擇。這可能意味著他們在多年的艱苦努力後獲得了 10 倍的加速。這比 AI2027 的預期要慢得多。
至關重要的是，只要 AI 在技術工作上表現出色但在流體智力上表現平庸，這對 AI 安全來說就是個好消息。
但一個主要的警示是：我預計在某個時點，人們會設計出數據效率更高的新範式，屆時我們所有的安全技術和假設可能都不再適用。
我非常期待針對以下能力的測試：
**
這裡有一組主張，稱之為「領域數據飢渴」假說：
我設想我們將擁有一個針對 AI 研發優化的基礎 AI，它被訓練用於開發適用於模擬和/或自動評估（用於強化學習）領域的合成數據源。然後這些數據源被用於訓練 AI。
如果滿足以下條件，該領域將看到更多進展：**
有些空間已經很容易模擬或自動評估。例如：數位遊戲、編程、數學。
宏觀層面的牛頓物理學並不難模擬。
在精確模擬特定執行器如何移動方面可能需要大量繁瑣工作（schlep），這可能會讓你鎖定在標準機器人設計或標準零件上。
一位了解機器學習的朋友說，目前機器人技術的大部分工作在於應對多樣化的環境，例如房屋佈局、光照條件、材料。合成數據是否適用於這些領域似乎不太明顯，但仍有可能。
AI 公司可以輕鬆生成現實世界數據。
對於今天的 AI：聊天機器人互動、實際的編程項目。
對於未來的 AI：可能是數位代理的大量實際業務操作，以及機器人操作的多樣化環境（家庭、道路、工廠）。
透過高通量實驗。
但 AI 實驗室領導者可能會進行豪賭；未來學家長期以來一直預期 AI 將解鎖真正先進的分子設計。（我認為這是合理的，但預設情況下會具有高度的軍民兩用風險且具動盪性。）
這裡有一個有趣的視角來觀察不同領域：每秒現實世界的感官數據可以產生多少高品質的等效 Token？每美元資本支出可以產生多少？
對於醫學和 體內 生物學來說，增加實驗似乎尤為必要，因為有太多複雜的相互作用需要預測。
3D 列印對我來說是一個構建速度相當快、組合設計空間巨大，因此 AI 可能能從中發現大量有價值東西的領域。
存在大量數據，且目前的進展因獲取或處理這些數據而受到顯著阻礙。 一些猜測：蛋白質結構、基因組學、金融。
請注意，一旦 AI 訓練耗盡現有數據存量，數據可能會變成瓶頸。或者當我們嘗試進行分佈外（out of distribution）的操作時，例如設計與天然蛋白質截然不同的新型蛋白質，作為邁向先進納米技術的初步步驟。
這可能適用於化學、分子生物學和材料科學的某些領域？我們擁有大量數據並了解底層原理，而人類對分子級行為的直覺很差，因此這裡可能有很多紅利可圖。
業務運營
機器人操作
可能是科學中某些數據豐富的領域
由此產生的技術技能、廣泛領域知識和中等泛化直覺的混合搭配，可能會在有價值的領域超越現有的人類組織。
例如：大量的業務任務、小規模編程項目、許多主要需要體面的定性推理和注重細節的工作。
也許還因為具備上下文感知能力的交易系統可以識別異常，並防止執行大部分交易的基於規則的系統進行錯誤交易。
成功的圖謀（scheming）可能依賴於非常好的通用推理。 否則，你可以結合以下手段……
如果無法在單次前向傳播中完成複雜的隱藏實力（sandbagging）推理，那麼決定隱藏實力而不被任何一層監督發現似乎非常困難。
編程是一個數據豐富的領域，且 AI 公司優先生成 AI 研發任務的數據，因此我們應該預期 AI 在 AI 研發方面會隨著時間推移而變得更好 —— 正如我們所見。
情況 1：AI 可以顯著提高編程效率和代碼庫效率，但它們沒有達到主導地位（supremacy）。研發進展受限於耗費計算資源的研究實驗和專家的研究品味。
情況 2：AI 能夠直覺地掌握 AI 研發的關鍵原理。這讓它們能順利地從「有用」過渡到完全的主導地位。最優秀的人類專家擅長此道，但他們受限於工作記憶有限的大腦，以及缺乏理解高維空間和非人思維的先天資源。
在兩種情況下，我的最佳猜測是改進的 AI 研發最終會導致一種可以擴展到超越人類流體智力的範式。 既然資源和研發效率都在如此迅速地擴展，「最終」可能很快就會到來。
但在情況 1 中，我們可能會看到 AI 架構發生巨大演變的時期。這具有重要的影響：
一些反對證據：LLM 能力的「水位」似乎在許多領域都在逐漸上升，其中一部分可能是通用技能的提升。
（兩個主要的基準測試似乎是 Saplin 和 Dubesor。它們的結果不同，且對於習慣於每個模型「數值上升」的人來說，這兩組結果都有點奇怪，但它們廣泛顯示了從 GPT-3 / Claude-2 世代到後續模型之間的一個顯著飛躍。）
在 LLM 中尋找流體推理能力的地方：
我認為 LLM 目前在這方面做得很差。
也許助手式訓練的形式要負部分責任？如果你只根據即時回應評分，「你能告訴我更多嗎？」或「請澄清」就沒什麼用。而且我不知道人類評估者的辨別力如何 —— 也許他們只是獎勵過度自信的廢話和深刻感假象（insight porn）。
自我管理 —— 例如 Claude 玩寶可夢時給自己寫了糟糕的筆記並陷入困境。
元推理，例如識別出「這個情況看起來是人為設計的」。
它們現在會做一些這類事情，例如注意到自己可能正在接受評估。
一個簡單的例子：我們直到最近才看到在反轉謎語上的良好表現 —— LLM 過去會給出典型謎語的答案，而現在它們會注意到並給出正確答案。
反論：人類通常也不擅長「陷阱」，需要時間學習新情況。所以我不確定公平的比較點是什麼。
在看起來高度依賴通用推理、且絕對不在訓練數據中的任務上表現良好。
一款新型遊戲（可以與同一款遊戲上的專用強化學習系統進行比較）。
在現實世界中大規模賺錢。
是否有更明顯依賴推理的變體？
重新學習。 如果你從模型中刪除某些數據或原理，它能否從基本原理中重新推導出來？
這個問題也關係到「遺忘（unlearning）」作為防止 AI 誤用或不當行為的保障措施的有效性。
感謝 K、Adria、John 和 Abi 的評論。
相關文章
其他收藏 · 0
