關於轉向神經語言AI的13個論點

在過去的一年中，我與幾個人討論過，他們是否預計領先的 AI 公司會在未來幾年內，從目前的 Transformer LLM 範式轉向在「神經元語」（neuralese）中進行推理的模型。本文總結了我聽到的 13 個常見論點，其中 6 個支持轉向神經元語 AI，7 個反對。下表提供了摘要：

支持轉向神經元語的論點	反對轉向神經元語的論點
文字瓶頸會損失大量資訊。	自然語言推理可能是一個強大的局部最優解，需要大量的訓練努力才能擺脫。
後訓練（post-training）相對於預訓練的重要性正在增加。	循環 LLM（Recurrent LLMs）面臨並行化權衡，導致其訓練效率較低。
有一個活躍的子領域正在研究循環 LLM。	能夠閱讀模型的思維鏈（CoT）具有顯著的商業價值。
人類類比：自然語言在人類思維中可能並未扮演那麼大的角色。	人類類比：即使自然語言不是人類的主要思維媒介，我們仍然高度依賴它。
SGD 的歸納偏置可能傾向於直接在權重空間學習良好的序列推理算法。	雖然在使神經元語模型運作上投入了大量精力，但目前仍沒有可大規模運作的模型。
在能力極限下，神經元語比 CoT 推理更強大。	深度與延遲之間存在權衡，這可能降低訓練大型循環 LLM 的吸引力。
	能夠閱讀模型的 CoT 具有很高的安全價值。

我所說的神經元語是什麼意思？

參考 《LLM 中的隱藏推理：分類學》，我將神經元語定義為在長而不透明的循環鏈中進行推理。為了更精確的操作化定義，我喜歡 Fabien Roger 的 定義 及其相應的 預測市場。他將目前基於 CoT 的推理範式定義為以下兩個屬性的結合：

• 文字瓶頸：在生成答案的過程中，不存在超過 10 萬次「重型」串行操作的路徑，且資訊不經過人類可理解的類別格式（例如 token）。類別輸出不一定要完全忠實，但必須是人類可理解的。「重型」串行操作是指如矩陣乘法和卷積等。
• 長思考：AI 使用至少 100 萬次串行操作來生成答案。

在沒有文字瓶頸的情況下執行 10 萬次重型串行操作，似乎已經與目前的範式有很大偏差，目前的推理模型在一次前向傳播中最多執行 500 次串行操作。^([1]) 因此，在本篇文章中，我將允許的串行操作數量限制在 1 萬次以內。

支持轉向神經元語 AI 的論點

1) 文字瓶頸損失了大量資訊

Transformer 架構對殘差流（residual stream）中能到達下一次前向傳播的資訊量施加了沉重限制。殘差流必須首先被壓縮成 token 的分佈，而在從該分佈中採樣單個 token 時，會損失更多資訊。AI 2027 對總資訊損失進行了如下量化：「假設 LLM 的詞表大小約為 100,000，那麼每個 token 包含 log2(100,000)=16.6 位元的資訊，大約相當於一個浮點數的大小（假設以 FP16 進行訓練）。與此同時，殘差流 [...] 包含數千個浮點數。」

有人可能會反駁說，離散的 token 空間只是將連續的向量空間劃分為我們感興趣的區間，從而使丟棄的資訊變得多餘。此外，硬性瓶頸可能會促進專業化：不需要處理前一個 token 位置殘差流末端累積的所有資訊，可以讓早期層專注於語法處理和特徵提取。儘管如此，套用 Eric Drexler 關於 準語言神經表示報告 的說法，如果發現能夠利用表現力強大的向量嵌入的機器，其最優語言竟然是由代表嘴部噪音的 token 組成，這將是非常奇怪的，特別是考慮到資訊損失的規模。

2) 後訓練的重要性日益增加

在大部分算力分配給預訓練的訓練運行中，神經元語架構處於嚴重劣勢，我將在下文深入解釋。在過去的一年裡，公司花費在後訓練上的算力增加了幾個數量級：直到最近，實驗室在預訓練上的花費大約是後訓練的 100 倍，而 Grok 4 的公告 似乎暗示 Grok 4 需要的後訓練算力與其預訓練算力相當。循環模型在後訓練中不會面臨類似的劣勢，因為後訓練的信號通常是在序列層級而非 token 層級提供的。因此，如果後訓練算力持續增長，投入額外資源來預訓練循環 LLM，或在預訓練後將 Transformer 轉換為循環模型，可能會變得更容易被接受。

3) 循環 LLM 的活躍研究

在過去的一年中，已有數十篇論文探討如何將 Transformer 轉換為循環架構，或引入全新的循環架構。我過去曾 評論過 Geiping 等人 (2025) 和 Hao 等人 (2024)，但還有其他研究；請參閱 Zhu 等人 (2025) 第 2 節中非常近期的文獻回顧。這些論文為神經元語架構的一些老問題提供了解決方案。Geiping 等人通過使用截斷反向傳播（truncated backprop）部分規避了長鏈反向傳播的穩定性和效率問題，該方法僅通過循環單元的最後 k 次迭代進行反向傳播，而不管總迭代次數是多少。Hao 等人則通過微調將傳統 Transformer 轉換為循環模型，從而繞過了循環架構難以保持高度並行化預訓練的問題。這兩篇論文的基準測試分數看起來都不太理想，因此尚未擴展到大型模型，但它們仍然提供了一些證據，表明長期困擾類 RNN 架構的效率問題可能是可以解決的。

4) 與人類思維的類比

雖然人類的內心獨白可能被視為「以自然語言思考是解決廣泛問題的高效策略」的證據，但有三個理由讓我們認為內心獨白可能並非那麼關鍵。

首先，有些人聲稱能夠隨意開啟或關閉內心獨白，並且在不使用文字思考的情況下完成大部分生產性工作。考慮阿爾伯特·愛因斯坦的這段話：^([2])

文字或語言，無論是書面還是口頭，似乎在我的思維機制中都不起任何作用。似乎作為思維元素的心理實體是某些符號和或多或少清晰的圖像，可以「自願地」再現和組合。當然，這些元素與相關的邏輯概念之間存在某種聯繫。同樣清楚的是，最終達成邏輯相關概念的願望，是這種與上述元素進行的相當模糊的遊戲的情感基礎。但從心理學的角度來看，這種組合遊戲似乎是生產性思維的基本特徵——在與文字或其他可以與他人交流的符號進行邏輯構建之前。

其次，似乎有些人完全沒有內心獨白：例如 Katja Grace 的這條 X 貼文 和 這個 Reddit 討論串。最後，有一些證據表明，內心言語的障礙並不一定會影響一般認知能力：Langland-Hassan 等人 (2015) 發現內心言語障礙與執行功能或注意力之間缺乏相關性。^([3])

在預測 LLM 的未來發展時，人類類比不應被過於嚴肅對待，但仍能提供微弱的啟發性證據。事實上，有些人類似乎可以長時間不使用文字思考，這向我暗示語言並非人類思維的主要媒介；因為如果發現兩組人類使用完全不同的心理機制來實現極其相似的智能成就，比起發現言語思考對這兩組人來說都不是特別關鍵，而只是其中一組人作為關鍵思考的副產品而產生，後者更不令人驚訝。

5) SGD 的歸納偏置

直觀上，人們會預期 SGD 的歸納偏置會傾向於直接在權重中學習良好的序列推理算法，而不是優化權重以輸出作為串行推理步驟的 token。假設有足夠的表達能力在單次前向傳播中表示所有這些步驟，那麼在權重空間中尋找結合大量複雜推理步驟的最優方式，其空間遠大於 token 空間。

6) 能力的極限

在極限情況下，神經元語嚴格來說比 CoT 推理更強大。一個能夠執行自適應隱藏計算的模型可以完成 Transformer 模型配合 CoT 能做的所有事情，此外還能在效率更高時使用長循環鏈。

反對轉向神經元語 AI 的論點

1) 自然語言的甜蜜點

正如 James Chua 所論證的，自然語言似乎是模型思考的一個相當強大的局部最優解。互聯網文本數據和 LLM 生成的合成數據都是完全以自然語言編寫的。在所有這些語料庫中，序列推理步驟都以自然語言表達，這為同樣將中間推理步驟語言化的模型提供了更強的訓練信號。實驗室很可能希望繼續利用所有這些現有數據進行預訓練。目前還沒有這種語料庫的連續模擬物，可以用來預訓練循環模型，使其在後訓練階段開始時就具備高效的連續表示。

雖然循環模型在後訓練中沒有這種劣勢，但重新訓練以自然語言思考的模型，使其利用連續表示來進行中間推理步驟，成本可能會很高，正如 Hao 等人 (2024) 所嘗試的那樣。即使以自然語言思考的模型在推理效率上稍低，重新訓練它們的成本也可能超過推理效率的差異。雖然在這種情況下，由於 RL 優化壓力導致自然語言向異類方言的 語言漂移 仍是一個隱憂，但這種漂移超出了我們對神經元語的定義。

認為自然語言推理可能是一個強大局部最優解的最後一個原因是，任何 AI 為了發揮作用，都必須產生自然語言輸出——論文、電子郵件、數千行代碼。如果一個模型天生不以接近自然語言的概念思考，那麼將其內部抽象轉換為人類語言將會產生代價；而如果它確實以接近自然語言的概念思考，那麼在潛在思考中使用這些概念而非顯式 CoT 所獲得的收益，可能就不會那麼顯著。SGD 最終是否會收斂到遠離人類概念的概念，取決於人類抽象對於智能思考的優化程度。

2) 並行化權衡

有人可能會反駁前一點，認為循環模型可以簡單地在目前 Transformer 訓練的所有文本數據上進行預訓練，從而擁有 Transformer LLM 的所有能力，同時在效率更高時能夠省略中間推理步驟。然而，這種訓練會產生顯著的效率成本，因為在 高度可並行化的訓練與高度表達能力的前向傳播之間存在權衡。Transformer 預訓練的效率源於並行處理單個序列中所有 token 的可能性，而當後續 token 位置的計算涉及前一個 token 位置隱藏狀態的非線性變換時，這是不可能的。

到目前為止，高度可並行化的訓練一直是比高度表達能力的前向傳播更重要的因素。有一些方法可以在一定程度上規避這種權衡：例如，可以使用 截斷反向傳播，或者在預訓練期間僅訓練短循環鏈，並希望在經過一些微調後能泛化到長循環鏈。然而，如前所述，到目前為止，這些方法都沒有在大規模模型上取得成功。

3) 可見推理軌跡的商業價值

在其他條件相同的情況下，實驗室和客戶都關心閱讀外部化推理鏈的能力。對於實驗室和用戶來說，可見的推理軌跡對於調試模型非常有用：例如，它有助於 優化提示詞並調試模型未按預期方式遵循指令的原因。對於實驗室來說，可見的 CoT 對於構建更強大的濫用檢測器和拒絕機制非常有用：例如，Anthropic 的 憲法分類器 依賴於監控模型輸出流的能力，而 OpenAI 的 審慎對齊 則依賴於在蒸餾推理軌跡上訓練模型的能力。

4) 與人類思維的類比

儘管有些人類顯然具備不使用內心獨白思考的能力，但大多數人還是不由自主地用文字思考，並且經常發現將想法寫在紙上很有用。如果有人被迫與能夠閱讀其內心獨白的對手玩一場社交欺騙遊戲，他們失敗的頻率可能會比平常高得多。這種對語言的依賴可能只是關鍵思考的一個偶然副產品，源於語言在社交溝通中的普遍重要性（如前一節所述），但也可能有更深層的功能——例如，有人認為 離散的語言單位比連續的思考更可靠且更易於糾錯。如果 RNN 必須學習這種瓶頸才能表現良好，那麼將 Transformer 更換為神經元語模型的收益就會減少。

5) 過去構建循環 LLM 嘗試的證據

神經元語轉型至今尚未發生，這一事實本身就證明了讓神經元語架構運作是困難的。機器學習界 30 年前就知道循環和深度通常會放大梯度方差（Bengio 等人，1994），這表明如果 RNN 的穩定性和效率問題有簡單的解決方案，現在應該已經被發現了。此外，通過對 Transformer 架構進行微小調整來引入循環的方法失敗了，這表明如果向神經元語模型的轉型是可能的，這將需要一種與當前 LLM 截然不同的架構。這種架構最初可能會面臨 Transformer LLM 已經解決的低效問題：例如，神經元語模型的最優代理編碼腳手架可能與 Transformer LLM 使用的截然不同。在這種情況下，可能需要一個足以抵消低效性能的巨大性能差距，才能讓實驗室將注意力轉向新架構。

6) 深度與延遲的權衡

Epoch 在 《AI 擴展能否持續到 2030 年？》 中討論的 AI 擴展瓶頸之一是延遲牆，而該瓶頸對神經元語辯論具有影響。模型處理單個數據點的最短時間隨著模型深度的增加而增加，這為給定時間範圍內的訓練 FLOPs 設定了上限。由於實驗室總是希望利用最新的硬件和算法改進，訓練運行的持續時間很少超過六個月。雖然更具表達能力的前向傳播不會影響六個月內可以執行的 FLOPs 總量，但它們會減少在此時間範圍內可以處理的數據點數量，因為訓練運行的時間是處理單個 batch 所需時間與訓練 batch 數量的乘積。雖然可以通過增加 batch size 來規避這個問題，但存在一個 臨界 batch size，超過該大小後，進一步增加會導致收益急劇遞減。這些約束實際上創造了另一種權衡——在表達能力強的前向傳播與數據集大小之間，或者在表達能力強的前向傳播與訓練運行長度之間——雖然表達能力強的前向傳播有可能通過更高的數據效率勝出，但這並非顯而易見。

7) 可見推理軌跡的安全價值

如果神經元語模型被證明能力強大得多，實驗室似乎不太可能願意長期支付與保留可見推理鏈相關的「安全稅」。儘管如此，實驗室發布的 Korbak 等人 (2025) 聯合聲明至少提供了一線希望，即在可預見的未來，前沿模型開發將會考慮到可監測性。

結論

即使列出了所有這些論點，我對於神經元語架構最終是否會勝出，仍未形成確定的觀點。與兩個最相關的預測市場相比——Fabien Roger 的 《早期變革性 AI 是否會主要使用文字？》（目前為 47%）和 Leo Gao 的 《到 2026 年，基於 Transformer 的架構是否仍將是語言建模的 SOTA？》（目前為 91%）——我對堅持使用 Transformer 稍微比兩者都更樂觀一點。我希望這篇文章能激發關於該主題的進一步討論，並幫助進一步釐清我所描述的考量因素。非常歡迎對我遺漏的論點提出任何建議。

本作品產於 Aether。感謝 Rohan Subramani 和 Shubhorup Biswas 對本文初稿的反饋。

• ^(^)例如 Qwen3-235B-A22B，據我所知是今年發布的最深的開源 Transformer，擁有 94 層，每層涉及五次串行操作——三次在注意力機制中，兩次在 MLP 區塊中。因此，Qwen3-235B 一次前向傳播的串行操作總數為 470。某些不公開的模型可能有稍微更深的前向傳播，但可能不會深太多。

• ^(^)來源見 Jacques Hadamard 的 《數學領域發明心理學論文》 附錄 II。該書廣泛討論了非言語思維在數學研究中的作用；Henrik Karlsson 最近的貼文 《何時不使用文字思考更好？》 提供了摘要。

• ^(^)但請注意，這項研究至少有兩個顯著局限：首先，內心獨白的障礙僅通過默讀押韻能力測試來評估；其次，樣本量僅為 11 名患者。