大型語言模型神經解剖學（二）：現代 LLM 破解與通用語言的啟示？

背景

本文延續了作者在 2024 年提出的 RYS（Repeat Your Self）假說，探討在不改變權重、不進行額外訓練的情況下，僅透過重複大型語言模型（LLM）中間的特定層級，是否能有效提升模型性能。作者透過對 Qwen3.5-27B 等現代模型的掃描與實驗，進一步驗證了 Transformer 模型內部存在「編碼、推理、解碼」的三階段解剖結構，並發現中間層級似乎在一個與語言無關的「通用語言空間」中運作。

社群觀點

在 Hacker News 的討論中，社群對於這種透過「重組層級」來壓榨模型性能的技術展現出濃厚興趣。作者親自參與討論並指出，最令人驚訝的發現是，在測試了數百萬種配置後，最優解往往是簡單的連續區塊重複，而非複雜的多區塊組合。這暗示了 Transformer 的內部計算具有高度的連貫性，中間的推理電路非常穩健，以至於重複執行兩次也不會導致分佈偏移。這種現象引發了關於模型內部「通用語言表示」的熱烈討論。有留言者將此類比於卷積神經網路（CNN）在影像處理中會自動學習一組小波基底函數，認為 LLM 的早期層級也正在將不同語言轉化為一種通用的基底表示，這解釋了為何模型在中間層級更在乎「內容」而非「語言形式」。

然而，社群中也存在謹慎的聲音。有評論者提醒，雖然 RYS 在數學與情緒智商（EQ）基準測試中表現優異，但這種層級堆疊可能會導致模型在其他未測得的領域性能下降，建議應在更全面的開放基準測試中進行驗證。此外，關於實驗的重複性，作者坦承雖然探針有助於識別優質配置，但過程仍帶有雜訊，需要透過更大規模的測試集來複核。針對技術實作，部分開發者關心這類技術是否能整合進 Llama.cpp 或 Exllama 等推理工具中，作者回應目前正與相關開發者合作，試圖將此機制納入 Exllama v3 格式，這對於在有限 VRAM 環境下運行的 4B 到 14B 小模型尤為重要。

有趣的是，社群還將此現象與人類的認知特質聯繫起來。有留言提到某些具有語言天賦的學者能快速掌握多種語言，是因為他們能看見語言背後的共同模式。這引發了一種期待：AI 模型對抽象空間的處理方式，或許終將回過頭來幫助人類理解語言學習的本質。儘管有人質疑這種層級重複是否只是因為因果語言模型無法讓過去標記關注未來標記，而重複層級剛好補足了某種計算深度，但整體而言，社群認同這項研究揭示了模型內部解剖結構的非直觀特性。

延伸閱讀

在討論中，有參與者提到了一篇名為 Say It Twice 的研究論文（https://arxiv.org/html/2512.14982v1），該研究探討了類似的重複機制如何影響語言模型的表現。此外，作者也提到其掃描代碼已在 GitHub 上公開，並正與 TurboDerp 合作將此技術整合至 Exllama v3 專案中。