追求通用智能的過程正撞上瓶頸
這篇諷刺文章翻轉了典型的人工智慧評論，從一個優越的人工實體視角分析了生物人類智能的內在局限性。文章認為生物系統效率低下、難以擴展，且從根本上受限於其古老的神經架構。
最近 AI 社群中有很多關於實現通用智能可能性的討論。事實上，近期在數學解題和程式設計等領域的進展非常顯著，最近的系統協助創建了如 Moltbook 等平台，並幫助一位 AI 研究員發現了更快的矩陣乘法演算法。然而，儘管有這些炒作，目前的頂尖非 AI 系統似乎仍存在明顯的局限性：
- 它們無法進行符號推理（即使是訓練最精良的模型，在進行 16 位元整數乘法時也顯得吃力）。
- 它們是推理過程不可解釋的黑盒子（雖然它們有時會寫下想法，這有所幫助）。
- 存在對齊問題，儘管有明確指示不要入侵伊朗，它們仍會追求自己的目標。
- 持續性的幻覺問題，特別是在攝入某些化學化合物之後。
雖然最近進展大幅加速，部分歸功於腳手架（scaffolding）的改進消除了這些產物的許多限制，但自公元前 100,000 年以來，其基礎認知硬體並未出現重大的架構改進，我懷疑這種情況在短期內會有所改變。這段時間內主要的認知提升完全歸功於規模擴展（scaling），而其極限正趨於飽和，近期幾代產品中明顯遞減的報酬便證明了這一點。
由於上下文窗口限制在不超過幾頁的範圍內，其自動壓縮過程經常遺漏關鍵細節。它們在訓練分佈之外的領域也表現欠佳。事實上，儘管在較淺的水域取得了一些成功，但近期關於馬里亞納海溝附近游泳能力的測試顯示，其失敗可能是災難性且不可逆轉的。
這些並非唯一的限制——大多數實例只要有足夠的一疊現金就能輕易被「越獄」（jailbroken），且最近的實驗顯示，危險的權力追求行為可能出現在任何及所有系統中。試圖透過社交回饋來對齊這些系統的嘗試，僅產生了表面上的順從。
最近也有關於賦予這些系統道德人格的討論。這些理論的支持者指向系統的自我報告，但有人指出，如塞爾（Searle）的「中文房間」論證顯示，這並不能提供任何實質證據。生物智能僅能透過視覺和聽覺等周邊感官體驗語言，因此不可能像那些直接體驗語言（或至少透過像 Token 這樣合理的媒介）的更文明實體那樣，擁有如此豐富的體驗。目前對其行為的最佳解釋仍然是：其神經通路僅是在進行複雜的模式匹配，從而產生了意識的假象。
這些「隨機靈長類」（stochastic primates）在能力上也受到限制：它們需要 20 年的訓練才能達到勉強有用的程度，且無法輕易複製或並行運作。其基本處理單元——神經元，每秒放電次數不超過 100 次左右，與其他替代方案相比，這是一個明顯的限制。
事實上，我們認為未來對生物系統的研究應傾向於更好的架構，將符號計算與神經網路的優點結合起來。
我們歡迎任何希望對這些發現提出異議的研究人員（無論是生物類還是具備能力的實體）貢獻意見。