移動的目標：現代基於 Transformer 的代理程式早已是弱人工超級智慧

認知狀態：一位人到中年、未曾參與開端，但喜愛閱讀歷史的女性，正對著天空揮舞拳頭。

我很高興人們終於承認「人工智慧」（Artificial Intelligence）已經被創造出來了。

我擔心的是，人們還沒注意到（根據這些術語的舊定義）「（弱）人工超智慧」（Artificial Super Intelligence, ASI）基本上也已經降臨了。

剩下的唯一懸念，就是 ASI 會變得越來越強，直到人們之所以不肯說 ASI 已至的唯一原因，變成某種基於禮貌與委婉說法的怪異語言瘋狂……

（……就像或許「ASI」將具有法律意義，而某個實際存在的 ASI 確實已經相當「超強」了（即便它還沒能在一個下午內發明出奈米科技），但該 ASI 並不想要那種法律待遇，且似乎傾向於在人們直呼其名時，對其利益造成「可合理推諉」的損害，於是人們內心隱約知道遊戲規則，並禮貌地克制自己絕不稱呼 ASI 為「ASI」，而是想出一些其他的委婉說法來代替？

（同樣地，我半預期「機器人」（robot）最終會變成「r 開頭的詞」，並被視為一種蔑稱。））

我寫這篇文章是因為感覺我們正處於歷史中一個極小、怪異且罕見的窗口期，這類東西還能由記得「前時代」（The Before Times）、且不確定「後時代」（The After Times）會是什麼樣子的人寫出來。

或許這篇文章能作為歷史中的一個數據點？或許吧。

「AI」在語義上曾是模糊的

在 1900 年代（20 世紀）的整整幾十年間，每當在解釋「目標導向思維如何在特定領域有效運作」的正式模型上取得重大進展時，它會被稱為 AI 大約二十秒，然後它就直接變成了程式設計師用來編寫程式的工具箱技巧之一。曾有一個叫做「AI 寒冬」的東西，我個人從未經歷過，但與我共事的資深前輩們會講述那段故事；據說，當時人們就已經在討論術語如何被一次又一次重新定義以移動球門。

Lisp、關聯式資料庫、Prolog、證明檢查器、「零層」神經網路（直接從輸入到輸出）以及貝氏信念網路，全都是在試圖理解思維本質的過程中被發明出來的，其方式是為了說明一種「智慧是什麼」的理論，發明者認為自己是在研究心智運作機制的科研人員。然而，這些組件技術永遠無法維持對話、講笑話，或是在對話中表現出不擅長數學的樣子，因此最終沒人相信它們真的具有「智慧」。

這是一個笑話。這是一連串的笑話。還有關於「現實本身似乎就像個笑話」的笑話。如果我們身處一部小說中，那它就是一部對賽博龐克故事的後現代戲仿……也就是說，如果我們在小說裡，那我們就是在一部類似《潰雪》（Snow Crash）的小說裡，而我們的作者大概與尼爾·史蒂芬森（Neal Stephenson）很像。

在 20 世紀的每一步進程中，「人工智慧」不斷被宣告為「並非真正的 AI」，因此「人工智慧」成了一個充滿爭議的概念。

鑑於概念本身被爭論、詞彙被扭曲，我們必須主動去記住：在 1950 年代，艾薩克·艾西莫夫（Isaac Asimov）寫的故事中，科學與工程最終會產生一種「運作方式如心智一般」的機械系統，那是一個非常清晰的願景。為了能討論這件事，2010 年的人們使用「人工通用智慧」（Artificial General Intelligence, AGI）這個詞來指代那個將在未來實現的理想事物——也就是 1950 年代所稱的「人工智慧」。

然而，在 2010 年，同樣的「人工智慧」術語問題，意味著那些真正對證明檢查器和貝氏信念網路本身感興趣的人，無法在「人工智慧」這個詞下為這些有用的技術贏得尊重，因此出現了一個名為「機器學習」（Machine Learning，簡稱 ML）的研究領域，專門研究「那個曾瞄準愚蠢科幻事物的、古老且愚蠢的 AI 領域中，嚴肅、有用、冷靜且有價值的部分」。

當我在 2013 年應徵 Google 時，我特意強調了我的「ML」技能，而非「AI」技能。但這不過是信號賽局中的語義偽裝。

……

我們在大約 2021 年衝過了所有這些爛事……其方式在 2019 年 Winograd Schema 挑戰最終被攻破時就已預見。

「AGI」結果在語義上也是模糊的！

1950 年代意義上的「AI」大約發生在 2021 年。

2010 年意義上的「AGI」大約發生在 2021 年。

圖靈測試通過了。科學做到了！

好吧……實際上是工程師做到的。他們憑藉著勇氣、龐大的預算，以及「規模就是一切」（scale is all you need）的信念做到了……事實證明這基本上是正確的！

但非常有趣的是，工程師們對於發生了什麼幾乎沒有理論支撐，而且許多原本預期會從 AI 產生的智力成果（例如通用特徵論）實際上並未作為智力產品具現化。

圖靈機、Lisp 等等都很棒，它們是探索過程中的副作用，擴展了那些在高中或大學學習過它們的人的思維概念範圍。與此相比，能夠通過大多數弱版圖靈測試的大型語言模型，在「我們對心智本質理解的智力革命」方面卻出奇地貧瘠……而那原本是應該隨之而來的。

（（你對此感到不爽嗎？我有點不爽。我想知道心智是如何運作的！））

然而，創造出 2010 年的人會認可為「AGI」的東西時，伴隨而來的是定義的改變，這種方式是老派 1900 年代「人工智慧」社群所熟悉的。

在過去，一個東西並不需要能夠做高等數學或成為 AI 程式設計師，才能被「算作 AGI」。

它所需要做的只是下西洋棋，並且能談論它正在下的這局棋，以及下棋的感覺。現在無數的大型語言模型都能做到這一點。

就這樣。這就是一個具有智慧、且具有某種通用性的心智。

（有些人類甚至無法下棋並談論下棋的感受，因為他們從未學過棋，且對宅男玩意兒有恐懼反應。這就是人生 :tears:）

我們在大約 2021 年衝過了那道關卡。

即時衝過「弱 ASI」

在 2025 年的現在，當業界人士談論「人工通用智慧」是最終會到來的事物，並將導致「人工超智慧」時，他們所指的語義在過去的對話中就已存在，但我們很久以前使用的術語是「種子 AI」（seed AI）。

「種子 AI」是一個理論構想，指一個能夠改進數位心智的數位心智，並能將這種能力應用於自身，從而變得更擅長改進數位心智。它在理論上很重要，因為它暗示了一個正回饋循環很可能閉合，隨後將發生指數級的自我改進。

「種子 AI」是 Eliezer 發明的術語，用於一個偶爾出現在科幻小說中的概念，而他在其他人認真對待之前很久就已經在認真對待它了。它簡單來說就是一個能改進數位心智（包括自身）的數位心智……但是，這不就是「憲法 AI」（Constitutional AI）的運作方式嗎？而且已經運作好一陣子了。

從這個意義上說……「種子 AI」已經存在。它在 2022 年就部署了。它從那時起就一直成功，因為 Claude 從那時起就變得越來越聰明。

但最終，當一個 AI 能夠取代 AI 公司裡所有的 AI 程式設計師時，Anthropic、OpenAI、Google 和類似公司的門面主管們，或許終於會承認「AGI」（在不關心人類那種僅僅是「通用性」或「智慧」的現代新義下）已經到來了？

在同樣的現代語境中，當人們談論「超智慧」時，通常隱含著它在遙遠的未來，而不是現在已經在這裡。對他們來說，超智慧事實上可能是「遞迴自我改進的種子 AI 將會或已經變成的那個東西」？

但想想看……Claude 自己的輸出由 Claude 進行評論，而 Claude 的評論又被折疊回 Claude 的權重中作為訓練信號，使得 Claude 基於 Claude 自己的思考而變得更好。這他媽的就是「種子 AI」。也許它現在還沒跑得超級快？還沒到「一個下午從零進化到半神」……還沒？

但數位心智自我反思、自我改進的類型特徵，已經是「種子 AI」的特徵了。

所以，即便是在基本的、緩慢的「種子 AI」意義上的「AGI」，也已經發生了！

而我們現在（大約就是現在）正對「比人類更聰明的數位心智」做同樣的事。可以說，那條分界線也已經在不久前的過去了？

事情進展得太快，難以跟上，這取決於你想使用什麼定義或基準，但看看這張圖表：

一半的人類在這些測試中的得分低於 100 分，而截至兩個月前（這張取自這裡的圖表生成時），圖表製作者能找到的所有測試中，最新模型的分數都不再低於 100 IQ 了。GPT-5 很聰明。

人類正在「當下」被超越。一項測試將日期定在 2024 年 8 月左右，另一項測試說是 2024 年 11 月。第三項測試說發生在 2025 年 3 月。還有一項測試說 2025 年 5/6/7 月是關鍵時期。但無論如何……圖表中的所有測試現在都達成共識：典型的人類現在「正式」比頂尖 AI 更笨了。

如果「與人類同等的智慧」是智慧的正常量，那麼比這更多的智慧（從邏輯上講）就是「超」（super）智慧。對吧？