穆斯塔法·蘇萊曼：AI 發展短期內不會遭遇瓶頸，原因如下

我們是為了線性世界而進化的。如果你走一小時，你會覆蓋一段距離。走兩小時，距離就會翻倍。這種直覺在薩瓦納草原上對我們大有裨益。但在面對人工智慧（AI）及其核心的指數級趨勢時，這種直覺會慘遭失敗。

從我 2010 年開始從事 AI 工作到現在，投入前沿 AI 模型的訓練數據量增長了驚人的 1 兆倍——從早期系統的約 10¹⁴ flops（浮點運算，計算的核心單位）增長到當今最大模型的超過 10²⁶ flops。這是一場爆炸。AI 領域的其他一切都源於這個事實。

懷疑論者不斷預測會遇到瓶頸。但在這場史詩般的世代算力攀升面前，他們一直都是錯的。他們經常指出摩爾定律正在放緩，還提到數據缺乏，或引用能源限制。

但當你觀察推動這場革命的合力時，這種指數級趨勢似乎是相當可以預見的。要理解其中的原因，值得去看看標題背後複雜且快速變化的現實。

把 AI 訓練想像成一間坐滿了拿著計算機工作的人的房間。多年來，增加計算能力意味著向該房間增加更多拿著計算機的人。大多數時候，那些工作人員無所事事，在桌子上敲著手指，等待下一次計算所需的數字傳過來。每一次停頓都是被浪費的潛力。今天的革命不僅僅是更多、更好的計算機（儘管它確實提供了這些）；它實際上是關於確保所有這些計算機永不停歇，並且它們能像一個整體一樣協同工作。

現在有三項進展正在匯合以實現這一點。首先，基礎計算機變得更快了。Nvidia 的晶片在短短六年內將原始性能提升了八倍，從 2020 年的 312 teraflops 提升到 今天的 2,500 teraflops。我們於今年 1 月推出的 Maia 200 晶片，其性價比比我們現有車隊中的任何其他硬體高出 30%。其次，由於一種稱為 HBM（高頻寬記憶體）的技術，數字到達的速度更快了，這種技術像微型摩天大樓一樣垂直堆疊晶片；最新一代 HBM3 的頻寬是其前身的兩倍，能以足夠快的速度向處理器輸送數據，讓它們始終保持忙碌。第三，那個坐滿拿著計算機的人的房間變成了一個辦公室，然後是一個完整的園區或城市。像 NVLink 和 InfiniBand 這樣的技術將數十萬個 GPU 連接成倉庫規模的超級計算機，作為單一的認知實體運行。幾年前，這是不可能的。

這些收益匯聚在一起，提供了大幅增加的算力。2020 年在 8 個 GPU 上訓練一個語言模型需要 167 分鐘，現在在同等的現代硬體上只需不到 4 分鐘。換個角度來看：摩爾定律預測這段時間內只有約 5 倍的提升。而我們看到了 50 倍。我們已經從 2012 年開啟現代深度學習熱潮的圖像識別模型 AlexNet 使用 2 個 GPU 訓練，發展到今天最大集群中的超過 100,000 個 GPU，且每一個 GPU 本身都比其前身強大得多。

接著是軟體革命。來自 Epoch AI 的研究表明，達到固定性能水平所需的算力大約每八個月減半一次，這比摩爾定律傳統的 18 到 24 個月翻倍的速度快得多。一些近期模型的運行成本在年化基礎上暴跌了高達 900 倍。AI 的部署成本正變得極其低廉。

不久將來的數據同樣令人震驚。考慮到領先的實驗室每年正以近 4 倍的速度擴張容量。自 2020 年以來，用於訓練前沿模型的算力 每年增長 5 倍。預計到 2027 年，全球與 AI 相關的算力將達到 1 億個 H100 等效單位，三年內增長十倍。將這一切結合起來，到 2028 年底，我們將看到有效算力再增長約 1,000 倍。到 2030 年，我們每年可能會增加 200 十億瓦（gigawatts）的算力上線——這相當於英國、法國、德國和義大利峰值用電量的總和。

這一切能帶給我們什麼？我相信這將推動從聊天機器人向近乎人類水平的代理（agents）轉型——這些半自主系統能夠連續幾天編寫代碼、執行長達數週或數月的項目、撥打電話、談判合同、管理物流。忘掉那些只會回答問題的基礎助手吧。想像一下能夠深思熟慮、協作並執行的 AI 員工團隊。目前我們僅處於這一轉型的起步階段，其影響遠超科技領域。每個建立在認知工作之上的行業都將被重塑。

這裡明顯的限制是能源。一個冰箱大小的單一 AI 機架消耗 120 千瓦，相當於 100 個家庭的用電量。但這種渴望與另一個指數級趨勢相撞：太陽能成本 在 50 年內下降了近 100 倍；電池價格 在三十年間下降了 97%。一條通往清潔擴張的道路正清晰可見。

資本已經投入。工程正在交付。1,000 億美元的集群、10 十億瓦的電力消耗、倉庫規模的超級計算機……這些不再是科幻小說。這些項目現在正於美國及全球各地動工。因此，我們正邁向真正的認知豐饒。在 Microsoft AI，這正是我們的超智能實驗室正在規劃和建設的世界。

習慣於線性世界的懷疑論者將繼續預測收益遞減。他們將繼續感到驚訝。算力爆炸是我們這個時代的技術故事，無庸置疑。而且這一切才剛剛開始。

Mustafa Suleyman 是 Microsoft AI 的執行長。