2025 年度回顧

2025 年度回顧

Lesswrong·

這份 2025 年度回顧反思了 AI 推理模型的飛速演進、DeepSeek 引發的全球地緣政治狂熱,以及優先考慮加速而非安全性的政治局勢轉變。我記錄了 AI 如何從根本上降低世界的摩擦力,並帶領我們走過這充滿激烈鬥爭、挫折與技術突破的一年。

就是這個時刻了。這是極其艱難的一年。

年初時,我們幾乎還沒有推理模型。現在,我們已經有了 Claude Code 和 Opus 4.5。

我不寫程式。然而現在,每當網站有什麼地方讓我心煩,或者當我身為程式員的直覺意識到某件事我打算至少做三次時,我就會讓程式碼誕生。因為,為什麼不呢?

進步的速度同時令人難以置信地印象深刻且迅速。但許多人並不這麼看,因為進步是漸進的,也因為我們理所當然地期望經常能得到比這更多的東西。

公眾對話和辯論比以往任何時候都充斥著虛假敘事,以及試圖讓局勢惡化的積極嘗試。針對聯邦 AI 政策的塑造,以及 OpenAI 轉型為營利性實體的嘗試也是如此。

正如人們所說,這是一場接一場的戰鬥,有許多勝利,也有許多挫折,以及介於兩者之間的許多事情。

這包括 AI 的關鍵發展,也包括今年其他我回想起來認為值得紀念的部落格文章。

這只是我們這個領域的年度回顧,而非通盤的回顧,因此像「解放日」(Liberation Day)之類的事情是在背景中發生的,不會被討論。

一月

混亂始於一月,當時我們正準備迎接川普就職。

OpenAI 剛剛給了我們 o1-preview,這是第一個推理模型。

在 2024 年底,DeepSeek 發布了 v3,即「六百萬美元模型」。這是開源和中國模型能力的重大進步,表明他們並沒有我們想像中落後那麼多,也表明極其優秀的模型可以廉價地訓練出來。雖然不像標題數字那麼便宜,因為六百萬只是最終運行的直接成本,但仍然相當便宜。

幾週後,DeepSeek 給了我們 r1,一個基於 v3 的推理模型。他們將其包裝成一個簡潔流暢的免費 App 體驗,這也是大多數人第一次能看到推理模型的思維鏈(Gemini Flash Thinking 也提供這個功能,但幾乎沒人知道或在意)。這表明構建推理模型的「秘方」並不那麼難以複製,且複製的邊際成本很低。

DeepSeek 衝上了 App Store 榜首,全世界徹底瘋狂了。股市發生了微崩盤。人們談論中國如何「追上」了美國,或者這意味著推理將變得如此便宜以至於沒人需要輝達(Nvidia)晶片(儘管消費者正爭先恐後地購買輝達晶片來運行 DeepSeek r1),或者這將如何摧毀利潤並將美國 AI 公司趕出市場。我不得不多次用那句經典建議警告人們:不要驚慌(Don’t Panic),並登上了 Odd Lots 節目討論這一切。

這被統稱為「DeepSeek 時刻」。

白宮的言論談到這意味著我們正與中國進行一場「競賽」,因此除了「獲勝」之外的任何其他考慮都必須被拋到腦後。

隨著時間推移,關注此事的人意識到這一切都被誇大了。DeepSeek 作為一個實驗室令人印象深刻,v3 和 r1 也是優秀的模型,但仍落後 OpenAI、Anthropic 和 Google 約八個月。我們一直在拿 r1 相對最好的特性進行單獨比較,然後以此預測未來,而這完全沒有發生。這發生在一個關鍵的拐點,正好是推理模型剛起步的時候,那時極少量的算力就能發揮最大的作用。

後來,r1-0528 並沒有引發轟動,DeepSeek 3.1 或 DeepSeek 3.2 也沒有。

二月

Google 在本月初向我們介紹了 Deep Research,這是一種新的產品形式,後來被 OpenAI 效仿,允許 AI 花時間準備一份報告。在當時,這非常令人印象深刻。它確實有其用途,即使時機有些尷尬,而且你必須克服那種在報告中填充大量廢話(slop)的傾向。

一篇關於《AI 逐漸剝奪權力的風險》(The Risk of Gradual Disempowerment From AI)的新論文改善了辯論,它強調了人類最終失去主導權的一種核心方式。不需要什麼「AI 政變」或戰鬥,除非有什麼力量阻止,否則 AI 預設會獲得越來越多的資源和權力。有一天我們醒來,發現我們失去了控制。再過一天,我們就醒不來了。

OpenAI 宣布其主要的對齊策略將是「審議式對齊」(Deliberative Alignment),因此我分析了該方法。我認為它有幫助,但不是核心解決方案。

政府在「巴黎 AI 反安全峰會」上明確表達了對 AI 的態度。之前的峰會曾努力為國際合作奠定基礎,認真討論存在性風險,特別是簽署了《布萊切利宣言》。那顯然已經結束了,轉而變成了對「足夠先進的 AI 可能具有存在性危險」這一觀點的蔑視,萬斯(Vance)發表了一場演講,要求自殺式的加速主義,並警告不要嘗試「不讓人類滅絕」。

這一年的發展大抵如此。我們在加州和紐約取得了一些微小的成功,但在大衛·薩克斯(David Sacks)的影響下,白宮成為了干擾「不讓人類滅絕」努力的積極力量,後來甚至干擾了擊敗中國的努力。他們在此過程中做了一些親美的事情,但也做了一些積極干擾我們競爭力的事情。

我引入了一個關鍵的新概念,我稱之為「摩擦等級」(Levels of Friction)。從實踐和法律的角度來看,不同的行為有不同程度的難易。範圍從等級 0(預設或要求),到等級 1(合法、普遍且容易),等級 2(安全但煩人),等級 3(積極地棘手或有風險),等級 4(實際上嚴重違法),直到等級 5(我們真的非常想阻止你)。與其考慮合法/非法或可能/不可能的二元論,考慮在不同等級之間移動通常更有啟發性。

AI 將會把許多事情移向更低的摩擦等級。這在預設情況下是壞事,因為摩擦力可以是承重的,例如在求職申請或限制反社會行為方面。它保護了公共利益。一旦關鍵的摩擦力從系統中移除,我們將不得不調整相當多的事情。

二月是「Grok 能成氣候嗎?」話題的高峰期。事實證明它沒成氣候。在其他模型新聞中,我們得到了 Claude 3.7。

我們還首次接觸到了「湧現式失調」(Emergent Misalignment),即訓練 AI 做與邪惡相關的壞事,可能會導致它泛化到認為自己是典型的邪惡角色,並做出各種典型的邪惡行為。

三月

一個非 AI 的亮點是我關於基礎教育的文章《學校是地獄》(School Is Hell)。

GPT-4.5 是 OpenAI 試圖給我們一個龐大且緩慢模型的嘗試。它做了一些很酷的事情,也有人非常喜歡它,但大多數情況下它並不值得。

AI 報導的一個重要部分是學會自信地屏除炒作。一個很好的例子是我對「Manus 行銷瘋狂」的報導。現在他們已經悄無聲息地賣給了 Meta,人們很容易忘記當時有很多人把 Manus 炒作成「下一個大事件」,以及我們將「輸給中國」的下一個理由。

我警告不要使用「最被禁止的技術」(The Most Forbidden Technique),即利用可解釋性對中間輸出進行訓練,教它思考你想要它思考的想法,從而教導 AI 像之前的人類一樣隱藏其思考過程。

圖像生成迎來了第一個重大時刻,當 4o 圖像生成器上線時,每個人都為吉卜力工作室風格瘋狂,利用了品質的提升以及模型模仿風格的意願。

Gemini 2.5 Pro 發布了,我稱之為新的業界頂尖。我認為這在當時是正確的,但後來版本的 Gemini 2.5 Pro 表現明顯變差,很快 OpenAI 就再次領先。

四月

《AI 2027》提供了一個具啟發性的情境,呈現了對可能發生情況的最佳猜測,並提供了一個替代方案:由於在關鍵時刻做出了放慢腳步的大膽決定,事情最終有了好結果。Scott Alexander 和 Daniel Kokotajlo 在 Dwarkesh 的播客中解釋了細節,我也報導了各種回應。

Llama 4 發布了,結果完全是個啞彈。Meta 自那以後在頂級 AI 產品方面一直保持沉默,同時花費數億美元在個人薪酬方案上,試圖召集人才重返賽場。鑑於 Meta 在公開場合表達的極其荒誕的烏托邦式 AI 願景,它的掙扎是一件好事。

o3 讓 OpenAI 在推理方面穩坐領先地位,具有出色的工具使用能力,但很快就被揭穿是一個經常撒謊的「撒謊精」。

OpenAI 在 GPT-4o 上還有其他問題。它一直是一個荒謬的諂媚者,可能會給用戶帶來麻煩,但這段時間的更新讓它變得更加荒謬地諂媚,迫使官方恢復到之前的版本。我稍後會提供一份事後分析。

五月

OpenAI 聲稱他們轉型為營利性實體(正如當時宣布的那樣,顯然這將是人類歷史上最大的竊盜案之一)將讓非營利組織保留控制權。

白宮從一開始就大肆宣揚拜登的擴散規則有多麼糟糕,就像它談論拜登所做的一切一樣,但它最初在晶片擴散和出口管制(包括 H20)方面表現得大體明智。

唉,隨著時間推移,大衛·薩克斯對他們的敘事有了更多控制權,並開始越來越多地發表「關於 AI 擴散的明顯胡言亂語」,字面上聲稱「擊敗中國」意味著最大化輝達的晶片銷售份額,並警告說如果我們不向忠誠度存疑的合作夥伴出售大規模算力,中國就會帶著不存在且在其他方面大為遜色的 AI 晶片介入,建立自己的「AI 技術棧」。最初這種言論和行動僅限於向阿聯酋(UAE)和沙烏地阿拉伯(KSA)等方銷售,如果交易和保障措施良好,這還可以討論,細節決定成敗。但後來這擴展到了嘗試...

Lesswrong

相關文章

  1. 漸進式去權力化月度匯總 #3

    4 個月前

  2. AI 的前景與晶片的脆弱性

    stratechery · 大約 1 年前

  3. 評估我對2025年的2022年預測

    4 個月前

  4. AI #146:參與分配

    4 個月前

  5. 2025年AI預測

    4 個月前