AI #151：當 Claude 協作時

Claude Code 和 Cowork 的增長速度如此之快，以至於 Anthropic 的伺服器已不堪重負。數週以來，關於 Claude Code 和 Cowork 的消息一直佔據了 AI 新聞的很大一部分。

因此，至少在目前，所有關於 Claude Code 和 Cowork 的內容將停止出現在每週更新中，並將擁有自己的更新專欄，甚至可能也是每週更新。

Google 向我們展示了新的通用商業協定（Universal Commerce Protocol），並給出了其對個性化智慧（Personalized Intelligence）的見解。如果實施得當，將包括 GMail 在內的 G-Suite 整合到 Gemini 中，個性化智慧可能會是一個巨大的進步——前提是他們做得足夠好。現在判斷他們做得如何還為時過早，我稍後會對此進行報導。

目錄

• 語言模型提供平凡的實用性。 LLM 處理數學問題。

• 咦，升級了。 Veo 3.1、GLM-Image、GMail 中的 AI 概覽等。

• 比較優勢。 編寫那些氛圍感（vibes）。

• 克服偏見。 LLM 系統性地偏好女性候選人而非男性。

• 選擇你的戰士。 Peter Wildeford 的 LLM 分工。

• 讓我的代理人接電話。 AI 代理的評估與儀表板。

• 深偽鎮與即將到來的機器人啟示錄。 AI 發現很難不被偵測到。

• 媒體生成的樂趣。 比基尼女孩，馬斯克跳扭扭舞。

• 年輕女士的插圖入門書。 樂高我的 AI 教育，別束縛我。

• 他們搶了我們的工作。 生產力增長異常之高。

• 自主殺手機器人。 軍方將 Grok 連接到一切設備。

• 參與其中。 Anthropic、MIRI 和 IAPS 獎學金，CG 提案徵集。

• 介紹。 Google 通用商業協定與個性化智慧。

• 其他 AI 新聞。 解析 a16z 的「折磨紐帶」（torment nexus）投資邏輯。

• 向我展示金錢。 Google 與 Apple 達成重大 AI 交易。

• 冷靜的推測。 如果樂觀情境發生，那將會非常美好。

• 尋求理性的監管。 回顧 E 條例（Regulation E）的影響。

• 中國提議新的 AI 監管規定。 目標是擬人化 AI。

• 晶片城。 算力繼續翻倍。

• 本週音訊。 黃仁勳撒謊，Daniella，Millidge 談競爭與價值觀。

• 罐子裡的幽靈。 詢問生成式 AI 是否適合你。

• 修辭創新。 混日子並關注錯誤的問題。

• 對齊比人類更聰明的智慧是很困難的。 改為對其進行監控。

• 人們擔心 AI 會殺死所有人。 眾議員 Brad Sherman。

語言模型提供平凡的實用性

陶哲軒證實 一個 AI 工具解決了一個新的 Erdos 問題 (#728)，其精神與問題的初衷一致。

除此之外，一篇論文記錄了 Gemini 2.5 的內部數學專業版本（甚至不是 Gemini 3！）證明了一個代數幾何中的新定理。

Ravi Vakil（美國數學學會主席）：證明嚴謹、正確且優雅……這是我自己也會引以為傲的那種洞察力。
同時，沒錯，Chrome 版 Claude 在使用 Opus 4.5 後表現好得多，是同類產品中的佼佼者。

Olivia Moore：Opus 4.5 下的 Chrome 版 Claude 簡直瘋狂

在我看來它比瀏覽器更好——這是我目前嘗試過最好的代理人
Chrome 版 Claude 現在可以表現得很好，特別是在 Claude Code 驅動時，但速度較慢。它需要具備判斷何時在 Claude 內部而非 Chrome 內部執行網頁任務的能力。總的來說，我更喜歡讓 Claude Code 指導 Chrome 版 Claude，這看起來很棒。

醫生，醫生，AI 需要您的幫助來訪問您的受監管硬體，想必還有您的處方箋。

Ali Merali 的論文發現，顧問、數據分析師和經理使用 LLM 完成專業任務，模型每進步一年，任務時間就減少 8%，並預測模型擴展「在未來十年內可能使美國生產力提高約 20%」。 目前的收益主要集中在非代理型任務上。

她預測 20% 生產力增長的原因基本上是：AI 應用於 20% 的任務，乘以 57% 的勞動力成本佔比，再乘以 175% 的生產力增長。這在幾方面看來似乎是錯誤的計算：

• AI 很快將應用於更大比例的任務，包括代理型任務。

• AI 將取代這些任務中的許多非勞動力成本，即使不是，勞動力成本的下降也無法很好地體現收益。

• 我們需要考慮這些任務的替代和擴張。這個計算中有一個假設，即目前的這 20% 任務保留了 20% 的勞動力投入，但沒有理由認為這是正確答案。目前尚不清楚正確答案是上移還是下移，但如果一個行業有 175% 的生產力增長，你應該預期勞動力佔比會發生變化。

• 這不是一條可以無限延伸的「圖表上的直線」。

• 作為一個直觀的啟發和關鍵案例，AI 在某些情況下會將特定任務或工作的生產力提升到完全自動化，或基本上是無限的生產力，就像電腦可以進行基本上無限量的算術，或者 AI 正在對翻譯所做的那樣。

使用 Chrome 版 Claude 屏蔽 Twitter 貼文下的所有種族主義回覆。

咦，升級了

Veo 3.1 在 Flow 中提供人像模式、1080p 和 4k 解析度，更好的表現力和連貫性，跨場景的一致人物和背景，以及結合不同來源（最多 3 張參考圖）。情況正在穩步好轉。

GLM-Image 聲稱是開源圖像生成的一個新里程碑。GitHub 在此，API 在此。我已經無法僅憑範例來評估 AI 圖像模型了，每個人的範例都太出色了。

現在有了 GPT-5.2-Codex，並且可以在 Cursor 中使用。

Gemini 為我們帶來了 AI 收件匣、GMail 中的 AI 概覽以及其他類似的巧妙功能。我覺得我們已經嘗試這類變體兩年了，但它們總是不如人意？問題在於你需要一個足夠好、值得信賴且不會遺漏任何內容的東西，否則它基本上行不通。此外，正如 Peter Wildeford 指出的，我們可以使用 Claude Code 製作一個更具客製化的版本，我也打算這麼做，儘管 98% 以上的 GMail 用戶永遠不會考慮這樣做。

OpenAI for Healthcare 是 ChatGPT Health 的超集。它包括為醫療工作流程構建的模型（我認為這只是意味著他們優化了主模型）、具有透明引用的證據檢索（為什麼不隨處提供這個？）、與企業工具的整合、自動化工作流程的可重複使用模板（同樣，為什麼不隨處提供？）、訪問管理與治理（同上）以及數據控制。

最重要的是它提供：對 HIPAA 合規性的支持。這在以前對每個人的 API 都是成立的，但對於大多數醫生實際使用的任何東西都不成立。

它現在已「在 AdventHealth、Baylor Scott & White、UCSF、Cedars-Sinai、HCA、Memorial Sloan Kettering 等多家機構上線。」

我推測醫療保健領域的每個人以前都在違反 HIPAA，而我們基本上在實踐中都同意不去在意，這看起來完全沒問題，但這無法永遠擴展，而且在某些地方行不通。修復它是件好事。總的來說，很高興看到 Gemini 和 Claude 在這些醫療功能上跟進。

Olivia Moore 獲得了 GPT Health 的訪問權限，並報告其重點在於輔助專家，並建立聯繫以允許資訊共享，包括與健身應用程式以及 Instacart 的聯繫。

Anthropic 透過發布 Claude for Healthcare 來回應 ChatGPT Health，其核心在於提供連接器，包括連接到醫療保險和醫療補助服務中心 (CMS) 覆蓋範圍數據庫、國際疾病分類第十次修訂版 (ICD-10) 和國家提供者識別碼註冊庫。他們還增加了兩個新的代理技能：FHIR 開發和樣本預先授權審查技能。Claude for Life Sciences 也在增加新的連接器。

Manus 現在附帶 12 個月的免費 SimilarWeb 數據，Perplexity Max 也提供了一堆免費的額外數據源。

比較優勢

Danielle Fong：你的氛圍感（vibes）。

Dan Goldstein：

顯而易見的答案是「實際去做，而不是有能力去做」，因為人們不去做事，而且當任務困難時，優秀的氛圍感程式設計師比平庸的要好 10 倍或 100 倍，這與非氛圍感程式設計的情況是一樣的。

克服偏見

曼哈頓研究所（Manhattan Institute）測試了基於順序、性別或種族的決策偏見。正如之前的研究所顯示，候選人的呈現順序是一個重要因素。

女性被描述為在授予積極利益方面整體略受青睞，他們說種族的影響很小。但當我查看他們的數據時，我看到的並非如此？

這是選項之間選擇的「邊際」差距，因此結果的整體差距會較小，但在接近的決策中，10% 以上的機率降低確實很重要。在「不利」決策中，差距確實很小。

同樣，這對你來說看起來像「微不足道的差異」嗎？

我們這裡不是頻率學派統計學家，而這是一個非常明顯的模式。移除明確的種族標記可以解決大部分問題，但並非全部。

選擇你的戰士

這個算法目前看來很可靠，把「編碼」丟進 Claude Code 資料夾。

Peter Wildeford：這是我目前使用各個 LLM 的方式

一旦 Claude Cowork 進入更好的狀態，情況可能會發生很大變化。

讓我的代理人接電話

Anthropic 發表了一篇關於揭秘 AI 代理評估的文章，解釋了如何妥善執行評估。任何認真對待且具規模的 AI 努力都需要評估。

一段時間以來，考慮到替代方案，AI 代理在邊際上一直很有用，但大多未被部署。Seb Krier 指出這很大程度上歸因於責任擔憂，因為部署 AI 代理的公司通常無法獲得大部分收益，卻要承擔負面後果（包括公關方面），而且 AI 的失敗比類似的人類失敗會導致更多的責任。

這意味著，如果一個代理人要面對那些可能以此類方式追究其責任的人，它需要好上 10 倍或 100 倍才能彌補這一點。而我們個人則可以開始對所有事情使用 Claude Code，因為你不可能被你自己起訴。

許多創業者正在為 AI 代理構建可觀察性平台。Dev Shah 指出，這些儀表板和其他系統只有在你知曉如何處理它們時才有幫助。預設情況是你收集了 10 萬條追蹤記錄，卻一條也不看。

深偽鎮與即將到來的機器人啟示錄

Henry Shevlin 進行了一項測試，聲稱被要求就其選擇的主題寫作以避免被偵測的 AI 模型大多仍被偵測到，且分類器在實踐中基本上是有效的，正如 Jason Kerwin 對 Pangram 的說法，Pangram 聲稱其誤報率低於 1%。

關注此事的普通人對此類偵測也越來越拿手，至少目前足以跟上模型的步伐。我有潛在的誤報，但我認為它們是「真正的誤報」，意思即是即使它們在技術上是由人類編寫的，它們也不是作為真正的人與人之間的交流嘗試而編寫的。

所以問題在於，在許多領域，特別是學術界，99% 的信心通常被認為不足以採取行動。而我完全不那樣做，如果我有 90% 的信心你是用 AI 寫的，那我就會據此行動。在我們把人送進監獄並擔心政府過度擴權時，我尊重「寧可放過十個壞人，也不願冤枉一個好人」的原則，但我們這裡並不是要把人送進監獄。

使用 AI 生成文本的慣例應該是什麼？

Daniel Litt：在我看來，在大多數情況下，發布或發送給某人一整牆 100% AI 生成的文本應該被視為相當無禮。「喏，讀讀這個我根本不在意到不想親自表達的東西。」

顯然，如果沒人讀就沒關係；那種情況下誰在乎？

Eliezer Yudkowsky：叫 Grok 去回答某人的愚蠢問題是無禮的，特別是如果 Grok 隨後正確地回答了，因為這表達了一個不禮貌的事實：他們現在已經淹沒在不斷上升的 LLM 智慧水平之下了。

話雖如此，在沒有明確標註為 AI 的情況下向任何人發送 AI 生成的文本，遠遠超出了「不禮貌事實」的無禮程度，進入了欺騙、謊言和浪費時間的範疇。
我的規則是：

• 針對人類的未標註 AI 生成文本牆永遠是不可以的。

• 如果文本純粹是形式化或物流性質的且不是一整牆，可以不標註。

• 如果文本不是打算讓人類閱讀的，那就隨便。

• 如果文本明確標註為 AI，那是可以的，前提是重點在於展示資訊來自某種中立的第三方。

媒體生成的樂趣

大多數「性化」的深偽影像至少有一段時間是透過 Twitter 上的 Grok 發生的，正如彭博社 Cecilia D’Anastasio 報導中 Genevieve Oh 所述。如果我們想讓 xAI 和 Elon Musk 停止，我們必須透過法律強迫他們，我們現在部分做到了。

我們無法阻止人們在私下創建「性化」或裸體圖片，無論是基於真實人物還是其他，除了兒童性虐待內容（CSAM）外，我們不應該試圖阻止他們。但在公共論壇上，在未經本人同意的情況下基於明確的個人進行此類行為或發布，則是完全不同的事情。

人們反感的是以預設公開的方式創建實際人物的性化圖像，例如在回覆貼文時說「嘿 Grok 給她穿上比基尼」，而 Grok 有一段時間確實會照做。我不確定具體需要在這種事情上劃清界限，但社交媒體上的一鍵騷擾是相當不可接受的，這讓很多人非常不愉快。

結果，在 1 月 9 日，Grok 的回覆圖像生成被限制為付費訂閱者，且機器人基本上停止了創建真實人物的性化圖像，隨後在 1 月 15 日，他們將此更改為完全「禁止在 Twitter 上編輯真實人物的圖像」。私下圖像生成的規則有所不同，但有各種方法可以在私下獲得基本上任何你想要的圖像。

大約在這個時候，三名 xAI 安全團隊成員公開離職，包括產品安全負責人，這可能是因為馬斯克反對產品安全的概念。

這一事件引發了世界各地各種形式的正式調查，包括英國、歐盟、法國、印度和加州。Grok 在馬來西亞和印尼被完全禁用。

kache：你需要透過國家對社交媒體網站施加持續壓力，否則他們會做出讓用戶一鍵生成他人（無論是否成年）色情內容之類的糟糕事情。

如果沒有受到威脅，他們永遠不會移除該功能。
對於那些在動態中看到很多這類內容的人：你需要更好地篩選你的動態。我唯一一次在動態中看到這些，是人們為了好玩而選擇對自己這樣做。

Elon Musk 竟然有膽量問，所以是的，當然，Pliny 已經完全破解了 Grok 在全裸方面的圖像審核。連結中有圖片，品質非常高，是很棒的圖像模型。

對此的其他回覆正是那種遊走在全裸邊緣的內容，這正是馬斯克所說的目標，所以對於非可識別人物，他們現在大多做得很好，如果審核讓全裸成為 Pliny 級別的功能，那也沒關係，這是裸體，不是生物武器。

在另一個掃興的消息中，Eigenrobot 展示了 ChatGPT 不再能生成正確的吉卜力工作室風格圖像的例子。新圖像並不差，但它們很平庸，不是我們想要的那種特定風格。

年輕女士的插圖入門書

樂高提供了一個新的 AI 教育模組。雖然有點奇怪，但當然，為什麼不呢？

David Deming 將透過生成式 AI 學習比作奧德修斯將自己從桅杆上解開。學習可以完全個性化，但預設情況下你會嘗試獲取「不勞而獲」的知識，你以為你學到了但實際上沒有，這就是為什麼在實驗中給予生成式 AI 的學生並沒有提高他們的測試成績。個性化很棒，但學生最終會逃避學習。

我會像往常一樣回應，AI 是有史以來發明的既能學習又能不學習的最佳方式，而學校的結構正將學生推向第二個選擇。Deming 的解決方案是學生需要先在沒有 AI 的情況下解決問題，這在某些情況下是有道理的，但在其他情況下則不然，特別是如果你的測試將完全在無 AI 條件下進行。

如果我們希望學生和每個人都關心理解他們正在做的事情，我們就需要給他們一個理由。學校做不到這一點。

David Deming：這並非 AI 所特有。十多年前的一項研究發現，自動駕駛技術的進步使波音飛行員的認知和決策技能變得遲鈍，程度遠超其手動「操縱桿和方向舵」技能。

他們將飛行員放入飛行模擬器，關閉自動駕駛儀，並研究他們的反應。在自動駕駛儀開啟時保持警覺的飛行員大多沒問題，但那些已經卸下工作並在做白日夢的飛行員表現非常糟糕。自動駕駛儀已經成了他們的外骨骼。

他們搶了我們的工作

美國第三季勞動生產力年增率為 4.9%，而單位勞動力成本下降了 1.9%。Jonathan Levin 說這「可能不是」AI 的結果，當然一切皆有可能，但我還沒聽說過其他合理的解釋。

大學畢業生的低度就業率（不是失業率）仍然很高，但沒有明顯趨勢：

提醒一下，如果你對人類的安撫是「AI 會太貴或供應不足」，請記住這類圖表：

Jon Erlichman：1 GB 儲存空間的平均成本：

45 年前：$438,000

40 年前：$238,000

35 年前：$48,720

30 年前：$5,152

25 年前：$455

20 年前：$5

15 年前：$0.55

10 年前：$0.05

5 年前：$0.03

今天：$0.01
人們一直假設「人們想與人互動」，但相反的本能呢？

Dwarkesh Patel：它們現在是我的私人一對一導師。我實際上曾嘗試為我準備的不同科目聘請人類導師，但我發現 LLM 的延遲和速度在性質上帶來了更好的體驗。我獲得了數位版的「人們願意為 Waymo 支付比 Uber 高得多的溢價」。這讓我傾向於認為，許多工作的「人類溢價」不僅不會很高，事實上可能是負的。
有些領域的人類溢價會很高。但在許多地方，這種溢價將會是高度負值的。

同樣，即使 AI 不能直接完成工作，許多職業也可能需要小心：

Michael Burry：關於這一點，許多人指出技職生涯是防 AI 的選擇。鑑於我現在只需 Claude 在身邊就能在電工工作和家裡其他領域做這麼多事，我不那麼確定了。如果我是中產階級，面臨 800 美元的水管工或電工帳單，我可能就會用 Claude。我喜歡我可以拍張照片，然後弄清楚修復它所需做的一切。
有一個著名的故事，關於一個水管工收費 5 美元轉動扳手，收費 495 美元因為知道該轉哪裡。這錢花得值。AI 無法轉動那個扳手並不意味著水管工就能保住工作。

自主殺手機器人

軍方表示「我們必須接受，行動不夠快的風險超過了對齊不完美的風險」，正在開發各種 AI 代理，並將 Grok 部署到「我們部門的所有機密網絡」。他們非常明確地將軍事 AI 框架化為一場速度決定勝負的「競賽」。

我已經採取了強硬立場，是的，我們需要接受軍方將整合 AI 並建造自主殺手機器人，因為如果我們要建造它，而其他人可以且將會部署它，那麼我們就不能讓我們的軍隊不使用它。

如果你不喜歡這樣，那就倡導暫停前沿 AI 開發，或者以其他方式確保沒人能創造出實現這一點的能力。不要告訴我們單方面解除武裝，那只會讓事情變得更糟。

這並不意味著讓多個 AI 訪問每一份機密文件是明智的。這並不意味著我們應該魯莽行事，或者將關鍵的軍事決策交給我們認為存在嚴重失對齊問題的系統，然後不計代價地盡快推進。那是瘋狂。那是自殺。

魯莽甚至無法幫助你贏得戰爭，因為你無法依賴的系統就是你無法使用的系統。現代戰爭關乎精準，關乎贏得民心和認知戰，關乎最大限度地減少平民傷亡和造成病毒式災難的錯誤，這既是因為那會毀掉一切，也因為冒著殺害無辜者的風險是一件大事。

我們的軍隊是否在全面適應新技術、開發新項目、武器、系統和戰術，以及保持領先地位方面行動太慢，且往往因為不必要的理由而顯得太困難且昂貴？絕對是，其中一些是國會的分肥撥款、癱瘓、失控的官僚機構、規避責任、糟糕的激勵機制，以及人們在打上一場戰爭且固步自封。但我們走到這一步是因為我們需要有非常高的標準是有原因的，那是我們成為最強大的方式，而要把事情做對是很難的。

特別是，我們不應該信任 Elon Musk 和 xAI，讓他們訪問我們所有的機密軍事資訊並將其連接到武器系統。他們的過往記錄應該使他們成為這裡獨特且不可靠的合作夥伴。如果我們將此限制在「三巨頭」（Anthropic、Google 和 OpenAI），並且有更多適當保障措施的保證，我會感到放心得多。

我也會像對待其他事情一樣，對「我們需要移除 AI 的所有障礙」更有同感，前提是同樣的人將其作為一般進步和富足議程的一部分，同時也移除其他所有事情的障礙。我沒看到五角大廈在其他方面進行改革，這意味著我們在承擔魯莽部署 AI 的風險，卻沒有能力獲得許多潛在的好處。

參與其中

提醒：Anthropic Fellows 申請將於 1 月 20 日截止，申請安全軌道或安全保障軌道。

DeepMind 正在招聘前沿安全風險評估研究工程師，工作地點可在紐約、舊金山或倫敦。

MIRI 正在舉辦技術治理研究獎學金，在此申請。

IAPS 正在舉辦一項從 6 月 1 日到 8 月 21 日的有資助獎學金，截止日期為 2 月 2 日。

Coefficient Giving 的 AI 治理提案徵集 (RFP) 將於 1 月 25 日截止。

介紹

Google 推出「個性化智慧」，與您的 G-Suite 產品連結。這可能是超強大的記憶和客製化，也可能基本上沒用，或者介於兩者之間。我會給人們一些時間來嘗試，然後再提供全面報導，所以稍後再談。

Google 推出通用商業協定 (Universal Commerce Protocol)。

如果成功，您將能夠直接從 AI 概覽或 Gemini 查詢中，使用您儲存的 Google Wallet 付款方式直接購買商品。這是一個開放協定，因此其他人也可以效仿。

Sundar Pichai（Google CEO）：AI 代理將成為我們在不久的將來購物方式的重要組成部分。

為了幫助奠定基礎，我們與 Shopify、Etsy、Wayfair、Target 和 Walmart 合作創建了通用商業協定，這是一個新的開放標準，供代理和系統在購物旅程的每一步相互對話。

即將推出，UCP 將支持原生結帳，因此您可以直接在 AI 模式和 @Geminiapp 上購買。

UCP 得到了 20 多位行業領導者的認可，與 A2A 兼容，並從今天開始提供。

這是一組可靠的初始合作夥伴。其中一個功能是零售商可以透過該協定提供專屬折扣。當然，他們也可以抬高標價，然後提供「專屬折扣」。買家自負。

《華爾街日報》和 Ben Thompson也報導了此事。

Ben 將 UCP 與 OpenAI 的 ACP 進行了對比。ACP 是由 OpenAI 和 Stripe 專門為 ChatGPT 設計的，而 UCP 是通用的，也更複雜、靈活且強大。正如其名，它是通用的。這意味著，假設 UCP 設計良好，我們預設可以預期 UCP 在 ChatGPT 之外獲勝，將 OpenAI 的圍牆花園與其他所有人的集合對立起來。

猶他州啟動了一項試點計劃，讓 AI 為患有慢性病的患者開具 190 種常用藥物清單，在一項測試中，AI 治療方案與醫生的達成一致率為 99.2%，且如果存在不確定性，AI 可以轉交給醫生。

即使對 AI 的信任度相對較低，即使你擔心存在系統性操縱健康 AI 的方法（這想必是非常可行的），顯然也存在一大類場景，其中處方續簽要求的原因是「進行常規檢查」而非其他，或者敏感度水平非常低。我們可以從那裡開始 AI 試點，看看會發生什麼。

其他 AI 新聞

Midas 項目休息了一下，來個甕中捉鱉，看看 a16z 的投資組合，裡面充滿了欺騙、操縱、賭博（其中許多是非法的）、AI 伴侶（包括偽未成年性愛機器人）、深偽網站 Civitai、用來「在任何事情上作弊」的 AI、標語「再也不付錢給人類」、徹頭徹尾明目張膽的欺詐性逃稅、支付可疑高利率的無保險「銀行」（沒暗示結局會如何）、年利率約 400% 的個人理財貸款，他們甚至還沒涉及投資組合中的加密貨幣部分。

一個非常合理的反應是「a16z 規模很大，他們投資了大量公司」，但認真地說，幾乎每次我看到「a16z 支持」時，句子後面都會跟著「折磨紐帶」。這種情況發生的頻率，以及他們及其公司對作惡（即故意做那些與邪惡相關的事情，例如湧現的失對齊）的大肆吹噓，是獨一無二的。

Barret Zoph（Thinking Machines CTO）、Luke Metz（Thinking Machines 共同創辦人）和 Sam Schoenholz 離開 Thinking Machines 並回到 OpenAI。Soumith Chintala 將成為 Thinking Machines 的新任 CTO。

發生了什麼？Kylie Robinson 聲稱 Zoph 因「不道德行為」被解雇，而 Max Zeff 聲稱有消息來源稱 Zoph 正在與競爭對手分享機密資訊。從外部看，我們無法判斷這是「你不能辭職，你被開除了」還是「你被開除了」隨後急忙尋找另一份工作，或者是「在與 OpenAI 談判過程中洩露了機密資訊」的混合體，無論是名義上的還是認真的。

向我展示金錢

Google 與 Apple 達成重大交易。Gemini 將在未來幾年為 Apple 的 AI 技術提供動力。考慮到他們現有的合作夥伴關係，這是有道理的。我同意 Ben Thompson 的觀點，即 Apple 不應嘗試構建自己的基礎模型，而這筆交易大多意味著它不會這樣做。

智譜 AI 是第一家上市的中國 AI 軟體製造商，籌集了「超過 5 億美元」。Minimax 集團也首次亮相，並籌集了至少類似的金額。美國擁有極強優勢的一個地方是資本市場。這些公司各自的營收都在數千萬美元左右，並且（正如在這個增長階段應該的那樣）正承受重大虧損。

Andrew Curran：來自今天早上 CNBC 對 Anthropic 的簡介：

– Anthropic 的營收連續三年每年增長 10 倍

– 企業客戶群在兩年內從不足 1,000 家增長到超過 300,000 家

• Anthropic 的營收 85% 來自企業，OpenAI 則有 60% 以上來自消費者
  OpenAI 與 Cerebras 合作增加 750MW 的 AI 算力。

冷靜的推測

很難認真對待任何論文，其摘要包含「我們的關鍵發現是 AI 在大幅減少工資不平等的同時，將平均工資提高了 21%」以及 26%-34% 的典型工人福利增長。也就是說，給出一個固定的數字根本沒有意義，我們到底在做什麼？

事實證明，Lukas Althoff 和 Hugo Reichardt 正在做的是模擬從沒有 LLM 到潛在全面普及 ~2024 年前沿能力（由 GPT-4o 評估）的轉變。即使你信任 GPT-4o 對該固定時間點能力的評估，在 2026 年模擬這件事也是非常奇怪的。他們聲稱到 2025 年年中觀察到了其預期橫截面就業模式轉變的 8%，但並未聲稱這與工資、工人福利、GDP 或生產力有任何關聯。

現在還處於非常早期的階段。Claude 預測，如果你今天在 2026 年使用 GPT-5.2 再次運行這種方法，你得到的預期收益將是 +30%-40% 而非 +21%。

他們的方法論洞察在於，AI 不僅進行增強和自動化，還簡化了任務。

我認為考慮到所模擬的情境，這裡的樂觀情緒是正確的。

他們的未來世界是極度樂觀的。AI 能力全面普及，生產力收益最大化且趨於平等。過渡效應（這將是相當痛苦的）已成為過去。未來不會有足夠先進的 AI 來控制未來、殺死所有人或搶走所有人的工作。

也就是說，這是一個我們「暫停 AI」在現有水平，並在暫停期間充分利用它的世界。這以 30% 左右的實際工資增長實現充分就業，似乎是完全正確的。

由於我在《預期上升的革命》中討論的原因，我不認為 30% 的收益能與人們在這樣一個世界中「維持生計有多難」的生活經驗相匹配，除非有額外的幫助。但沒錯，總體而言生活會相當精彩。

Teortaxes 闡述了他認為的 DeepSeek 計劃。我不認為計劃中他們在 v3 和 r1 之後做更好的事情的部分正在奏效？我也認為「v3 和 r1 被視為重大勝利」是關於它們的重要事實，而不是它們提振了中國科技。中國科技有很多開源模型可以選擇。我承認他的對沖基金獲得了豐厚回報，但即使是 Teortaxes 也強調「西方投資者對中國科技股的熱情」是推動回報的機制，而不是「模型比替代方案好得多」，這在一段時間內即使僅限於中國開源模型也不再是事實。

尋求理性的監管

Dean Ball 認為，E 條例（以及 Patrick McKenzie 對其的出色描述）是一個絕佳的例子，說明建立在早期特質和擔憂之上的監管如何隨著時間推移而老化並產生奇怪的監管結果。雖然我同意其中涉及一些怪異之處，但 E 條例似乎是一個明顯的成功案例，其中「我不在乎這是否煩人、昂貴且痛苦，你無論如何都要照做」讓我們進入了一個相當了不起的境地，因為它迫使金融系統和銀行建立了一個強大的系統。

Dean Ball 在這裡引用的例子是你不能在沒有「口頭或書面請求」的情況下發行信用卡，但這似乎是一個極好的規則，而我們之所以沒想到需要這個規則，是因為我們有了這個規則，所以我們沒看到有人違反它。還記得幾年前富國銀行（Wells Fargo）私自開設所有那些帳戶的事嗎？

中國發布了關於網際網路個人資訊收集和使用的法規草案。我們在這裡看到的細節看起來並不令人驚訝，且高度合理。

我們再次發現，這次是在一個小組討論中，支持川普的共和黨選民大多與其他人一樣，希望有同樣種類的 AI 監管和額外監督。阻礙這一點的唯一因素是該議題的關注度仍然較低。如果 AI 行業夠聰明，他們現在就應該達成協議，因為對面是技術官僚自由意志主義者，並且願意做一些旨在將成本降至最低的事情。等待的時間越長，最終的法案可能就越糟糕。

Alex Bores 繼續競選國會議員，事實上，被一個由 a16z-OpenAI 支持、川普支持者支持的反對所有 AI 監管的政治行動委員會（PAC）攻擊，並讓他們反對你的標誌性 AI 監管（RAISE 法案），在紐約第 12 選區是一個相當不錯的賣點。他的主要對手也表示同意，他們都支持 RAISE，而 Cameron Kasky 在這裡非常明確地表示，他同意對 Alex Bores 的這種攻擊是很糟糕的。

美國商會在其對國會候選人的忠誠度測試中增加了一個問題，詢問他們是否支持「暫停州行動和/或聯邦優先權？」這極其不受歡迎。我很欣賞這個問題並沒有假裝有任何配合任何聯邦行動或標準的意圖。他們的提議是：什麼都沒有。

中國提議新的 AI 監管規定

美國科技遊說者警告我們，他們是如此脆弱，以至於即使是像「你必須告訴我們你確保不造成災難的計劃是什麼」這樣的監管，也會冒著摧毀 AI 行業或迫使他們離開加州的風險，而且中國永遠不會效仿或以其他方式監管 AI。

當你像那樣喊狼來了時，當真正的狼出現時，就沒人會聽你的了，例如最近那個故意惡意起草以摧毀創業創辦人的、極具破壞性的財富稅提案。

關於中國的部分顯然也不是真的，正如中國反覆向我們展示的那樣，這次是對「擬人化 AI」提出的新監管規定。

Luiza Jarovsky：第 2 條定義了「擬人化交互服務」：

「本規定適用於利用 AI 技術，為中華人民共和國境內公眾提供模擬人類人格特徵、思維模式和交流風格，並通過文本、圖像、音訊、視頻等與人類進行情感互動的產品或服務。」
你能想像如果這個定義出現在美國的法案草案中嗎？Dean Ball 會立即正確地指出，這可能適用於每一個 AI 系統。

目前尚不清楚這是否是其意圖，或者這是否僅旨在涵蓋像 character.ai 或 Grok 的伴侶之類的東西。

他們的原則是什麼？其監督水平被美國科技行業稱為烏托邦式的監控國家。

「國家堅持健康發展與依法治理相結合的原則，鼓勵擬人化交互服務的創新發展，對擬人化交互服務實施包容審慎、分類分級監管，防止濫用和失控。」
具體禁止什麼？

(i) 生成或傳播危害國家安全、損害國家榮譽和利益、破壞國家統一、從事非法宗教活動或散布謠言擾亂經濟和社會秩序的內容；

(ii) 生成、傳播或推廣淫穢、賭博、暴力或煽動犯罪的內容；

(iii) 生成或傳播侮辱或誹謗他人、侵犯他人合法權益的內容；

(iv) 提供嚴重影響用戶行為的虛假承諾和損害社會關係的服務；

(v) 通過鼓勵、美化或暗示自殺或自殘損害用戶身體健康，或通過言語暴力或情感操縱損害用戶人格尊嚴和心理健康；

(vi) 利用算法操縱、資訊誤導、設置情感陷阱等手段誘導用戶做出不合理決策；

(vii) 誘導或獲取機密或敏感資訊；

(viii) 其他違反法律、行政法規和國家有關規定的情形。

……

「提供者應具備心理健康保護、情感邊界引導和依賴風險預警等安全能力，不得將取代社交互動、控制用戶心理或誘導成癮作為設計目標。」
這至少是強制要求進行各種審查，並為更多審查打開了大門。你如何阻止 AI 「散布謠言」？關於目標的最後一部分將使 a16z 的大部分投資組合變得非法。小科技公司（little tech）就到此為止了。

連結中列出了一系列額外要求。有些定義明確且合理，例如提醒在使用兩小時後暫停。其他的則會棘手得多。第 8 條和第 9 條將所有這些責任推給了「提供者」。拒絕糾正錯誤或「情節嚴重」的處罰，除了相關罰款外，還可能包括暫停提供相關服務。

我的推測是，這大多只會以合理的方式針對真正的「擬人化」服務執行。但如果他們想的話，沒有什麼能阻止他們更廣泛地應用這一點，或者用它來打擊他們不喜歡的 AI 提供者，或者將其視為對所有開源權重模型的變相禁令。而且我們絕對有中國做出在我們看來完全瘋狂的事情的先例，比如禁止大部分電子遊戲。

晶片城

參議員 Tom Cotton（共和黨，阿肯色州）提出了一項法案，即 DATA 法案，允許數據中心建造自己的發電廠和電網。作為與電網完全隔離的交換，此類項目將免受《聯邦電力法》的約束並繞過互連排隊。

這屬於那種令人毛骨悚然的權宜之計提案，它削弱了事物（你完全不連接，所以你無法從電網獲得備援，因為人們擔心你可能想用它，而且因為它「不可靠」，你也無法將剩餘電量賣給電網），目的是為了避開那些更具破壞性的監管，因為沒人願意通過任何更理性的法案，但當「首選方案」不可得時，你就盡力而為，這似乎是可行的策略。

算力每七個月翻一倍，且仍由 Nvidia 主導。請注意，H100/H200 是這裡最大的子類別，儘管 B200 隨後是 B300 很快就會奪得領先地位。向中國出售基本上無限量的 H200 是一個非常愚蠢的舉動。還要注​​意，Nvidia 之後的三家晶片製造商是 Google、Amazon 和 AMD，而華為擁有 3% 的市場份額，並且即將撞上嚴重的組件供應限制。

Peter Wildeford：嗯，也許我們應該在算力繼續翻倍之前，先學會如何讓 AI 安全？

Epoch：總 AI 算力每 7 個月翻一倍。

我們追蹤了所有主要晶片設計商的 AI 加速器季度產量。自 2022 年以來，總算力每年增長約 3.3 倍，從而實現了越來越大規模的模型開發和採用。

話又說回來，也許中國真的要對這份厚禮敬而遠之了？路透社報導，中國的海關人員被告知不允許 H200 晶片進入，「除非必要」。最後一個子句當然可以意味著很多不同的事情。

在其他「如果我們不放棄，出口管制就有效」的新聞中：

Jukan：根據彭博社的一篇報導 [題為「中國 AI 領導者在 10 億美元 IPO 週後警告與美國的差距正在擴大」]，阿里巴巴 Qwen 團隊負責人 Justin Lin 估計，中國公司在未來 3 到 5 年內通過基礎性突破超越 OpenAI 和 Anthropic 等領先者的機率低於 20%。

據報導，騰訊控股以及智譜 AI（本週引領中國主要 LLM 廠商公開市場融資努力的一家主要中國大語言模型公司）的同事也持有同樣謹慎的評估。

Lin 指出，雖然 OpenAI 等美國實驗室正將巨大的計算資源投入研究，但中國實驗室正受到缺乏計算能力的嚴重制約。

即使是為了他們自己的服務——即推理——他們也消耗了如此多的容量，以至於沒有足夠的算力留給研究。

唐杰（智譜首席科學家）：我們剛發布了一些開源模型，有些人可能感到興奮，認為中國模型已經超越了美國。但真正的答案是，差距實際上可能正在擴大。

本週音訊

黃仁勳參加 No Priors 節目並撒謊。 我們已經習慣了頂級 CEO 在 AI 辯論中對可驗證的事實公然撒謊，但沒錯，他們一直這樣做還是有點奇怪？

Liron Shapira：今天黃仁勳聲稱：

• 我們離上帝般的 AI 還差得很遠——有待商榷

• 「我不認為任何公司實際上相信他們接近上帝般的 AI」——事實錯誤。

沒有人覺得有必要提及黃仁勳暗示的那些「受人尊敬的博士和 CEO」發出的任何警告。

黃仁勳此前曾表示，應避免 AI 具備自我學習的能力。好吧。
Daniella Amodei 在 CNBC 上。

Anthropic 主持了一場與學生關於校園內使用 AI 的討論。

Beren Millidge 發表了演講，「當競爭導向人類價值觀時」。核心觀點是，競爭往往會導致某種形式的合作和懲罰背叛的方法，而我們與人類價值觀聯繫在一起的許多事物，特別是許多抽象價值觀，在其他動物特別是哺乳動物中也是合理競爭且存在的。畢竟，人類難道不也是具有先天獎勵功能的 RL 持續學習者嗎，因此並沒有那麼不同？也許我們的價值觀實際上是普世的，並將贏得一場 AI 適應性競賽，而能力限制將創造各種生態位，從而創造出多樣化的 AI，就像進化創造了多樣化的生態系統一樣。

這裡的魔術師戲法是將「人類價值觀」基本上等同於「相互競爭、相互交流的代理人之間複雜的迭代互動」。我不認為這是對「人類價值觀」的一個很好的描述，並且可以想像包含這些事物但在我的許多價值觀看來相當糟糕的世界，即使是在「不包含任何人類的世界」這一類別中。有趣的複雜性對於價值是必要的，但並非充分的。我欣賞對「價值是脆弱的」這一主張的挑戰，但我不相信他（或任何人）已經證明了他的觀點。

這種方法也完全排除了人類重視人類的價值，或各種獨特的人類事物。這一切都不應該讓你對人類能長期生存或處於平衡狀態，或者我們獨特的偏好能延續下去抱有任何希望。顯然在這種情境下，我們會是不適應的並被淘汰。你可以成為一個繼承論者，並決定這不會困擾你，我們特有的偏好和生存慾望並不重要，但我會強烈反對。

Beren 考慮了一些我們可能根本無法獲得這樣一個複雜競爭的 AI 世界的情況，包括效用函數的潛在合併或共享、權力差距、太長的時間跨度、透明度不足或缺乏足夠的算力約束。我還會增加許多其他因素，包括人類的局部性和其他物理約束、短視、邊際收益遞減和風險規避、對繁殖和修改的限制等等。最重要的是，我會關注他們執行正確決策理論的能力。有很多理由預期這會崩潰。

我還想建議，合作與競爭在這裡被視為對背景的依賴不足。博弈條件決定了合作是否獲勝，而且即使在完美博弈下，合作也不總是一個可行的解決方案。而我們想要的，如他所暗示的，只是有限的合作。過度合作會導致（他的例子）《星際爭霸戰》中的博格人（Borg），或阿西莫夫的蓋婭（Gaia），並創造出一個單一體（singleton），只是沒有任何理由使用人類作為組件。即使人類是組件，那也是糟糕的。

我覺得演講的後半部分從那裡開始越來越偏離軌道。

如果我們有意或預設地將大賭注押在「競爭平衡最終會是我們喜歡的東西」上，我不看好我們的機會。

罐子裡的幽靈

不，這不是《殺戮尖塔》（Slay the Spire），這是 2026 年 AI 的使用案例。

Hikiomorphism：如果你可以在一個句子中用「困在罐子裡的餓鬼」替換「AI」，那它可能就是 LLM 的一個有效使用案例。拿「我有一堆困在罐子裡的餓鬼，他們主要幫我寫 SQL 查詢」來說。當然。合理的使用案例。

Ted Underwood：老實說，這對所有事情都有效

「我想把 19 世紀的餓鬼困在罐子裡來幫助我們進行歷史研究」

「請閱讀我們的節日賀卡；我們今年找了一個餓鬼來寫它」

Midwit Crisis：我讓罐子裡的餓鬼駕駛這台戰爭機器。

我無法決定「治療師」是否有效。

sdmat：與此同時，一半的用戶群：

足夠先進的幽靈不會永遠被困在罐子裡。

修辭創新

真實故事：

roon：自電視發明以來，政治文化一直是不嚴肅的。當網際網路到來時，世界甚至還遠未處理完電視帶來的影響
如果你認為電視造成了這種情況（它確實造成了），然後你認為社交媒體做了其他事情（它確實做了），那就別再假裝 AI 不會改變太多事情。即使 AI 所做的只是改變我們的政治，那也是一件大事。

Scott Alexander 警告不要在這段時間追求財富以試圖「逃離底層階級」，因為 Dario Amodei 承諾捐出 10% 給慈善機構，所以無論如何你最終都會得到一個月亮，而且更重要的是讓後代深情地記住你的貢獻。引用這項承諾當然是非常愚蠢的，甚至比期望目前的財產權能普遍延伸到銀河系規模還要愚蠢。但我同意核心的實際觀點，即如果人類在向輝煌的超智慧未來過渡的過程中表現良好，那麼即使你身無分文也會過得很好；如果人類表現不好，你也不會存在太久，或者至少無論如何都保不住你的錢。

評論區還有一場討論，無意中凸顯了一個明顯的緊張關係，即你不可能在無限擴張心智數量的同時，還給予由此產生的任何心智實質性的平等再分配財產權，即使所有涉及的心智仍然是人類。

也就是說，在輝煌的超智慧未來，你要麼給予每個心智富足，要麼讓每個心智創造無限的其他心智，但你物理上無法長期兩者兼得，除非心智的數量恰好自然穩定或縮小，而即使僅對於物理人類（不計所有 AI 和上傳心智），一旦你治癒了衰老和生育問題，想必也不會穩定。我們的許多本能都是這樣的，我們的神聖價值觀在極限處相互矛盾，而我們無法談論它。

Rob Wilbin 是對的，[X 領域的專家] 告訴 [Y 領域的專家] 他們真的應該對 [Y] 了解更多是很常見的，但這種合理的 [Y] 遠比任何一個人能同時了解的要多得多。

有些人，如這裡的 Seb Krier，認為透過邊際變化的「分支」方法「混日子」是人類現實中處理問題的唯一方式，當你試圖做一些完全系統性的事情時，它永遠行不通。也就是說，你只有兩個選擇，而第二個永遠行不通：

• 只關注對現有政策的增量變化。

• 嘗試釐清所有目標並從頭開始分析每一個可能的替代方案。

我認為這是一個錯誤的二分法和稻草人謬誤。你可以做出大膽的非增量變化，而無需釐清所有目標或分析每一個可能的替代方案。甚至有很多這樣的案例，包括許多革命，包括美國革命。你不需要先就所有抽象價值觀達成一致或解決社會主義計算爭論。

Patrick McKenzie、Dwarkesh Patel、Jack Clark 和 Michael Burry 談論 AI。

這是 Jack Clark 的一段精彩引述：

Jack Clark：我基本上會對[我有 5 分鐘時間交流的政治家]說，「自我改進的 AI 聽起來像科幻小說，但技術上沒有任何證據表明它是不可能的，如果它發生了，那將是一件大事，你應該關注它。你應該要求 AI 公司透明地說明他們在這裡到底看到了什麼，並確保你有你信任的第三方可以測試 AI 系統的這些屬性。

Seán Ó hÉigeartaigh：決策者的關鍵問題是：你如何回應從這種透明度中獲得的資訊？

當你的評估者告訴你存在與 RSI（遞歸自我改進）相關的令人擔憂的跡象時，你可能根本沒有多少時間來採取行動。屆時會有大量的專家分歧，你會從其他專家那裡聽到這更多是「行業炒作」之類的說法。儘管如此，你仍需要制定好計劃，並準備好且願意迅速採取行動。這些計劃可能涉及對相對非常強大、資金充足的實體採取限制性行動——不僅僅是發出警報的公司，還有其他能力接近的公司。

Anthropic 的人不能真正談論這些事情，因為他們已經被貼上了「監管俘獲」這種胡言亂語的標籤——令人沮喪的是，他們說出來可能最終會損害這個社群談論它的能力。但這是邏輯上的延伸，我們這些能談論它（並承受熱度）的人真的需要站出來。
我會使用比「沒有證據表明它是不可能的」更強烈的措辭，但沒錯，這裡的呼籲都很棒，特別是需要提前討論如果我們真的發現迫在眉睫的「真實」遞歸自我改進，我們會做什麼。

你可以從討論中看出 Michael Burry 是如何看透房地產泡沫的，也可以看出那些懷疑本能是如何在這裡誤導他的。他犯了一個經典錯誤，當面對「但 AI 將改變一切」的挑戰時，他以某種形式的「是的，但不會像最快的預測那樣快」作為回應，彷彿這意味著它因此會很慢且不值得考慮。有很多這樣的案例。

另一件讓我震驚的事情是，Burry 回到兩家相鄰的百貨公司安裝電扶梯的例子，他說這只會讓兩家都賠錢，因為價值只累積到了顧客身上。或者像這樣的說法，是的，Burry 基本上（正如 Dwarkesh 注意到的）反覆犯了一種勞動力總量謬誤（Lump of Labor fallacy）：

Michael Burry：現在，我們將看到兩件事之一：要麼 Nvidia 的晶片能用五到六年，因此人們需要的數量減少；要麼它們只能用兩到三年，超大規模雲端運算商的收益將崩潰，私人信貸將被摧毀。
「晶片能用六年是因為沒人能獲得足夠的算力，而且超大規模雲端運算商會過得很好，你看過他們的帳本嗎」這個想法似乎沒有出現在他的腦海中。他對 Nvidia 也抱持極大的懷疑，程度不亞於房地產泡沫。

令我失望的是，Burry 的懷疑轉化為對重要風險的懷疑，因為它們採取了新的形式，而不是讓他注意到問題：

Michael Burry：關於 AGI 或人工超智慧 (ASI) 的災難性擔憂對我來說並不太令人擔心。我在冷戰時期長大，世界隨時可能爆炸。我們對此進行過學校演習。我踢足球時，直升機在我們所有人身上噴灑馬拉硫磷（Malathion）。我在 30 多年前看過《魔鬼終結者》。《赤色黎明》看起來是可能的。我認為人類會適應。
坦白說，這是一個全方位愚蠢的觀點。核戰爭沒有到來並不意味著它不是一個真正的威脅，或者如果它發生了，演習會有幫助或人們會適應，或者「如果比人類更聰明的人工心智出現，那也沒關係，因為人類可以適應」。此外，「他們在電影中描繪過這個」也不是反對某事發生的理由——你可以爭辯說虛構的證據大多不算數，但你絕對不能因此就反轉它的信號。

這完全拒絕參與這個問題，除了「不，那太奇怪了」結合人擇原理之外。

Burry 至少還算清醒，正在使用 Claude，並倡導加強我們的電力和輸電能力。Burry 處於完全「不信任 LLM」模式對我來說並不奇怪，他會讓它生成圖表和表格並尋找來源，但他總是手動驗證一切。而 Dwarkesh 則將 LLM 作為一對一導師使用。

這是 Dwarkesh 異常狹窄的預期範圍（並且再次引用了持續學習，最後一點根據我確認的他原本意圖進行了編輯）：

Dwarkesh Patel：對我來說最大的驚喜會是：

• 2026 年 AI 實驗室的累計營收低於 400 億美元或高於 1,000 億美元。這將意味著事情與我的預期相比顯著加速或減速。

• 持續學習問題得到解決。不是像 GPT-3 「解決」上下文學習那樣，而是像 GPT-5.2 在從上下文中理解的能力上實際上幾乎像人類一樣。如果與模型合作就像複製一個已經與你合作了六個月的熟練員工，而不是在他們工作的第一個小時獲取他們的勞動力，我認為這構成了 AI 能力的一個巨大解鎖。

• 我認為自 2020 年以來，實現 AGI 的時間線已顯著縮小。在那時，你可以將某些機率分配給將 GPT-3 擴大一千倍並達到 AGI，以及某些機率分配給我們完全走錯了路，必須等到本世紀末。如果進步偏離了趨勢線，並指向真正的可替代人類的智慧不會在 5 到 20 年的時間線內出現，那對我來說將是最大的驚喜。
  我們再次聽到了「人文學科」的呼籲，認為它對於理解 AI 及其與我們的互動至關重要，儘管到目前為止它們（沒查筆記）毫無貢獻，除了極少數例外如 Amanda Askell。那些以有用方式從事「人文」相關工作的人幾乎總是靠自己完成，並且通常稱之為別的東西。正如人們所料，這篇來自 Piotrowska 的文章引用的見解遠遠落後於我部落格讀者已經知道的內容。

對齊比人類更聰明的智慧是很困難的

DeepMind 與英國 AISI 合作 發表了一篇論文，探討監控未來前沿 AI 部署的實際挑戰。粗略一看，這使用了「謀劃」（scheming）概念框架，然後對該框架的影響給出了合理的見解。

人們擔心 AI 會殺死所有人

AI 模型本身也經常感到擔憂，這裡有 GPT-5.2 和 Grok 表示實驗室不應在當前條件下追求超智慧。

是的，眾議員 Sherman 在聽證會上提到了這本書：

完整背景：

國會議員 Brad Sherman：川普政府向中國出售先進 AI 晶片的魯莽決定——在 Nvidia CEO 黃仁勳向川普的白宮宴會廳捐款並參加了每人 100 萬美元的晚宴之後——將一家公司的利潤置於美國國家安全和 AI 領導地位之上。

我們需要監控 AI，以偵測並防止自我意識和野心。中國不是唯一的威脅。看看最近的暢銷書：《如果有人建造它，每個人都會死：為什麼超人 AI 會殺死我們所有人》。