Anthropic 為 Mythos Preview 發布的系統卡（system card）中提到：

我們不清楚該如何解讀這一點。他們所謂的「生產力提升」（productivity uplift）具體指什麼？Anthropic 的機構觀點在多大程度上認為這種提升是 4 倍？（例如，當他們說「我們認真對待這一點，且這與我們對該模型的內部體驗一致」時，具體是什麼意思？）

一種直接的解讀是：AI 系統對 Anthropic 生產力的提升如此巨大，以至於 Anthropic 認為「現狀」與「所有技術員工在沒有 AI 輔助下，每工作 1 小時能神奇地完成等同於 4 小時的工作量（且不產生倦怠）」這兩種情況是等效的。
換句話說，AI 輔助的效用相當於讓員工在所有活動（開會、寫程式、思考、寫作等）中的運作速度都快了 4 倍。我將此稱為「4 倍序列勞動力加速」（4x serial labor acceleration）
^([1])
（關於此概念的更多討論，請參見此處
^([2])
）。

我目前認為 Anthropic 的 AI 產生 4 倍序列勞動力加速的可能性極低，但如果我真的相信這是事實，我會將預測的時間線大幅縮短。（我初步認為，我對「自動化程式設計師」出現時間的中位數預測會從現在起 4 年縮短到大約 1.3 年；對「AI 研發能力對等」的中位數預測會從 5 年縮短到大約 2.5 年。）我最好的猜測是，4 倍的序列勞動力加速將導致 AI 進步速度加快 1.75 倍（參見「附錄：估算序列勞動力加速帶來的 AI 進步提速」），這是一個非常大的增幅，且接近 Anthropic 在「自主威脅模型 2：自動化研發帶來的風險」中使用的 2 倍「劇烈加速」門檻。
^([3])

我目前對序列勞動力加速最好（低信心、低精度）的猜測是 ~1.55 倍（其中僅針對研究工程活動的序列勞動力加速較高，約為 ~1.75 倍）。我目前認為，對此話題有過深入思考且資訊充足的 Anthropic 員工會認為序列勞動力加速更接近 1.5 倍而非 4 倍。

我認為，在試圖弄清楚我們距離 AI 開發中與風險相關的關鍵里程碑（如 AI 研發的完全自動化）有多近時，AI 公司的「序列勞動力加速」等提升指標是最值得追蹤的指標之一。
我也認為，提升指標是 Anthropic「自主威脅模型 2：自動化研發帶來的風險」中最相關的指標之一。
我還認為，準確捕捉 AI 公司員工、經理和領導層的觀點（可能透過問卷調查等方式），是目前評估序列勞動力加速（或其他提升指標）的最佳方法之一，特別是對於尚未公開部署的 AI 系統。

因此，對於以下情況，我感到相當不滿：

• Anthropic 似乎聲稱他們獲得了 4 倍的生產力提升，但在公開資訊中並不清楚他們具體指什麼，或者他們對此有多大程度的信心。

• 幾乎沒有關於調查細節或其執行嚴謹程度的公開資訊。

• 他們的陳述與一種非常激進的情況相吻合。

• 這大約是我們擁有的關於加速水平唯一的直接公開證據（即不需要根據我們對先前 AI 的看法進行某種推斷的證據）。

• 這一切都發生在一個未公開發布、且不打算公開發布，且看起來比公開可用的前沿模型強得多的 AI 上（這使得推斷變得更加困難）。

在未來的系統卡 / 風險報告中，有一些做法可以改善這種情況：

• 總體上更多地說明調查的確切細節。例如：問題是什麼？人們花了多少時間回答？

• 如果 Anthropic 認為這項調查沒有太大意義，或者認為這是一項投入極低的調查，請直說。或者，如果他們認為這類調查無法提供太多見解，那麼在未來的系統卡中不包含這些內容也是合理的。

• 透過相對精確的操作化定義（operationalizations），澄清他們的機構觀點以及關鍵個人的觀點。例如，Jared Kaplan 認為序列勞動力加速的程度是多少？（或 Anthropic 願意使用的任何操作化定義。）

理想情況下，他們還應該解釋為什麼他們會這樣認為，即使證據相對難以解讀，或者部分內容需要被遮蓋。

• 如果 Anthropic 認為調查主要捕捉的是一種不依賴於調查中具體操作化定義的「氛圍感」（vibes），那麼註明這一點似乎很重要。

• 理想情況下，應由第三方對員工、經理和/或領導層進行調查/訪談，並報告這些結果。看來 Anthropic 對進行嚴謹的調查並不太感興趣（這可以理解！），因此在各 AI 公司之間將此流程標準化將會很有用。

• 我確實認為 Anthropic 有可能收集資訊或進行調查來闡明這個問題。我最感興趣的是對那些我們非常有信心其對不同「提升」概念有深入理解、且對 AI 預測感興趣的員工進行觀點調查。（我更感興趣的是捕捉那些對此有過深入思考的員工的觀點，而不是獲取一個無偏樣本。）也可以從各類員工那裡收集更多定性和定量的數據，然後將其轉換為加速估算，並考慮到人們使用 AI 執行原本不會去做的低價值任務等因素。

如果對於目前的提升水平存在巨大分歧，這似乎是一個特別具有可操作性的經驗關鍵點（empirical crux）：如果我得知提升程度遠高於我的預期，我會大幅縮短我的時間線；而我猜測 Anthropic 的某些人如果得知提升程度顯著低於他們的預期，則會拉長他們的時間線。我也預期，那些對未來 10 年內達到極高 AI 能力水平持懷疑態度的人，也會根據可靠的內部提升測量結果而更新其觀點。獲取更好的關於提升水平的經驗資訊雖然困難，但並非不可行。

此外，Anthropic 聲稱：「我們估計，要透過此管道達到整體進步速度的 2 倍，所需的提升大約要比我們觀察到的高出一個數量級。」就「生產力提升」被認為對應於序列勞動力加速而言，我對此深表懷疑。我認為 ~40 倍的序列勞動力加速將產生遠超 2 倍的進步提速。我的猜測（參見「附錄：估算序列勞動力加速帶來的 AI 進步提速」）是，在大約 5 倍的序列勞動力加速下，就能獲得 2 倍的整體 AI 進步。我的理解是，AI Futures Project 的時間線模型會顯示大約需要 8 倍的序列勞動力加速。看來 Anthropic 可能擁有自己的起飛速度 / 時間線模型，該模型與目前的公開建模有實質性差異，對擔憂程度得出的結論保守得多，且他們正將其用於決策。如果是這樣，我認為他們應該公開寫出他們的建模（非正式的也可以），或者讓第三方進行私下審查。如果他們的意思是「我們認為當我們的調查（主要捕捉氛圍感且與任何特定的提升概念沒有明確對應關係）達到 40 倍時，我們可能會達到 2 倍的整體進步」，那也行，但澄清這一點似乎更好。

目前關於 Mythos 帶來的 AI 研發加速的證據似乎極其有限，AI 公司應該（且能夠）在未來做得更好。
^([4])

附錄：估算序列勞動力加速帶來的 AI 進步提速

• 假設我們有 X 倍的序列勞動力加速（即員工速度變快 X 倍），同時也將實驗算力增加 X 倍。那麼，AI 研發進步將加快 X 倍。

我指的是瞬時進步，暫不考慮研究投入的邊際收益遞減。等同於「單位時間的研究投入」增加了 X 倍。

• 這也暫不考慮並行算力不如序列加速算力的問題，儘管我認為這在實踐中差別不大。

• 因此，產出是序列勞動力加速和實驗算力的某種函數。我們不確定確切的函數形式，它可能介於 CES 模型和 Cobb-Douglas 生產函數之間。我個人認為它更接近 Cobb-Douglas 而非 CES，原因我在這裡討論過。

• 我傾向於認為僅針對 AI 研發進步（如演算法進步）的函數形式類似於：序列勞動力加速^0.55 * 算力^0.45。

當你開始將這些數值增加幾個數量級時，情況可能會大不相同（特別是如果它非常像 CES），但至少如果我們討論的是這些變量小於 30 倍的增長，我認為情況大約是這樣的。

• 我不確定確切的常數；序列勞動力加速^0.7 * 算力^0.3 和 序列勞動力加速^0.3 * 算力^0.7 都有一定的合理性，且對最終結果有很大影響。

• 因此，如果你獲得 4 倍的序列勞動力加速，我認為這會使 AI 研發進步增加 ~2.15 倍。

• AI 研發只是 AI 進步的一個子集；部分 AI 進步是由擴大訓練運行的算力驅動的。我傾向於認為 ~2/3 的 AI 進步來自演算法，而 ~1/3 來自擴大訓練算力。這意味著 4 倍的序列勞動力加速僅能帶來 2/3 * 2.15 + 1/3 = 1.75 倍的 AI 進步增長。

• 為了獲得 2 倍的 AI 進步率（假設這些常數成立），我們需要 ~5.3 倍的序列勞動力加速。

這個模型基本上是 AI Futures Project 模型的簡化版本，但常數略有不同。

附錄：提升的不同概念

「生產力提升」可能指代幾種不同的概念，而我們討論的是哪一個會產生巨大的差異：

• 序列勞動力加速（Serial labor acceleration）：假設你可以讓公司裡的每個人都提速 X 倍，但在工作中不能使用任何 AI 輔助（或只能使用 2020 年的 AI）。在什麼樣的 X 值下，你會覺得這與現狀無異？（僅考慮生產力，忽略安全性。）

• 並行勞動力加速（Parallel labor acceleration）：假設你可以神奇地讓公司規模擴大 X 倍，新員工的技能和知識分佈與現有員工相似（包括對公司的了解等），但沒有 AI 輔助。在什麼樣的 X 值下，你會覺得這與現狀無異？

• 當前工作加速（Current work acceleration）：如果公司完成上週所有的工作，但在沒有 AI 輔助的情況下，速度會慢多少？

• AI 完成工作的比例（Fraction of work done by AIs）：這有不同的操作化方式，而且有點令人困惑，因為人類可能會花大量時間獲取背景資訊，以便（例如）告訴 AI 該做什麼，而不清楚這應該算作工作量的多少比例。例如「AI 編寫的程式碼行數比例」就是一個例子，但似乎很難將這個數字轉換為對序列勞動力加速（或我們可能關心的其他概念）的猜測。

X 倍的並行勞動力加速遠不如 X 倍的序列勞動力加速有用。而且根據操作化定義的不同，AI 完成 90% 的工作可能遠不如 10 倍的序列勞動力加速有用。因此，概念的選擇對於解讀任何聲稱的提升水平至關重要。

• 我使用一個特定的名稱來區別於其他我們可能稱為「4 倍生產力提升」的事物，例如「如果中位數員工必須在不使用 AI 的情況下完成他們目前正在做的任務，他們的速度會慢 4 倍」。正如我在這裡以及「附錄：提升的不同概念」中所討論的，這些概念具有截然不同的含義。↩︎

• 供參考，我在該貼文中做的提速建模與我最新的想法相比已經過時了。↩︎

• 對時間線縮短的更新幾乎完全源於認為我們在能力進步方面比我之前意識到的走得更遠，而不是認為進步會更快但我們起點相似。也就是說，我既傾向於在較低的能力水平上獲得更多加速，也傾向於認為模型在能力空間上更接近各種高等里程碑，而我主要是根據後者來更新時間線的。↩︎

• 我認為系統卡對 AI 研發加速的評估中還存在一些其他問題。他們似乎辯稱，即使 Mythos 由於 AI 加速而大幅高於趨勢，但因為這種加速是由較早（能力較弱！）的 AI 完成的，這意味著 Mythos 導致的這種加速不會那麼高：「這意味著即使斜率變化可歸因於 AI，它所涉及的模型也不是我們正在評估的這個。」這似乎本末倒置：如果能力較弱的 AI 都能產生巨大的加速，那麼我們應該預期能力更強的 AI 產生的效果會更大。明確地說，這似乎是一個輕微/中度的問題，我只是覺得值得一提。↩︎

參與討論