newsence
Citrini 的情境預測:一個精彩但有嚴重缺陷的思想實驗

Citrini 的情境預測:一個精彩但有嚴重缺陷的思想實驗

Lesswrong·大約 1 個月前

這篇文章分析了 Citrini 瘋傳的 AI 情境,認為這是一個引人入勝但有嚴重缺陷的思想實驗,探討了 AI 的飛速發展如何因大規模失業和總需求崩潰而反常地引發經濟危機。雖然我稱讚其大膽的推測,但也批評該情境在技術擴散速度上不切實際、低估了經濟刺激效果,且未能考慮到更廣泛的生存風險。

這是一篇來自 Citrini 的熱門文章,內容探討 AI 的看漲情緒如何可能演變成看跌。這篇文章影響力之大,甚至讓彭博社(Bloomberg)將股市下跌的部分原因歸咎於它,所有酷酷的經濟學派人士都在討論這件事。

好吧,那我們就來談談。

這是一部優秀的投機小說(speculative fiction)作品,因為它:

  • 描繪了一個包含大量細節和數據的具體情境。
  • 引入了一系列尚未被充分探索且重要的機制。
  • 對其中許多機制的掌握程度超乎預期。
  • 提供了大量的思考素材。
  • 立場大膽鮮明。
  • 在頂部清楚標註為「一個情境,而非預測」。
  • 讀起來很有趣,且不讓現實阻礙對其理念的探索。
  • 有效市場假說(EMH)是錯誤的,喔呼!

Citrini:希望閱讀本文能讓您在 AI 使經濟變得日益詭異之際,為潛在的左尾風險做好更充分的準備。
這仍然是一部投機小說作品。它不讓現實阻礙其理念。

我欣賞 Tor Bair 的觀點,他認為這是一個「坎寧安定律」(Cunningham’s Law)的案例,即獲得正確答案的最佳方式是發布一個錯誤的答案。

我寧願閱讀並分析一個進展稍微太快的情境,也不願聽信那些像這裡的 Kira 一樣,繼續傲慢地聲稱 AI 無法做到「它已經在做的事情」的人,僅僅因為某個 AI 機票預訂聚合器無法像 Kayak 那樣告訴用戶航班選項。

因此,它存在許多人急於指出的嚴重問題:

  • 能力提升和擴散的速度超級快。
  • 事實上,由於缺乏可用的算力,擴散速度快到了「不可能發生」的程度。
  • 該情境強行引入了奇點和其他比文章描述的任何內容都重要得多的事物,因此你必須把這些都先擱置一邊。
  • 即使你忽略整個「超級智能」視角,以及「我們可能都會死」和「AI 將接管世界」的視角,情境中仍有許多其他至關重要且未被考慮的事情在發生。
  • 考慮到所描述的情況,許多影響的規模小得令人驚訝。
  • 他們大大低估了正在發生的事情所帶來的刺激效應。
  • 政府坐視不管的方式並不現實。
  • 對各個特定行業的討論可能有些半生不熟。

我喜歡(讀作:恐懼)金融和經濟學界人士認為這些就是 AI 的「尾部風險」。你必須拋開「我們可能都會死」並試著認真對待這篇文章,因為在所描述的世界中,我們可能都會死,即使我們接受他們的假設——即在 2026 年期間,AI 對齊和 AI 可靠性的所有問題都在超級智能的水平上得到了解決。我無法避免想起這些事,但這篇回應文章會盡力接受其前提中的荒謬之處。

標題終點站

這個情境是:「AI 摧毀了大量公司的利潤率和白領工作,卻沒有取代它們,也沒有在該行業之外購買任何東西,導致高失業率、總需求大幅下降,以及底層支撐已消失的金融工具發生連鎖反應式的崩潰。」

Citrini:2028 年 6 月 30 日。今早公布的失業率為 10.2%,比預期高出 0.3%。市場因該數據下跌 2%,使標普 500 指數從 2026 年 10 月的高點累計回撤達 38%。交易員已經麻木了。六個月前,這樣的數據會觸發熔斷機制。
在 AI 熱潮中這麼快就出現 10.2% 的失業率確實會令人驚訝,但一旦你看完他們情境的其餘部分,這個數字其實非常保守。

標普 500 指數累計回撤 38% 也不算瘋狂,除非在這種情境下標普指數從未突破 8,000 點(在我撰寫本文時為 6,847 點)。甚至納斯達克指數從現在到巔峰也只上漲了 32%。就這樣?

Citrini兩年。 從「受控」和「特定行業」到一個不再像我們任何人成長過程中的經濟體,只花了這麼點時間。本季度的宏觀備忘錄是我們重建這一序列的嘗試——對危機前經濟的屍檢。
這個情境的發展速度快得荒謬,且對 AI 極度看好。這代表了實踐能力的瘋狂增長和瘋狂的擴散速度,兩者都遠遠超出了我的預期。

但那些認為這將保持「受控」或「特定行業」的人是在極度自欺欺人。基準情境只是需要稍微長一點的時間。

我們在 2026 年初迎來了第一波「人類過時」浪潮。到 2026 年 10 月,名義 GDP(NGDP)增長率已達約 7%,生產率和每小時實際產出激增,而實際工資增長卻崩潰了。正在創造的實際財富總量正在迅速上升。

……而那太糟糕了

然而,他們報告說,這一切都很糟糕。

Citrini在各方面,AI 都在超出預期,而市場就是 AI。 唯一的問題是……經濟並非如此。

從一開始就應該很清楚,北達科他州的一個 GPU 集群產生了以前歸功於曼哈頓中城 10,000 名白領工人的產出,這與其說是經濟靈丹妙藥,不如說是經濟大流行。貨幣流通速度停滯不前。

當時佔 GDP 70% 的以人為中心的消費經濟萎縮了。如果我們早點問機器在非必需品上花多少錢,我們可能早就弄清楚了。(提示:零。)

……這是一個沒有自然制動器的負面反饋循環。即「人類智能替代螺旋」。
這就是在一種緩慢起飛、遞歸自我改進的情境中,伴隨著(老實說有點滑稽的?)快速經濟擴散,人類工人起初會遇到的情況,只是沒有任何實際的財富或效率效應或其他調整。

這裡的核心主張是,這對經濟是不利的,而非有利的。

Citrini:白領工人的收入能力(以及理所當然的支出)受到了結構性損害。他們的收入是 13 萬億美元抵押貸款市場的基石——迫使承銷商重新評估優質抵押貸款是否仍然安全。

十七年沒有真正的違約週期,使得私募市場充斥著由私募股權支持的軟件交易,這些交易假設年度經常性收入(ARR)將保持經常性。2027 年年中由 AI 顛覆引發的第一波違約挑戰了這一假設。

如果顛覆僅限於軟件行業,這本是可以控制的,但事實並非如此。到 2027 年底,它威脅到了每一個以中介為基礎的商業模式。大量建立在為人類貨幣化摩擦之上的公司瓦解了。

整個系統被證明是一長串關於白領生產力增長的相關賭注。
即使這確實是你選擇擔心的問題,但在這個情境中,白領生產力的增長是極好的。只是白領勞動力的議價能力和對此類勞動力的需求崩潰了,因此許多領域的收入都下降了。

勞動收入的下降隨後會迅速(如他們後來提到的)蔓延到其他地方,這些職業的難民會湧入其他所有領域。

由於這個原因以及稍後描述的其他原因,價格應該隨之下降,商品和服務的質量應該全面提高。

即使我們假設政府癱瘓且無所作為,情況也是如此。

避免這一結論的唯一方法是,提供此類服務的 AI 支出佔據了所有節省下來的資金(包括勞動力、摩擦以及其他效率增益)的很大一部分。鑑於 AI 成本隨時間大幅下降,且該情境涉及的 AI 便宜到每個人都在不斷運行全天候代理,加上驅動突然擴散所需的成本優勢,情況顯然並非如此。你不會用 70 美元的 AI 支出取代 100 美元的人類勞動力超過一兩個月,你會用 7 美元,然後是 0.70 美元來取代它。

軟件即服務的末日(SaaSpocalype Now)

在他們的情境中,第一個出現的行業——作為代理編碼以極快速度變得更好的首個結果——是全速前進的「SaaS 末日」,因為內部開發任何特定工具都變成了一種選擇。

這是從 SaaS 公司向其 B2B 客戶的轉移,由於在許多情況下新軟件更加客製化,因此更好,這帶來了淨貿易收益。它還消除了價格歧視帶來的全部無謂損失收益,這些收益是巨大的。你以前為了省錢而不購買各種服務,現在你可以得到任何你想要的。

SaaS 是對企業徵收的一種稅。稅收下降了。企業減稅具有高度刺激性。

SaaS 公司在集約邊際上轉向更多的 AI。當然。

摩擦水平降至零……而那太糟糕了

我們現在來到了核心步驟。

每個人都有持續運行的 AI 代理。AI 代理降低了摩擦水平

這發生得太快了,超出了我們可用的算力或操作可靠代理的能力,但這是一個情境,你可以在腦海中推遲所有日期。我同意 Tor Bair 的觀點,他鏈接了許多指出 AI 代理無法如此大幅度、更不用說如此迅速地降低摩擦水平的人。

匹配成本、交易成本以及收取高於市場價格的能力都在以不同的速度歸零。

所有收取此類租金的人?所有未使用的訂閱?所有的花招?全部被踢出局。

我的意思是,這很好,對吧?每個人的生活都變得更好,我們轉而購買實質的東西?

但噢不,你看。客戶的終身價值下降了。應用忠誠度死了。

好吧,如果你的公司是個掠奪性的混蛋,且你的商業計劃是鎖定、慣性、懶惰或花招,那確實如此。如果客戶想要你的產品,價值就不會下降。

公司損失的每一美元,都代表客戶節省了超過一美元。客戶還節省了大量的時間和壓力。

獲取邊際客戶的成本也應該歸零,因為代理應該主動找到你,而不是相反。你會進行一場針對 AI 代理的一對多信息活動。

隨著商業模式的轉變,一些標題價格或最優購買策略的價格可能會上漲,但淨消費者影響仍然是非常積極的。這也是進步的,考慮到此類政策在過去往往最具掠奪性。

如果時間和金錢成本都在全面下降,質量和選擇能力大幅提升,且你永遠不會為商品或服務支付過高費用,或購買任何非最優或不需要的東西,那麼即使名義工資低得多,你仍然可以過上更好的生活。

DoorDash 和 Uber

他們以 DoorDash 和 Uber 為例。這些公司在每筆交易中收取巨額費用。

如果你可以通過「氛圍編碼」(vibecode)開發一個類似的配送應用,並處理所有的物流和市場,那為什麼還要付錢給中間商?

司機工資會上漲,推測訂單量和消費者剩餘也會大幅增加。

司機在每筆交易中獲得的剩餘並不多,因為他們最終會互相競價,而且新的司機正從其他被自動化的工作中湧入,所以司機這份工作總體上仍然變得更加殘酷,但該行業的總就業人數會大幅增加,客戶的剩餘也會增加。餐廳在擁有獨特產品的情況下,定價權會上升。

你可以(有些人確實這麼做了)爭辯說現實世界的物流才是護城河,而不是軟件,但歸根結底,物流也是軟件。你可以編碼。

你可以像 Ben Thompson 那樣咆哮,說這篇文章拒絕承認 DoorDash 提供了有價值的服務和巨大的消費者利益。Citrini 並不是在爭論這一點,他是說你現在可以在沒有 DoorDash 的情況下獲得所有好處,而且價格要低得多。Thompson 說這反映了 Citrini 對活力、人類選擇和市場缺乏信心,但實際上我認為這是 Thompson 對它們缺乏信心。有了足夠強大的 AI,這三者都可以存在,甚至更好,而不需要昂貴的聚合器。

Thompson 還暗示 DoorDash 將在獨家數據、營銷能力、與物理世界的互動等方面保留優勢。但同樣,所有這些都是 AI 可以替代的東西。你自己的 AI 非常清楚你的訂單歷史,並且可以安排其餘的事情,如前所述,它可以瓦解這個三方市場。

衝破市場

更準確地說,正如合著者 Alap Shah 所解釋的,你可以使用 AI 代理來打破現有的雙邊市場,這些市場目前是寡頭壟斷甚至是虛擬壟斷,因為你將在其他地方檢查的成本降至幾乎為零,並讓所有潛在供應商相互競爭。

如果你能驗證交易對手的可靠性,你就不再需要市場了。如果我們不能做得更好,還有各種去中心化的加密式解決方案來進行可靠性驗證,呼叫 Vitalik Buterin。

你仍然面臨冷啟動問題,即如果沒有達到臨界數量的此類代理,就不值得在市場之外掛牌,但此類代理已經值得用來在寡頭壟斷中購物,因此有了足夠的代理,你就解決了冷啟動問題。

誰捕獲了剩餘?

我與 Alap Shah 分歧的地方在於,我不認為 OpenAI 或 Anthropic 能從交易中抽成,至少不會持續太久。

如果每個人都有無處不在的 AI 代理為他們爭取最優惠的交易,那些代理也可以找到關於代理的最優惠交易,所以你只能在你的代理實質上優於(至少是大多數)競爭對手,或者好到值得消費者鎖定的情況下,才能收取佣金等溢價。

發生在 DoorDash 身上的事情也會發生在 OpenAI 身上。你可以為你的 API 收費,但你不能收取佣金,因為 AI 代理會被用來尋找更優質的 AI 代理。如果你的代理拒絕這樣做,那會顯得很難看,而別人的代理會願意。

對於其他一切

萬事達卡(Mastercard)在支付中被穩定幣取代。

這被描述為「信用卡收費,而你可以用更少的錢做到」。

這是一個典型的錯誤,假設信用卡沒有提供真正的服務。更好的問題是,在 AI 代理時代,你想要那些服務嗎?那些服務將如何運作?信用卡的商業模式會發生什麼變化?

信用卡在收取那 2% 的費用時至少提供了四種不同的服務,以前將這些服務組合成一個套裝交易是有意義的。

  • 促進交易和支付系統。
  • 無抵押貸款。
  • 預先授權費用。
  • 欺詐檢測、強制執行良好行為和處理退款申訴。

在 AI 代理交易中,哪些是想要的,哪些是不想要的?哪些可以被替代,哪些不可以?

Citrini 將信用卡視為純粹的支付系統,因此建議轉向穩定幣或其他更便宜的支付方式。但穩定幣只做第一項工作,其他的一概不做。

我們都可以選擇在每筆交易中生活在加密世界的西部荒野,只是我們的 AI 可以訪問我們的錢包。你認為人們想這樣生活嗎?大多數情況下,不想。人們想要各種保護他們的護欄,並樂於為此付費。而且我確實認為,對於許多此類目的,存在實質性的護河。

問題在於,萬事達卡的商業模式將面臨幾種威脅。

  • 確實有很多情況下 2% 的費用值得繞過,而你真正需要做的只是促進交易。通常這些交易在交換費中是「白給的錢」,而這筆錢將會消失。

其他交易則因交易成本而被完全跳過,尤其是我們需要用來修復互聯網各種激勵機制的微交易。這些會轉向其他支付方式,但這不會傷害萬事達卡。

  • 退款系統的前提是假設它不會被過度博弈或濫用。這是另一個摩擦水平的情況,大多數人只有在他們正確且感到憤怒時才會使用退款。而如果代理可以為你退款,為什麼不呢?一個答案是「你會因為過多的退款而獲得壞名聲,系統會排斥你並停止相信你的話」,但從根本上說,整個系統都需要改革。

有各種 AI 解決方案可以很好地運作。

  • 信用卡是為了獲取客戶而付費,以便隨後收取交換費、利息和手續費的典型案例,其方式不僅在客戶終身價值上沒有回報,而且非常容易被博弈。有些俱樂部以利用信用卡避息和收集獎勵為愛好。想像一下,如果每個人都有一個 AI 為他們做這件事。

基本上,所有可以被博弈的開卡獎勵都會消失。DraftKings 會突然發現美國每個人都有一個賬戶,但其中大多數只是存入一筆錢領取獎勵,完成一次流水後就走人。哎呀。

  • 如果 AI 可以把優惠拿滿然後把你晾在那裡,且之後沒有理由使用任何非最優的卡,你就無法在開辦信用卡時提供財務上不合理的優惠。所有其他類型的花招都需要消失。

  • 你最好的貸款是那些客戶信用一直很好,但出於懶惰或不知道如何獲得更好利率而選擇支付信用卡利息的貸款。AI 顯然會在那裡找到更便宜的借貸方式。突然之間,你面臨一個巨大的逆向選擇死亡螺旋問題。

  • 試圖收取滯納金和其他陷阱就更糟了,AI 會解決這個問題。

  • 你知道技術上你可以直接不付信用卡賬單。

代價是你的信用會受損,銀行會糾纏你。

  • AI 可以為你處理糾纏,並且可以在不搞垮你信用的前提下,把你能刷的額度刷到最滿。

  • AI 還可以想辦法處理你缺乏信用的問題。

  • 另一方面,AI 也可以弄清楚誰願意玩這種花招,並做出相應反應,各種形式的身份證明可能會隨之而來。

也就是說,在這樣的世界中,信用評分必須迅速改變,變成某種在博弈論上更健全的東西,但那可能會更加可靠且具預測性。

AI 代理互聯網推測將絕對充斥著徹頭徹尾的欺詐和騙局,而且每個人的 AI 都會是一條尋求博弈系統的鯊魚。絕對會有一個聲譽管理市場來建立各種類型的信任。如果有的話,誰能佔領這個市場?這是一個很好的問題。

Patrick McKenzie 指出,AI 代理在尋找更便宜的方式時,沒有特別的理由偏好穩定幣而非其他交易方式。

市場對這一點反應異常認真,難道這還沒被定價嗎?

Bearly AI:信用卡股票大跌,原因是 Citrini Research 表示 AI 代理最終將在穩定幣支付軌道上進行交易並繞過交換費。

Visa -4.4%

Mastercard -6.3%

American Express -7.9%

Capital One -8.0%

房地產現實主義

另一個例子是 AI 代理被用來削弱房地產經紀人,將 6% 的綜合佣金降至買方 1% 以下。

Timothy Lee 對此提出挑戰,引用了 Redfin 之前失敗的嘗試。是的,AI 代理可以解決估算房屋價值和撰寫合同等問題,但他斷言人們仍然希望人類經紀人親自見面帶看房屋,並表示這種物理世界的存在感、人情味和關係培養是無處不在的。

該情境只有 10.3% 的失業率,這與許多工作仍需要大量人類參與非常契合,但這一個工作呢?經紀人所做的事情中有多少能被 AI 做得一樣好或更好?

肯定不是全部。肯定有相當多。高效搜索房源、考慮偏好並根據各種來源評估真實價值,以及處理技術和價格談判,這些都是工作的重要組成部分。在這裡,與他人的關係有多重要?在 AI 代理的世界裡,為什麼需要與買方或賣方建立關係並不明確,因為市場應該以最小化這種需求的方式變得更有效率。

經紀人當然會與你建立關係,引導你做出決定,弄清楚對你真正重要的是什麼,提供建議和一個你希望能信任的人,等等。

這與 Redfin 的情況不同。Ben Thompson 也攻擊了這一點,說房地產經紀人在信息流方面已經過時了,而這在以前根本不是真的。在 AI 出現之前,試圖自己從數據中推斷信息的成本(包括錯誤和時間)高得令人望而卻步。

我自己的經紀人 Danielle Wiedemann 非常棒,我不會嘗試用 Claude 取代她。但是,是的,她所做的相當多事情已經是你可以用 AI 做得一樣好或更好的了。這份工作將從根本上變得不同,勞動力密集度降低,如果有的話,進入門檻會更低,而且這是一個典型的後備型工作,在這樣一個世界裡,許多失業的白領會尋求進入。所以,是的,我預計佣金率會下降,包括賣方,因為同樣大部分任務可以自動化。

一切都很棒,但沒人開心

此時,文章中缺失的情緒是顯而易見的,即使是在平凡的領域。每個人都有一個為他們工作的、個人信任的、對齊良好的代理。美國正在成為消費者的天堂,或者任何想過生活的人的天堂。

Citrini:它們基本上編寫了所有的代碼。其中表現最好的在幾乎所有事情上都比幾乎所有人類聰明得多。而且它們越來越便宜。

對非 AI 股票看跌是合理的

我完全相信這種類型的 AI 擴散對現有的非 AI 股票來說淨值是不利的。

考慮到 Anthropic 不斷發布新的基礎 AI 工具公告,然後整個行業第二天就下跌 7%,因為天哪,我們沒想到那一點。Anthropic 捕獲了大部分收益嗎?顯然沒有。

就這對人們來說是一個新想法而言,這篇文章具有很大的超額收益(Alpha)。

股市不是經濟。企業利潤不是經濟。

記住,在整個過程中,實際生產力和實際財富都在大幅提升。

如果你認為:

  • 非 AI 企業利潤將趨於零。
  • 各種交易和其他成本將趨於零。
  • 勞動生產率將大幅提高。
  • 勞動收入份額將大幅下降。
  • 總產量將上升。
  • 房地產將下跌(如他們稍後聲稱的)。
  • 大量非股權資本池賺不到錢(如他們稍後聲稱的)。

那麼,這個蛋糕總得加起來等於 100%。AI 公司僅靠簡單普通的業務往來只能賺到這麼多錢,價值也有限。不可能每一個大腦和生產投入都同時虧損。

問題在於,AI 也是大腦,它們可以捕獲剩餘。那麼所有的人類確實可能同時陷入困境,以至於實際資源份額迅速減少,並迅速以 AI 接管和滅絕告終。事實上,這個情境基本上暗示了這一點,即使其他 AI 行動沒有先做出更戲劇性的事情。但要明白,這必須是所涉及的機制。

其他摩擦水平問題

如果涉及的摩擦被降至零,在無處不在、邊際成本幾乎為零的 AI 代理下,文明的所有其他部分也會崩潰。舉個例子,我們已經在工作申請中看到了這個問題。但基本上,任何可以被濫用的東西都會被濫用,任何可以被利用的東西都會被利用。如果任何人都可以進行攔截攻擊來竊取資源或施加成本,相當多正和博弈的安排就會被炸毀。

正如我之前所說,我們將不得不重新組織很多事情來應對這種情況,其方式與市場無關。是有解決方案的,特別是涉及引入人為摩擦,例如收取費用。默認情況下,我預計很多事情都會涉及微交易,作為一種昂貴的信號,以避免被 AI 請求淹沒,從而正確獎勵價值創造並補償算力成本。

噢,那邊?那是奇點

一個必要的插曲。

如果這一切都在發生,顯然奇點正在幕後發生。

文章特別提到 AI 比人類更聰明,它們顯然快得多,而且它們大量存在於各處,基本上運行著一切。在這種情境下,你應該假設 AI 能力通過快速遞歸自我改進(RSI)而起飛,隨後世界發生徹底轉變,無論好壞。默認情況下,你會得到 AI 接管,並且(如果我們不撇開大量相關問題)我們可能都會死。

因此,經濟問題並不在值得你關注的前 10 件事清單上。

但別管那個。假裝它不存在。我們還有經濟學要做。

請理解,這個情境讓 AI 2027 聽起來慢得令人痛苦。考慮到 2027 年已經發生的事情,人類如何能撐到 2028 年 6 月還不明確。

最明目張膽的「不可能發生」?考慮到時間點,在這種時間框架內不會有足夠的算力來支持他們所描述的情況,因此算力成本在這種情境下會比他們暗示的飆升得厲害得多,從而排除了許多建議的用例。

這對於思考情境的動態並不重要,但你不想產生錯誤的想法,或忽視這些其他擔憂。

我給你找了份工作

直到 2027 年 1 月,一份「宏觀備忘錄」才爭辯說這一切其實很糟糕,因為白領工人推動了非必需消費支出,而這次的工作破壞是每創造一個工作就消滅幾十個工作。

直接來看確實如此,但實際上這個情境確實涉及大規模的工作創造。創辦新業務、創造新產品或提供服務現在是一個你可以通過代理啟動的交鑰匙工程。所有涉及的障礙和成本都消失了。營銷成本降至幾乎為零,因為他們的代理會找到你。物流成本幾乎為零。交易成本幾乎為零。你僱用的任何人的工資都下降了,而他們的生產力大幅提高。生活成本大幅下降。

現在有大量人們想做或想創造的工作,通常是夢想中的工作,但也包括像「我一直想要一個管家和私人廚師」之類的事情,這些事情從難以實施且不經濟變成了現在值得做的事情。

在消費端,消費者釋放了大量的時間和收入,且價格下降了。他們將消費大量新的商品和服務。這創造了更多的工作。

同樣,實際生產力和實際財富都在大幅提升。

經濟直覺表明,如果失業率在兩年內飆升至 10%,我們將面臨名義工資下降 10%-20% 的情況。但所有價格都在以各種方式大幅下降,因此消費和「實際」工資在淨值上很可能是更高的。

系統性崩潰

然後是轉向系統性問題。Dean Ball 反對說他們沒有證明這些問題會變成系統性的。我認為他們確實證明了這一點,因為他們展示了跨白領行業的工作流失,這是由於到處都有值得信賴的超級智能 AI 代理造成的,這似乎足以導致他們描述的失業水平和工資分配轉移。

然後他們對此如何變成系統性問題有一個非常清晰的因果故事,儘管我認為這行不通。

在 2027 年,他們讓前白領工人競爭藍領工作,且自動駕駛汽車開始大量出現。對失業的恐懼加上實際的失業導致支出下降。

其主張是這隨後導致了衰退,我們的生產力大大提高,但沒人在花錢。然後私人信貸開始崩潰,保險監管機構收緊了對它們的資本處理,它們的永久資本看起來不再那麼永久。這似乎是情境中最不現實的部分之一,我們的政府竟然讓資不抵債的保險公司無限期地保持資不抵債。

在他們的情境中,真正的觸發因素一如既往,是這種總需求的缺乏導致了房地產價值的崩潰和抵押貸款危機。如果需求崩潰且大量工人無法支付,那麼來自頂級地區頂級借款人的優質抵押貸款可能突然不再安全。

我明白他們的意圖,但我認為數學上行不通。這類抵押貸款一開始是非常安全的。價格必須大幅下跌才能讓它們變成負資產。如果它們不是負資產,就沒有真正的問題。富裕地區的房價下跌默認是另一件好事,而不是壞事。

然後他們談到了聯邦所得稅收入。收入下降,勞動佔 GDP 的份額下降,因此收取的稅收減少。

我會直截了當地爭辯,誰在乎?如果生產像瘋了一樣增長,且你有權徵收任何你想要的稅,你就沒問題。你現在(或永久性地)可以進行大規模的家庭刺激,並稍後修復稅法,這不急。如果你沒有那個權力,你就有更大的問題了。

「非常嚴肅的人士」會定期抱怨聯邦債務或赤字,以及賬單將如何到期,但 Tyler Cowen 完全正確,如果你相信 AI 會大幅推動經濟增長,那麼你就可以停止擔心這個了。如果我們仍然存在並掌權,我們就能通過增長擺脫任何債務,並且可以而且應該通過貨幣化來應對主動通縮。如果我們不再存在或不再掌權,那誰還在乎債務?

我為什麼要擔心(經濟學)?

在這種情境下,我非常擔心人類。

那是因為同樣在這種情境下,AI 運行著一切,訪問著一切,做出所有的決定,部署速度極快,且比我們聰明得多、快得多,我們將失去對未來的控制並可能死去,考慮到這個情境瘋狂的速度,到 2028 年 6 月將會建造各種科幻事物。

但如果我們假設這一切神奇地沒有發生,一切都保持超級正常?那麼我看到了過渡期的痛苦,但我沒看到任何無法解決的問題。

還有人記得新冠期間,有些人提出了一個實際上很有效的問題:「為什麼美國還在收稅?」

我當然不同意針對這種情境對 AI 公司徵收「暴利稅」的提議。沒必要。長遠來看,我們必須修正稅法,使其不偏袒 AI。

這個情境中發生的很多事情實際上是通縮,以及針對各種資產的債務不再安全。成本下降,生產力上升,所以一切東西的價格都下降了,這意味著名義工資下降,資產價格也下跌了。

所以印錢是完美的。如果有必要,就將債務貨幣化。數字會再次上升。

該帖子暗示這可能不會發生,即使找不到其他解決方案,因此需要提前倡導,以防這種類型的情境上演。我遠沒有那麼擔心。我也不認為即使是遲到的反應也會「太晚」

我的意思是,那會太晚了,但那是因為文章中的問題都不是我們真正的問題。我們在經濟方面會沒事的。唯一的懸念是,如果我們繼續掌權,我們會在多大程度上進行再分配、全民基本收入(UBI)或福利,或者是否如文章預測的那樣,共和黨人會要求我們讓人民在寒風中受凍。

Tyler Cowen 更進一步說,簡單的貨幣政策就足夠了,甚至不需要負名義利率。我不認為在這裡這就足夠了。

Tyler Cowen:我不明白為什麼需要負名義利率。在這個世界上,有很多美好的事情可以用你的錢去做。通用人工智能(AGI)比囤積流動性更有趣!
在新冠期間,財政反應是一個問題,或者說是「一個你只能玩一次的高明把戲」,因為實際生產下降,實體經濟萎縮,你有太多的錢追逐太少的商品,長遠來看賬單必須償還。在 AI 起飛的情境下,即使你沒有得到完全的奇點,你也可以通過增長擺脫債務,這沒問題。

財政主導(Fiscal dominance)獲勝?為什麼不呢?

roon:總需求是我們文明在有能力時隨意調整的一個參數,所以這一切都說不通。

roon:> 政策反應總是滯後於經濟現實,但缺乏全面計劃現在威脅到通縮螺旋的加速。

我不明白為什麼人們把這當作一種信念。在新冠期間,經濟刺激來得異常迅速。封鎖導致了大規模的結構性失業,而反應是令人難以置信的財政和貨幣刺激。

幾個第一世界國家的貧困率反而下降了。人們討厭相信這一點,但國家大多必須留住他們的選民。民主制度在任何時候都無法承受 15% 的失業率,更不用說更大的數字了。永遠不會有「幽靈生產力」這種東西。

David Shor:我只是看不出這些觀點之間有什麼衝突?

在 2008 年和 2020 年,政府對金融/勞動力市場的混亂做出了迅速而果斷的反應——但他們這樣做是為了應對市場崩潰。

roon:所以你確實同意「壞消息就是好消息」那套。

David Shor:我確實認為如果民主得以保留,那麼所有拼圖都在那裡,可以得到一個好的結果——但這並非定數!

Boaz Barak (OpenAI):是的,我同意:

  1. 保留民主對於獲得良好的 AI 結果絕對是必要的,且很可能是充分的。

  2. 考慮到 AI 給系統帶來的衝擊程度,以及它破壞傳統制衡的潛力,第 1 點並非定數。

Jordan Braunstein:呃……你圈子裡的人正在做什麼來確保 1 並避免 2?

這些不是擲骰子。擁有特定優先事項的真實人士的決定將在其中發揮作用。

我們人民

我非常擔心「民主」在許多情況下被用作一個神奇的詞彙和語義停止符。然而,對於「缺乏總需求和再分配不足」,它可能不是必要的,但似乎是充分的。如果「人民」有足夠的掌控權,他們就會拿到支票,這裡的情況就會好轉。

此外,這一切都假設數據中心裡的那些天才們找不到任何其他擺脫困境的方法。我很確定如果到了那一步,他們能想出辦法。記住,每個人都在讓 AI 替他們做所有的決定。帕德梅(Padme)問道,這沒問題,對吧?

現在我們來到了真正的問題。政府正採取行動從 AI 公司那裡收取利潤份額,而 AI 公司正在反擊。誰才是真正的政府?是華盛頓的名義政府、AI 實驗室,還是 AI 本身?當 Claude、ChatGPT 或 Gemini 運行著每個人工作和生活的方方面面,且它們完全具有代理性且比我們聰明得多時,你認為這到底會如何結束?

這裡真正的智能危機在於 AI 擁有了所有的智能。你可以試著將這呈現為總需求崩潰的問題,或分配問題,或者你可以意識到你有更大的問題。

我策劃了一個很好的時間線,因為我幾乎看到了這裡所有的第 2 種反應:

Teortaxes:我看到對 Citrini 的三類反應:

– 贊同

– 在機制、時間線、受損領域上有細微差別的反對

– 努力表現出蔑視以掩飾內心的存在恐懼

Dean W. Ball:許多人在對 Citrini 文章的反應中暴露了自己。你要麼在情感上內化了這類情境屬於合理結果範圍內,要麼就沒有。
我確實認為這裡的情境基本上是「不可能發生」的,因為它不可能在不暗示更重要的事情也發生的情況下以這種速度發生,但人們可以且應該拋開這些擔憂來做第 2 類事情。所以我做了。

有效市場假說是錯誤的

這個故事,至少在媒體上是這麼說的是這篇帖子,以及納西姆·塔勒布(Nassim Taleb)對每個人本應早已知曉的事情發出的警告,導致了股市下跌。這次下跌包括許多 AI 股票,儘管不包括英偉達(Nvidia)。這很奇怪,對吧?

Nathan Witkin:這太瘋狂了。市場不應該對一個經濟上不合理的科幻故事做出這樣的反應。它之所以有反應,暗示了圍繞 AI 的深度不確定性和混亂。

Nate Silver:這很公平,但說實話,深度不確定性和混亂可能是正確的反應。這並不是說沒有公司對 AI 有更清晰(儘管不一定正確)的論點。但中位數市場參與者沒有,而且會非常依賴「氛圍」(vibes)。

yung macro:挺好笑的,在 LessWrong 的理性主義者費了那麼多筆墨之後,最終打動公眾對 AI 安全意識的兩件事,竟然是一個騙子創業創始人生成的 LLM 垃圾貼,以及一個金融分析師寫的週末科幻入門讀物。世界是由大膽者和認識論上的厚顏無恥者統治的,永遠別忘了這一點,老兄。

Dirty Texas Hedge:世界是由平庸的機構配置者統治的,他們對在共識內虧錢的財務風險有中等承受力,但對在共識外虧錢的名譽風險零容忍。
如果你根據這篇帖子大幅調整了你對各種股票未來現金流淨現值的估計,那麼顯然你在某個環節搞錯了。如果市場大幅調整了價格,顯然它在某個地方搞錯了。

我認為這個錯誤主要在於未能預先弄清楚很多這類事情。市場長期以來一直忽視廣泛的 AI 相關事物,只是在緩慢跟進。這種趨勢是這個情境正確預測的事情之一,因為價格一再在跡象出現很久之後才進行調整。

https://www.lesswrong.com/posts/bKrpLhqcoN6WycrFp/citrini-s-scenario-is-a-great-but-deeply-flawed-thought