你對模式崩潰並不具備免疫力

「模式崩潰」（Mode collapse）包含了幾層含義。起初，它是對早期圖像生成 AI 經常「崩潰」到只產生訓練分佈中「眾數」（modal）輸出的觀察（例如一些非常常見的事物，像是帶有白色柵欄的房子和花園裡的樹）。接著，人們觀察到當 AI 使用 AI 生成的輸入進行訓練時，這種效應似乎發生得極快。在那之後，它一度成為「AI 撞牆論」支持者們的「精神慰藉」（copium du jour），他們認為 AI 產業會像銜尾蛇一樣自我吞噬而消亡（因此，也就沒有必要去面對比人類更聰明的 AI 可能帶來的任何問題）。隨後，這個詞被遺忘了，因為事實證明，如果你知道自己在做什麼，使用 AI 生成的輸入進行訓練其實完全沒問題。

這也是為什麼資助機構會有如此強大的慣性、為什麼你最喜歡的樂團在第三張專輯後的歌曲聽起來都一樣，以及為什麼即使沒有貿易收益你也應該專業化的原因。

圖像產生器

想像一個圖像生成 AI，它接收到如下輸入：

[*

](https://substackcdn.com/image/fetch/$s_!90jq!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F044c2dfc-1f6c-48e1-982d-bc9bbe46a502_678x500.png)[](https://substackcdn.com/image/fetch/$s_!90jq!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F044c2dfc-1f6c-48e1-982d-bc9bbe46a502_678x500.png)[原始圖片：](https://substackcdn.com/image/fetch/$s_!90jq!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F044c2dfc-1f6c-48e1-982d-bc9bbe46a502_678x500.png)[https://commons.wikimedia.org/wiki/File:Dog_Breeds.jpg](https://commons.wikimedia.org/wiki/File:Dog_Breeds.jpg)

假設它正被訓練來填補中間的空白部分。假設訓練數據是黃金獵犬和虎斑貓各佔 50% 的混合比例。對於任何給定的圖像，它首先需要決定是嘗試畫獵犬還是貓，其次是動物具體應該長什麼樣子。模型的參數空間有限，必須將其分配給三個任務：

• 猜測缺失的動物是狗還是貓
• 生成一張狗的圖像
• 生成一張貓的圖像

我們暫且忽略任務 (1)，思考模型如何在任務 (2) 和 (3) 之間分配其能力。如果貓和狗同樣容易畫，且模型在兩個類別上的能力收益遞減，且類別同樣常見，那麼我們應該預期它在兩個任務上花費等量的能力。同樣，由於類別是對稱的，我們應該預期任務 (1) 的預測結果是狗與貓各佔 50:50。

但如果狗與貓的比例是 70:30 會發生什麼事？一階效應是模型會分配比任務 (3) 更多的資源給任務 (2)。這很顯而易見，但還有一個二階效應：

想像我們的模型處於一種情況：它認為缺失的動物有 50% 的機率是狗，50% 的機率是貓（即使考慮到狗更常見的事實）。它有以下選擇：生成一張極佳的狗的照片，或生成一張平庸的貓的照片。它該怎麼做？

如果它猜錯了動物，無論如何都搞砸了；但如果它猜對了，畫狗的效果會更好。因此，模型應該傾向於畫狗！分佈被推向了「眾數」（modal）目標。

如果你在第一個產生器的輸出上訓練另一個產生器，它生成狗的頻率會更高！這就是模式崩潰。

這是一個分為兩部分的過程。每一個單獨的步驟都會將分佈略微推向眾數，而每一個連續的步驟都會鎖定前一步的偏移並使其複合。

如果你想閱讀腳註，這也可以推廣到其他一些情況。

資助者

現在假設你是一位慈善家，聘請了一位資助官來分配你的資金。你收到的提案中，全球健康提案與動物福利提案的比例為 70:30。

自然地，你聘請的人在評估全球健康項目方面比評估動物福利項目稍微擅長一些。接著，你的員工以 75:25 的比例發放資助金，因為她挑選最佳全球健康提案比挑選動物福利提案更容易。

在下一次資助徵集時，你決定擴大規模。你的員工招募了兩名新員工，並根據去年的資助情況引導他們學習她的評估流程。他們接受的數據比例為 75:25，因此在評估全球健康提案方面變得比評估動物福利提案要好得多。

你最喜歡的樂團

到現在你已經看出規律了吧？樂團創作了第一張專輯，包含 7 首夢幻流行樂和 5 首前衛搖滾樂。現在，既然他們更擅長創作前者，他們在下一張專輯就做了 9:3，到第三張專輯時就完全放棄了搖滾。

但到了第五張專輯，他們對搖滾感到厭倦了，決定製作一種叫做「智能舞曲」（IDM，顯然你其實不應該跟著它跳舞）的東西！他們從第四張專輯巡演中賺到的數百萬美金讓他們有足夠的時間休息，並學習如何使用 [電子音樂家製作音樂時使用的任何奇怪裝置]。餘裕（Slack）前來救場！

分工

人們通常將分工歸功於貿易收益。貿易是其中的一部分，但不是全部。

將商品和服務換成金錢的能力，讓我們處於與圖像分類器相同的情況。還記得當我們的模型認為生成「狗」或「貓」作為正確圖像的機率相等（50%）時嗎？在現代經濟中，你作為會計師或私人教練工作一天獲得獎勵的可能性是相等的，只是這種可能性大約是 100% 而不是 50%。

你作為會計師的技能可以被視為「一天優秀會計工作」的生成模型。你作為私人教練的技能也是如此。一旦你做了幾天會計工作，你就在（某種程度上）利用自己的生成成果，而你的「一天優秀會計工作」模型會變得越來越好，將你的「一天優秀私人教練工作」模型遠遠甩在後頭。

請注意，這在沒有貿易的情況下仍然有效：假設你在一個荒島上。晴天時你去打獵，陰天時你去釣魚。每次你進行一項活動，你都會變得越來越擅長。如果 3/4 的時間是晴天，你打獵的技術會比釣魚好得多。不久之後，即使只是有一點陰天，你也會去打獵；然後是有點陰天伴隨陽光時；最終你每天都會去打獵。至少直到你殺光了當地所有的動物。到那時你就完蛋了。

餘裕（Slack）

我認為廣義的模式崩潰是一種隨著時間推移作用於基本上所有智能系統的力量。但我不認為它是不可避免的。如果外部力量改變了投資回報（如荒島上動物種群的崩潰），你可能會被迫改變。更有可能的是，投資回報隨著時間推移而降低，產生某種穩態效應（獵物逐漸變稀少，你釣魚的次數增加）。

如果你就是不喜歡它，你也可以對抗模式崩潰。你可以直接去做（不同的）事情！樂團的例子展示了這一點。

不幸的是，只有在你擁有「餘裕」時才能這樣做。如果你每天都必須去打獵，因為你現在釣魚技術爛透了，而且幾乎沒有獵物剩下了，你不能停下一天打獵去學釣魚！ 那麼你就會餓死。如果唱片公司要求在未來六個月內出一張熱門專輯，你就沒有時間學習製作 IDM。

即使是進化也無法對此免疫！高度專業化的動物（和植物）隨處可見——例如只能在紅蟻巢穴中發育成熟的蝴蝶幼蟲，或是那些專門由單一品種獨居蜂授粉的蘭花——它們往往在最輕微的生態變動下就會滅絕。

所以，警惕模式崩潰：因為你並非免疫！

• 假設你有三個類別：貓、狗和青蛙，比例為 1:1:1。現在假設生成貓和狗的圖像可以共享某些能力（例如生成毛皮紋理），但在這兩類與青蛙之間則不行。最優策略是利用這種效率增益，使畫貓和狗的能力稍微優於青蛙，然後次要地，在選擇上稍微偏向毛茸茸的生物而非青蛙。

或者，假設貓本質上就比狗容易畫。那麼最優策略將是分配比貓稍微多一點的資源給狗，但還不足以讓你畫狗畫得跟畫貓一樣好。那麼你應該偏向畫貓。

總體規律是：在「事物空間」中密集的東西，或者簡單且容易生成的東西，會受到青睞。

參與討論