選取效應的分類

＊［作者註：本文使用大型語言模型（LLM）來生成並將許多個別案例分類，以及尋找和總結相關論文，並在編輯方面提供廣泛協助］＊

最早關於選擇效應（selection effect）的記錄，很可能是關於「還願碑」的狄亞哥拉斯（Diagoras）故事。當狄亞哥拉斯看到那些向波賽頓祈禱後在海難中倖存的船員畫像，暗示祈禱能拯救生命時，他問道：「那些祈禱了卻被淹死的人，他們的畫像在哪裡？」

選擇效應有時被認為是數據科學和政策制定中最致命的一類錯誤，因為它們不僅僅是掩蓋真相，往往還會反轉真相。它們創造出「幻影模式」，使得與現實完全相反的情況在統計上顯得具有顯著性。

與測量誤差（通常可以透過增加數據來平均抵銷）不同，選擇效應是「結構性」的。從一個有偏差的過程中增加更多數據，只會增加你錯誤結論的統計顯著性。

選擇效應的危險在於它們有能力違反幾乎所有統計直覺的基本假設：隨機性。當我們觀察一個數據集時，我們的大腦（以及標準統計軟體）會隱含地假設我們所看到的是世界的公平呈現。

標準的分類法通常按領域對這些效應進行分組，例如將「抽樣偏差」（統計學）與「馬姆奎斯特偏差」（天文學）以及「逆向選擇」（經濟學）分開。這對專家很有用，但它鼓勵人們去死記硬背特定的命名悖論，而不是理解生成機制的底層運作。我個人對此感到沮喪，因為選擇效應本身已經夠難思考了，不需要再加上額外的記憶負擔。以下是我試圖解決這個問題的嘗試。

如果我們不按發生的領域，而是按過濾器的「因果機制」來重新組織選擇效應，我們會發現大多數效應可以歸納為六種不同的變體。

工具性選擇 (Instrumental Selection)

機制：門檻化 (Thresholding)

當偏差源於觀察工具的靈敏度或校準本身時，就會發生這種情況。數據存在於現實領土中，但地圖繪製設備具有解析度下限或光譜限制，充當了硬性過濾器。

經典案例：馬姆奎斯特偏差 (Malmquist Bias)。在天文學中，受亮度限制的巡天觀測會優先偵測到遠距離的本質明亮天體。我們看到的並非一個充滿亮星的宇宙；我們只是在使用一個實際上讓我們對暗星視而不見的望遠鏡。

社會案例：發表偏差 (Publication Bias)。學術出版系統就像一個對「虛無結果」（null results）不透明的透鏡。「檔案櫃」裡不是空的並非因為現實總是令人興奮，而是因為科學工具的校準只為了偵測「顯著性」。

啟發式思考：問：「我的感測器要記錄到訊號，所需的最低強度是多少？」

本體論選擇 (Ontological Selection)

機制：分類 (Classification)

發生在觀察者的心智中，甚至在收集任何數據點之前。它過濾的不是物理現實，而是我們用來描述現實的「類別」。

如果說工具性選擇是因為網子有洞而抓不到魚，那麼本體論選擇則是抓到了魚，卻因為漁夫將其定義為「不是魚」而將其丟回海裡。它透過將不方便的數據定義為不存在，來對現實進行傑利蠑螈式（gerrymandering）的劃分。

經濟案例：失業率。你如何衡量經濟衰退？在美國，標準的「U-3」失業率將失業人員定義為目前正在尋找工作的人。如果一個人放棄希望並停止尋找，他們就不再是「失業者」，而是直接從分母中消失。在長期蕭條期間，失業率可能會人為下降，僅僅是因為人們變得太絕望而無法被計入。

軍事案例：特徵打擊 (Signature Strikes)。在某些無人機戰爭協議中，「敵方戰鬥人員」的定義被擴大到包括打擊區內的任何適齡服役男性。透過重新定義「平民」類別以排除最可能被擊中的人，官方數據可以誠實地報告「零平民傷亡」，儘管死亡人數很高。選擇效應不在感測器中，而是在詞典中。

啟發式思考：問：「如果我正在尋找的東西以稍微不同的形式出現，我目前的定義是否會將其歸類為『雜訊』並予以捨棄？」

過程選擇 (Process Selection)

機制：損耗 (Attrition)

當一種動態壓力在觀察者到達之前摧毀、移除或隱藏了受試者時，就會發生這種情況。樣本代表的不是初始群體，而是能夠承受該壓力的群體。

經典案例：倖存者偏差 (Survivorship Bias)。我們研究返航飛機上的彈孔，卻忽略了那些擊中關鍵部位的飛機根本沒有返航接受統計。

數位案例：靜默證據效應 (Muted Evidence Effect)。我們僅根據目前託管的內容來分析網路歷史。被刪除的推文、被影子禁言（shadowbanned）的帳號以及倒閉的平台都是不可觀察的。我們正在分析一段完全由順從者和有償付能力者所撰寫的歷史。

啟發式思考：問：「是什麼殺死了那些不在這裡的數據點？」

代理性選擇 (Agentic Selection)

機制：自我篩選 (Self-Sorting)

在這裡，過濾器是由受試者的內部偏好、私有資訊或動機所驅動的。受試者自行決定是否進入樣本。這與工具性選擇不同，因為偏差是由「被觀察者」而非「觀察者」驅動的。

經典案例：逆向選擇 (Adverse Selection)。如果你以固定費率提供醫療保險，唯一會「選擇加入」的人是那些知道自己有病的人。樣本（投保人）與健康狀況幾乎呈現完美的負相關。

社會案例：同質性 (Homophily)。人們會自我篩選進入相似同儕的網絡中。如果你試圖透過觀察你的朋友來抽樣公眾輿論，你抽樣的是一個由「與你相似」所定義的數據集。

啟發式思考：問：「受試者有什麼私有資訊或動機促使他們進入（或避開）我的樣本？」

［註：在實踐中，過程選擇與代理性選擇之間的區別可能取決於對「控制軌跡」的考量，這本身就很模糊。考慮學生離開一所正在接受研究的特許學校的案例：他們是自我選擇退出（自我篩選），還是被過濾掉（損耗）？］

人擇選擇 (Anthropic Selection)

機制：先決存在 (Pre-requisite Existence)

當觀察的前提是觀察者必須具備特定特質才能出現在觀察現場時，就會發生這種情況。觀察者與被觀察者是糾纏在一起的。

經典案例：人擇原理 (The Anthropic Principle)。我們觀察到與生命相容的物理常數，並非因為它們發生的機率很高，而是因為如果常數不相容，我們就不可能存在並進行觀察。

統計案例：伯克森悖論 (Berkson’s Paradox)。兩種獨立的疾病在醫院環境中顯得相關。為什麼？因為要進入樣本（醫院），你通常至少需要一種嚴重症狀。如果你沒有疾病 A，你必須患有疾病 B 才能出現在那裡。「醫院」是一個條件，而不是一個地點。

職業案例：健康工人效應 (Healthy Worker Effect)。職業死亡率研究通常顯示工人的健康狀況優於一般大眾。這並非因為工作能讓你長生不老，而是因為病重的人會失業。

啟發式思考：問：「關於我自身，必須滿足什麼條件，才能讓我站在這裡看到這一切？」

控制論選擇 (Cybernetic Selection)

機制：遞迴 (Recursion)

這表現為一種「動態的古德哈特定律（Goodhart effect）」。選擇機制從先前的選擇中學習，即時收窄過濾器。隨著時間推移，樣本的變異性會崩潰，因為過濾器與被過濾者處於反饋迴路中。

經典案例：演算法激進化 (Algorithmic Radicalization)。你點擊了一個影片。演算法提供了更多該類型的影片。你再次點擊。演算法移除了所有其他內容。呈現給你的「現實」變成了你最初衝動的超小眾、蒸餾版本。

市場案例：價格泡沫。高價篩選出了相信價格會進一步上漲的買家。他們的購買行為推高了價格，進而篩選出更多樂觀的買家，同時「篩選掉」了價值投資者。

啟發式思考：問：「我先前與這個系統的互動，如何改變了系統現在向我展示的內容？」

［註：控制論選擇與其說是一個獨立的類別，不如說它本身就是一個過程，上述任何其他類別都可能透過時間的複合作用演變為此類。］

該領域的一些重要論文：

Heckman, J. J. (1979). "Sample Selection Bias as a Specification Error."

Bowker, G. C., & Star, S. L. (1999). "Invisible Mediators of Action: Classification and the Ubiquity of Standards."

Bostrom, Nick. (2002). "Anthropic Bias: Observation Selection Effects in Science and Philosophy."

Hernán, M. A., Hernández-Díaz, S., & Robins, J. M. (2004). "A Structural Approach to Selection Bias."

Sculley, D., et al. (2015). "Hidden Technical Debt in Machine Learning Systems."