邁向受選擇壓力下的介面統計力學

想像一下使用類似機器學習（ML）的訓練過程來設計兩個串聯的簡單電子元件。參數 θ1 控制第一個元件執行的功能，而參數 θ2 則控制第二個元件執行的功能。整個系統經過訓練，使其端到端（end-to-end）的行為表現得像一個數位恆等函數（digital identity function）：接近邏輯 1 的電壓被傳送為接近邏輯 1，接近邏輯 0 的電壓則被傳送為接近邏輯 0。

背景：訊號緩衝（Signal Buffering）

我們在這裡以電子元件為例，是為了讓具備電子學背景的人聯想到類似這樣的東西：

這個電子元件被稱為訊號緩衝器。從邏輯上講，它是一個恆等函數：將 0 映射到 0，將 1 映射到 1。但關鍵在於，它能將一個較寬的邏輯 0 電壓範圍映射到一個較窄（且更低）的邏輯 0 電壓範圍，邏輯 1 亦然。因此，如果上游電路中的雜訊導致邏輯 1 的電壓略低，或邏輯 0 的電壓略高，緩衝器就能清理這些雜訊，將電壓推向理想值。

這是關於可擴展系統（scalable systems）中介面的一個普適觀點：為了魯棒性（robustness）和可擴展性，組件需要接受精確度較低的輸入，並提供精確度較高的輸出。

這是我想要喚起的背景心智圖景。但現在，我想將它與機器學習式的心智圖景結合，即訓練一個系統來匹配特定的輸入/輸出行為。

回到原始圖景：引入介面（Interfaces）

θ1 選擇第一個元件執行的功能，θ2 選擇第二個元件執行的功能；彩色曲線顯示了這兩個元件的一些可能功能。整個系統經過訓練以展現特定的端到端行為。

這是一個概念性的故事。

這裡有三個介面——我們稱之為「API」。第一個（API1）位於整個系統的輸入端，第二個（API2）位於兩個元件之間，最後一個（API3）位於整個系統的輸出端。在每個 API 處，對於系統的每個邏輯輸入（即 0 或 1），都有一組「可接受」的電壓。

API 約束了每個元件的行為——例如，元件 1 受到 API1（指定其輸入）和 API2（指定其輸出）的約束。

讓我們用數學和一些例子來說明。

一組 API 可能如下所示：

• API1：(0 ↦ [0V, 1.2V], 1 ↦ [3.5V, 5.0V]) —— 即整個系統接受 0 到 1.2 伏特之間的電壓（代表邏輯 0），或 3.5 到 5.0 伏特之間的電壓（代表邏輯 1）。對於其他電壓，不保證任何特定行為。
• API2：(0 ↦ [0V, 0.5V] ∪ [4.6V, 5.0V], 1 ↦ [2.6V, 3.8V]) —— 即在中間階段，系統使用極端電壓（高於 4.6V 或低於 0.5V）來代表邏輯 0，並使用中間電壓來代表邏輯 1。雖然奇怪，但這是允許的。
• API3：(0 ↦ [0V, 0.5V], 1 ↦ [2.8V, 5.0V]) —— 即與輸入相比，低電壓範圍更窄，但高電壓範圍更寬。這可能不是最有用的電路行為，但它是被允許的。

（為求簡化，我們假設所有電壓都在 0V 到 5V 之間）。為了讓系統滿足這些特定的 API：

• 元件 1 必須將 API1(0) 中的每個值映射到 API2(0) 中的某個值，並將 API1(1) 中的每個值映射到 API2(1) 中的某個值。也就是說，任何低於 1.2V 的值必須被映射到低於 0.5V 或高於 4.6V，而任何高於 3.5V 的值必須映射到 2.6 到 3.8V 之間。
• 元件 2 同樣必須將 API2(0) 中的每個值映射到 API3(0) 中的某個值，並將 API2(1) 中的每個值映射到 API3(1) 中的某個值。

使用 $f_i$ 代表元件 $i$ 並以數學方式寫出：當且僅當滿足以下條件時，元件滿足一組 API：

$\forall b \in {0,1}, x \in API_i(b) : f_i(x, \theta_i) \in API_{i+1}(b)$

這對每個元件 $i$ 的 $\theta_i$ 形成了一組約束。

統計力學部分

因此，API 對元件施加了約束。此外，在滿足這些約束的前提下，不同的元件會發生解耦（decouple）：元件 1 可以在內部使用任何參數 $\theta_1$，只要它滿足該組 API（特別是 API1 和 API2）；元件 2 可以在內部使用任何參數 $\theta_2$，只要它滿足該組 API（特別是 API2 和 API3）。

最後一個重點：戴上統計力學／奇異學習理論（singular learning theory）的帽子，我們根據經驗猜測，訓練過程最終可能會得到一組能被許多不同參數值實現的 API。很可能是一組接近最大參數值數量的 API。

這種解耦現在變得非常有用。讓我們使用符號 $H(\Theta | \text{constraints})$ —— 你可以將其視為與約束相容的參數值數量的對數，或者是給定約束下參數的熵或相對熵（如果我們想根據某些先驗分佈而非均勻分佈來對參數值加權）。由於解耦，我們可以將 $H$ 寫為：

$H(\Theta | API) =$

$H(\Theta_1 | \forall b \in {0,1}, x \in API_1(b) : f_1(x, \theta_1) \in API_2(b))$

$+ H(\Theta_2 | \forall b \in {0,1}, x \in API_2(b) : f_2(x, \theta_2) \in API_3(b))$

因此，其中一項僅取決於元件 1 及其相鄰的兩個 API，另一項僅取決於元件 2 及其相鄰的兩個 API。

我們基於統計力學的預測是：訓練過程最終會得到一組使 $H(\Theta | API)$（大約）達到最大值的 API。

為什麼這很有趣？

我們喜歡這個心智模型的原因在於，它彌合了統計力學／奇異學習理論風格的直覺（即訓練會找到在約束下與最多參數相容的結構）與網路內部結構（即內部介面）之間的鴻溝。對我們來說，這正是統計力學工具若要開始對可解釋性（interpretability）產生重大影響所必須跨越的鴻溝。