對代理基礎有益的系統類型

在這篇文章中，我寫下了一些對幾年前的自己會非常有幫助的內容。鑑於此，它對其他人可能有用，也可能沒用。

在研究代理基礎（agent foundations）時，我發現自己一直想要一個關於「事物隨時間演變」的良好通用形式化方法。其應用包括：

• 最佳化是隨時間發生的。
• 代理隨時間進行觀察。
• 學習是隨時間發生的（儘管我認為學習理論大多超出了我的研究議程範圍）。
• 代理擁有環境模型；如果環境的類型是「隨時間演變的事物」，那麼模型或許也應該具有「隨時間演變的事物」這一類型。（但也可能不是！）
• AI 是在計算機上實現的，而計算是「隨時間演變的事物」的一個子類。這與上述內容如何相互作用？

有相當長一段時間，我對所有的選擇感到不知所措且迷失方向。但隨著時間推移，我慢慢理解了幾個數學子領域的輪廓，它們各自擁有關於「隨時間演變的事物」的豐富理論，並配有深刻的定理和數十年的文獻。所有這些對我來說似乎都有潛在的用途，因此我在它們之間交替探索（dovetail）。^([1])

幾種系統類型

要圓滿地解釋每一種系統類型是不可能的。因此，我將僅對每一種進行參考級別的描述，說明其狀態空間的樣子、使用的動力學類型，以及一點點直覺或動機。

我還標註了一些經典範例。閱讀這些範例直到你覺得自己「掌握」了它，可能是獲取該類型系統大量資訊的一種相當有效率的方式。

隨機過程 (Stochastic process)

在隨機過程中，世界是隨機變數的時間序列。你在時間 t 觀察到的系統狀態是從以 t 為索引的隨機變數中採樣的。與清單中的其他系統不同，這裡的動力學本身被認為是非確定性的；即使你知道前一個變數的值，下一個值仍是從機率分佈中抽取的，儘管該分佈現在是以所述值為條件的。

關鍵範例： 獨立同分佈（I.i.d.）過程，如重複擲硬幣
關鍵範例： 馬可夫鏈（Markov chains）

保測動力學 (Measure-preserving dynamics，特別是遍歷理論)

測度論機率是一個定義良好的領域，研究當你想對無限多種可能性進行交集或聯集運算時，如何處理機率操作。（例如，P(n 是偶數) 等同於說 P(n = 0 或 n = 2 或 n = 4 或 ...)，這需要謹慎處理。）

狀態空間是一個測度空間（通常是機率空間）。動力學是一個保測函數。

這套理論的大部分內容關注遍歷性（ergodicity）和其他類型的「混合」（mixing）。它感興趣的是理解特定系統的動力學隨時間將狀態空間攪亂到什麼程度。我認為這可能很重要，因為如果狀態空間必然會被完全混合，那麼你就無法對狀態進行最佳化。

關鍵範例： 無理旋轉
關鍵範例： 2x mod 1（有多種名稱）

拓撲動力學 (Topological dynamics，特別是符號動力學)

拓撲學是數學中最重要的結構類型之一。^([2]) 其中最常見（也最直觀）的拓撲類型之一是距離度量，也就是一種在通常意義上衡量任何兩點之間距離的方法。有了拓撲，你就可以討論收斂性和連續性等概念。

我非常喜歡另一種表徵，即「拓撲是有限觀察的邏輯」。這需要大量解釋，但簡單來說，如果你正在對底層狀態空間進行觀察，我認為使用拓撲空間來形式化這些觀察是合適的。

拓撲動力系統以拓撲空間作為其狀態空間，並以連續函數作為其動力學。要透過吸引子（attractors）定義最佳化，必須使用拓撲系統。與上述類似，人們通常也可以在純粹的拓撲意義上討論「混合」的程度。

在符號動力學中，你考慮每個時間步可能的觀察結果。然後，你透過所有可能的觀察序列構建一個拓撲系統。

關鍵範例： 同樣是無理旋轉
關鍵範例： 帶有移位映射（shift map）的康托爾空間（Cantor space）

可計算性 (Computability)

在可計算性理論中，你的狀態空間是一條無限的二進位磁帶，以及圖靈機的有限內部狀態。你的動力學是定義特定圖靈機的有限「如果-那麼」（if-then）條件集合。（注意，可計算性理論通常不從這些角度思考。）

為了模擬世界，我們可能希望允許動力學具有一定的隨機性。這可以透過多種方式實現，包括給圖靈機一個基本上填滿了擲硬幣結果的唯讀「磁帶」。

關鍵範例： 閱讀任何關於可計算性理論的內容都能讓你對這個領域有很好的了解。
關鍵範例： 確定有限狀態機（deterministic finite automata）

為了代理基礎研究的目的，重要的是要注意這些類型的系統都不是通常定義下的「開放」或「交互式」系統，因此需要對其進行修改，以便由代理進行操作。

類型之間的相互作用

我要說明的是，我的主要目標不是找到一個宏大、包羅萬象的泛化來統一這些框架。我的意思是，我並非不嘗試這樣做，但這不是首要任務。定理是工具，它們告訴我們：「只要情況可以很好地被抽象 A 建模，那麼 B 就會隨之而來」。AI 系統有時在不同語境下會被不同類型的系統很好地建模，因此關於每一種系統的定理在這些語境下都可能有用。

注意到這些系統在文獻中的相互作用程度也很有趣。我剛開始處於「我完全不知道分類是什麼」的階段，然後進入了「我現在覺得這些類別非常清晰分離且定義明確」的階段，現在正進入「嗯，實際上這些類別在實踐中似乎經常模糊不清」的階段。

例如，拓撲學和測度論之間存在巨大的重疊。它們的定義只差幾個符號，這非常具有暗示性。我目前正在閱讀一本關於遍歷理論的書，名義上它是測度論的一個子領域。但我注意到拓撲概念經常出現。最終，我開始在書中標註所有提到拓撲的地方。我發現的一個規律是，大多數定義是純粹測度論的，但許多實質性的定理都需要拓撲假設。

一種測度空間是波萊爾測度（Borel measure），它是當你取一個拓撲空間並從中導出測度空間時產生的。這非常非常普遍，但絕非萬能。我也許最終會認定大多數有用的範例都屬於這種類型。

另一個例子是，由於可計算性自然地發生在無限二進位字串上，其狀態空間（忽略機器狀態）具有來自康托爾空間的自然拓撲和測度空間。

另一件歷來讓我相當困惑的事情是，隨機過程和保測動力系統本質上是相同的，但視角非常不同。給定一種類型的系統，你可以將其轉換為另一種類型的系統。幾乎沒有哪個領域會提到這一點，而且我不清楚因此損失了多少洞察力。

在我之上的層次

我絕不認為我已經「完成」了這一分支的探索。還有其他幾種資源我曾嘗試閱讀但放棄了，因為我顯然缺乏先備知識。也許 6 個月後我會再試一次。

這裡明顯的領先者是範疇論（category theory）。如果你看，例如由 ARIA 資助的 Safeguarded AI 理論項目清單，你會看到大量的範疇論。我期待有一天能領悟範疇系統理論、餘代數（coalgebras）和字串機（string machines）。

• ^(^)在我學習歷程的早期，我寫了《熵與最佳化的動力系統入門》，內容相似但側重於按空間和時間的基數對系統進行分類。這與本文中的分類基本正交，且不那麼重要。

• ^(^)關於甜甜圈和咖啡杯的說法是代數拓撲，我認為在大多數情況下這是一個誤導性的例子。