源自演算法資訊理論的認知科技
這篇文章將我多年研究演算法資訊理論的心得,提煉成一系列關於理性與 AI 對齊的簡練格言與認知教訓。我並非直接翻譯數學定理,而是提出對預測、智慧及運算內在極限的實踐見解。
認識論狀態:壓縮的格言。
這篇文章不包含任何算法信息論(AIT)的闡述,僅包含我過去幾年研究 AIT / AIXI 所(認為自己)學到的理性教訓。其中許多並非 AIT 定理的直接翻譯,而是由 AIT 啟發的思考框架。在某些情況下,它們甚至完全超出了該學科的範疇(特別是當 AIT 清晰的視角讓我能看清相關領域的本質時)。
預序問題 (Prequential Problem):後驗預測分佈在序列預測中屏蔽了後驗,因此建立一個強大的預測模型比理解其本體論更容易。
獎勵假設(或詛咒)(Reward Hypothesis (or Curse)):簡單的第一人稱目標會激勵出複雜但未必符合預期的智能行為,因此建立一個智能體比對齊一個智能體更容易。
編碼定理 (Coding Theorem):多個好的解釋意味著一個更好的(集成)解釋。
蓋克斯分離 (Gacs' Separation):預測與壓縮非常接近,但並不完全相同。
極限可計算性 (Limit Computability):智能算法總是可以被改進。
M 的下半可計算性 (Lower Semicomputability of M):思考得越久,你應該感到越不驚訝。
蔡廷智慧數 (Chaitin's Number of Wisdom):知識從外部看就像噪聲。
交錯執行 (Dovetailing):每個元認知愛好者都會重新發明列文/胡特搜索(Levin/Hutter search),通常還會加上額外的均輪(epicycles)。
不確定性之塵(克倫威爾法則)(Grain of Uncertainty (Cromwell's Rule)):任何具有有限描述的事物都會獲得非零概率。
真理之塵(反射先知)(Grain of Truth (Reflective Oracles)):完美地理解對手需要更高的智能或共同點。
無知之塵(半測度損失)(Grain of Ignorance (Semimeasure Loss)):你無法思考足夠長的時間來確定你不需要再思考更久。
索羅門諾夫界限 (Solomonoff Bound):貝葉斯序列預測在對數損失(log loss)方面具有頻率論保證。
信息距離 (Information Distance):不存在對立面。
選定比特的預測 (Prediction of Selected Bits):根據不可預測的事物進行更新,可能會損害你對可預測事物的信念。
沃夫克技巧 (Vovk's Trick):自我反思允許部分模型(partial models)的存在。
相關文章