源自演算法資訊理論的認知科技

Lesswrong·

這篇文章將我多年研究演算法資訊理論的心得,提煉成一系列關於理性與 AI 對齊的簡練格言與認知教訓。我並非直接翻譯數學定理,而是提出對預測、智慧及運算內在極限的實踐見解。

認識論狀態:壓縮的格言。

這篇文章不包含任何算法信息論(AIT)的闡述,僅包含我過去幾年研究 AIT / AIXI 所(認為自己)學到的理性教訓。其中許多並非 AIT 定理的直接翻譯,而是由 AIT 啟發的思考框架。在某些情況下,它們甚至完全超出了該學科的範疇(特別是當 AIT 清晰的視角讓我能看清相關領域的本質時)。

預序問題 (Prequential Problem):後驗預測分佈在序列預測中屏蔽了後驗,因此建立一個強大的預測模型比理解其本體論更容易。

獎勵假設(或詛咒)(Reward Hypothesis (or Curse)):簡單的第一人稱目標會激勵出複雜但未必符合預期的智能行為,因此建立一個智能體比對齊一個智能體更容易。

編碼定理 (Coding Theorem):多個好的解釋意味著一個更好的(集成)解釋。

蓋克斯分離 (Gacs' Separation):預測與壓縮非常接近,但並不完全相同。

極限可計算性 (Limit Computability):智能算法總是可以被改進。

M 的下半可計算性 (Lower Semicomputability of M):思考得越久,你應該感到越不驚訝。

蔡廷智慧數 (Chaitin's Number of Wisdom):知識從外部看就像噪聲。

交錯執行 (Dovetailing):每個元認知愛好者都會重新發明列文/胡特搜索(Levin/Hutter search),通常還會加上額外的均輪(epicycles)。

不確定性之塵(克倫威爾法則)(Grain of Uncertainty (Cromwell's Rule)):任何具有有限描述的事物都會獲得非零概率。

真理之塵(反射先知)(Grain of Truth (Reflective Oracles)):完美地理解對手需要更高的智能或共同點。

無知之塵(半測度損失)(Grain of Ignorance (Semimeasure Loss)):你無法思考足夠長的時間來確定你不需要再思考更久。

索羅門諾夫界限 (Solomonoff Bound):貝葉斯序列預測在對數損失(log loss)方面具有頻率論保證。

信息距離 (Information Distance):不存在對立面。

選定比特的預測 (Prediction of Selected Bits):根據不可預測的事物進行更新,可能會損害你對可預測事物的信念。

沃夫克技巧 (Vovk's Trick):自我反思允許部分模型(partial models)的存在。

Lesswrong

相關文章

  1. 深度學習作為程式合成

    3 個月前

  2. 如果你對 AGI 風險不感到深切困惑,那一定有什麼地方出錯了

    2 個月前

  3. AI 輔助雖能提升初步表現,卻會削弱獨立思考能力與毅力

    Rohan Paul · 7 天前

  4. 人工智慧如何秘密學習思考

    4 個月前

  5. 我曾試圖使其更易理解的問題

    5 個月前