探究我自身的認知優勢

Lesswrong·

我正在探索自己認知優勢的來源,思考我在識別 b-money 和 AI 安全等重要概念上的成功,究竟是源於卓越的直覺,還是僅僅因為具備高水準的推理能力,並輔以缺乏認知偏誤與制度壓力。

我為 Eliezer 試圖讓自己變得多餘的舉動喝采,並認為這是每一位在智識上有所成就的人都應該投入時間和精力去做的事情。我一直在試圖理解我自己的「優勢」或「護城河」,即那些造就了我目前成就的認知特質,希望能找到將其複製到他人身上的方法。但我對其中一部分感到困惑,並試圖在這裡描述我的難題。背景參考方面,這裡有一份早期的 EAF 評論,解釋了我的經歷/背景,以及我確實理解的關於我的認知與他人有何不同之處。^([1])

更多背景

就原始智力而言,我認為自己很聰明,但並非世界頂尖。我的 SAT 分數只有 1440,在當時是第 99 百分位數,大約相當於 135 的 IQ。(直覺上這可能被低估了,我的 IQ 可能更接近第 99.9 百分位數。)我記得當時費力地學習 GNFS 因式分解演算法,然後在一次會議上遇到另一名實習生,他不僅在和我同樣的 3 個月內掌握了它,還展示了一項對現有技術(SOTA)的改進。(總體而言,密碼學研究領域似乎到處都是比我聰明得多的人。)我也認為自己與許多同齡人相比很懶惰,或者說不是特別勤奮,所以對自己並沒有特別高的期望。

(這方面的一個例子是:當我還是一名電腦科學系大一學生時,在讀完 Vernor Vinge 的《深淵上的火》(A Fire Upon the Deep)後,開始擔心最終的 AI 奪權問題。當時我認為自己不夠聰明或不夠勤勉,無法為 AI 安全等核心領域做出貢獻,也就是說,最終會有大量比我更聰明、更努力的人為之貢獻。因此,我甚至沒有選修任何 AI 課程,而是決定將我的教育和職業重點放在應用密碼學上,將其作為從邊緣降低 AI 存在風險(x-risk)的一種方式,即透過提高整體的網路安全性。)

難題

可以肯定地說,我超出了^([2]) 我自己的預期。回首往事,主要發生的事情似乎是我對哪些問題/領域/方法是重要且有前景的,擁有非凡的直覺,然後利用我雖高但非世界頂尖的智力,摘取了一些「低垂的果實」,或佔據了一些註定在日後變得流行的立場。其他人長期忽視了這些想法,甚至在我發表之後也是如此。在好幾個案例中,它們被忽視了太久,以至於我已經放棄了獲得重大認可或正面回饋的希望,直到它們最終被他人重新發現和/或推廣。

目前困擾我的問題:

  • 我是否(或曾經)擁有一種真正的認知能力,還是存在某種非認知的解釋,或者純粹是運氣?(一個難以排除但不太有建設性的假設是:我正處於一場遊戲或模擬之中。)
  • 如果我確實擁有這種能力,它是如何運作的,為什麼如此罕見?這似乎很難用我們從認知科學中了解到的任何知識來解釋。對良好直覺的標準解釋包括:它們是從廣泛的先前經驗或推理中萃取出來的。但我經常在不同領域之間切換,因此往往是一個新手。
  • 這種能力不僅罕見,而且我的直覺與最接近的人之間似乎存在著驚人的巨大差距。例如,我談論哲學問題很可能成為 AI 對齊/存在安全(x-safety)的瓶頸已經超過 20 年了,而其他人直到最近才開始關注這條思路,或者認為他們對元哲學(metaphilosophy)或 AI 哲學能力已經有了現成的解決方案(但他們要麼沒有寫下足夠的細節供我評估,要麼在我看來並不怎麼好)。同樣地,關於 b-money、我在 LessWrong 之前的原始 UDT 想法,以及我早期認為「停止 AI 開發並提高人類智力應作為 A 計劃」的立場,我在智識上幾乎孤軍奮戰了許多年。^([3])
  • 是否還有其他人可以聲稱擁有同樣卓越且難以解釋的直覺,但因為與我的興趣不同,所以我從未聽說過他們?

一個合理的答案?

在寫這篇文章時,我突然想到,也許我擁有(或曾擁有)的並非卓越的直覺,而是來自相對較高的基礎推理能力和知識儲備的良好判斷力,並受益於缺乏常見的認知扭曲——特別是過度自信(這會導致人們傾向於抓住自己想到的第一個看似不錯的主意,而不是保持自我懷疑並努力尋找自己想法中的缺陷)以及受僱所帶來的體制壓力/誘因。

我的自我懷疑可能源於早期的密碼學職業生涯。在那個領域,將公開受辱風險降至最低的唯一方法,通常是嚴格檢查自己提案中的潛在缺陷,而過度自信會迅速受到懲罰。安全證明往往是不可能的,或者證明本身也可能存在缺陷(例如由於使用了錯誤的假設或模型)。此外,缺陷通常極其微妙且難以發現,但一旦被指出就難以否認,這進一步激勵了自我懷疑和審查。

我的懶惰可能矛盾地起到了幫助作用,它使我避免加入那些有著和我相同興趣的人通常會加入的機構(例如學術界和其他研究機構),轉而追求一種「無壓力」的生活:思考任何我想思考的事,說任何我想說的話。

(這種生活可能也有其自身的認知扭曲,例如與人們在網路論壇上進行的地位博弈有關,但或許它們與通常的認知扭曲有足夠大的差異,使我能夠看到其他人看不到的一系列盲點。)

重新閱讀我兩年前的 EAF 評論(見下方腳註 ^([1])),我當時已經提到自我懷疑和財務/組織獨立是我智識成功的因素,但顯然當時仍覺得有一個謎題需要解釋。或許這篇文章的主要體悟/洞見在於:這兩個因素結合產生的效應規模,可能大到足以解釋/構成我大部分或全部的「優勢」,可能並不存在進一步的「卓越直覺」之謎需要解釋。

我可能會繼續思考這個話題,並歡迎他人的任何想法或觀點。假設我的「合理答案」是正確的,目前還不太清楚能從中得出什麼實踐建議。推薦某人去密碼學領域待幾年似乎不切實際,我不確定任何比這更輕鬆的方式是否能產生類似的效果,我也無法確信即使是這樣的經歷,是否也會在他人身上產生像在我身上那樣普遍且根深蒂固的自我懷疑。在財務/組織上保持獨立對大多數人來說似乎也不切實際,或追求成本太高。我也歡迎在這方面(實踐建議)的任何建議。

我想到的一個含義是:如果這些認知特質的優勢是以乘法方式累積的(看起來確實如此),那麼對於已經具備其他特質的人來說,獲得最後一塊拼圖的成本可能是非常值得的。例如,如果某人已經擁有前 1% 的 IQ、廣泛的智識背景和興趣,並且具備自我懷疑或獨立性其中之一,那麼獲得另一項特質的邊際價值可能會非常高,因此值得付出代價。

這項分析的另一面是:上述認知扭曲的負面影響可能比通常假設或意識到的要高得多,有時甚至會導致重要方法和結論延遲數年或數十年,而且即使他人比我有顯著的 IQ 優勢也無法克服。這可能是一個關鍵的戰略考量,例如,這意味著透過基因增強人類智力來降低存在風險的努力,如果沒有其他伴隨的減少此類扭曲的努力,可能是不足夠的。

  • ^(^)為了完整性/存檔目的在此複製:

我思考了這點,並寫下了一些可能促成我今日成就的人生事件/決定。

  • 10 歲移民美國,當時不懂英文。在學習語言的過程中社交技能退化,加上缺乏文化知識,使得在青少年和大學時期很難交到朋友,這給了我大量的空閒時間,我透過閱讀小說和非小說、編程以及發展智識興趣來填補這些時間。
  • 在中國時深受共產主義宣傳灌輸,但離開意味著我隨後失去了可行的道德/哲學/政治基礎。父母忙於作為新移民建立事業,沒有嘗試教導我價值觀/傳統。所以我有很多沒有現成答案的問題,這或許促成了我對哲學(以及經濟學和博弈論)的濃厚興趣。
  • 最初的職業生涯是在密碼學領域,但發現很難在純數學/技術技能上與其他研究人員競爭。意識到我的比較優勢在於更具概念性的工作。密碼學也教會了我要對自己和他人的想法保持懷疑。
  • 在學術研究方面有過糟糕的初步經驗(向會議提交論文時收到了荒謬的同行評審),因此避免走那條路。嘗試了各種方法來實現財務獨立,並在 20 多歲末成功「退休」,將獨立研究作為愛好。

其中很多是他人無法模仿的(例如,我不能建議人們為了有更多時間發展智識興趣而避免交友)。但以下是我能想到的一些實踐建議:

補充:哦,這裡有一篇最近的 LessWrong 貼文,我在其中談到了我是如何得出目前這套研究興趣的,你可能也會感興趣。

  • ^(^)在此複製我的主要成就:

  • 創建了第一個通用開源密碼學編程庫(Crypto++, 1995),動機是 AI 風險和現在所謂的「防禦性加速」。

  • 發表了最早的基於分散式公共帳本的加密貨幣描述之一(b-money, 1998),早於比特幣。

  • 提出了 UDT(無更新決策論),結合了無更新性、策略選擇以及使用邏輯條件句評估後果的想法。

  • 第一個基於確保 AI 存在安全的技術難度而主張暫停 AI 開發的人(SL4 2004, LW 2011)。

  • 指出當前和未來的哲學困難是 AI 存在安全的核心瓶頸,人類研究者可能無法克服,並倡導研究元哲學和 AI 哲學能力作為可能的解決方案。

  • ^(^)值得注意的例外包括:Nick Szabo,他幾乎在 b-money 出現的同時發明了他的 BitGold;Cypherpunks,他們認為 b-money 很有趣/有前景,但沒有投入太多精力進一步開發;以及 Hal Finney,他在 LessWrong 出現之前可能是最關注我想法的人,包括開發了 RPOW、試圖理解我早期的決策論想法,並將 UDASSA 整理成可公開展示的形式

Lesswrong

相關文章

  1. 我曾試圖使其更易理解的問題

    5 個月前

  2. 末日預言者的日記:關於 AI 風險的十二年爭論(第一部分)

    9 天前

  3. 如果你對 AGI 風險不感到深切困惑,那一定有什麼地方出錯了

    2 個月前

  4. 「對齊很難」的論述為何看似與人類直覺格格不入,反之亦然的六個原因

    5 個月前

  5. 我2003年關於AI對齊失調的演化論證文章

    3 個月前