人類智力增強與X-risk（二）：為何會造成傷害

這是一篇轉載自我的部落格的文章。

背景

先前在「HIA 與生存風險第一部分：為何有幫助」中，我闡述了為什麼我認為人類智力增強（Human Intelligence Amplification, HIA）會降低通用人工智慧（AGI）帶來的生存風險。在這裡，我將列出目前我能想到所有關於 HIA 可能增加 AGI 生存風險的理由。

給讀者的問題

• 我是否遺漏了任何認為 HIA 會增加 AGI 生存風險的重要理由？
• 哪些理由對你來說最令人擔憂（例如：需要更多調查、需要努力規避）？
• 哪些理由（如果有的話）對你來說是關鍵點（cruxy），也就是說，它們可能會讓你認為人類智力增強在預期上是淨負面的？願意進行現場討論或辯論嗎？

注意事項

世界非常複雜且混亂，我無法可靠地預測甚至是像「某某事物實際上會產生什麼影響」這樣的重要問題。我甚至無法可靠地消除太多的不確定性，而且世界上充滿了會採取令人驚訝的適應性行動的行動者。因此，實際的探索程序大約是：有什麼方式或理由讓人認為 HIA 可能會增加 AGI 生存風險，且在假設情況下足以說服我 HIA 是不該做的？這主要是一個廣度優先搜索，並輔以一些深層思考。

特別是，下面列出的許多理由，就其呈現方式而言，根據我的實際信念，並非事實，或者被歪曲、強調不當。然而，話雖如此，這是一次「真實懷疑」（True Doubt）的嘗試，且部分取得了成功；列出的某些理由確實讓我產生了真正的遲疑。

這與「胚系基因組工程的潛在危險」是類似的計畫。在那種情況下，請記住，這種探索的部分原因不僅是為了回答「我們是否應該這樣做，是或否？」，也是為了回答「當我們這樣做時，我們如何以有益的方式進行？」。參見「基因組解放」中的「在真實的批評中磨礪」。

什麼是 HIA？

我通常不會對「智力」是什麼以及「人類智力增強」是什麼給出明確定義。關於可能用於實現 HIA 的具體方法，請參見「強人類智力增強方法概述」；這些方法暗示了智力和 HIA 的（各種不同的）特定功能含義。

因為我們並不精確：

• 對 HIA 的批評可以提出許多可能性——例如，他們可以聲稱 HIA 往往也會使其他某些特質變得更糟。
• 對 HIA 的辯護也可以提出許多可能性——例如，他們可以說「如果以屬於該大類下的某種特定方式進行，HIA 就是好的」。

智力和 HIA 的模糊定義

模糊地說，我所說的 HIA 是指任何提高活人智力的方法，或者使某些未來的人在預期上比預設情況下擁有更高智力的方法。通常，我們討論的是「強 HIA」，意味著智力的提升幅度很大——想像一下 30 或 50 個 IQ 點，也就是從平均水平提升到天才，或從天才提升到世界級天才。

模糊地說，我所說的智力是指某人解決受限於認知（而非體力、耐力或財務資源等）問題的能力。先驗地說，這可能包括認知的問題解決能力的整個範圍。因此，我們包括刻板印象中 IQ 式的認知問題，如數學或工程。但是，我們也包括例如政治魅力、智慧、良好的判斷力、哲學能力、學習、持續質疑和關注某事的能力、創造力、壓力下的良好表現、同理心、團隊協作貢獻、記憶力、品味和速度的能力與傾向。

另一方面，我們不包括其他認知特質，如善良、宜人性、情緒效價、情緒調節、決心、盡責性等等。這些通常是重要的特質，讓大眾擁有影響自己這些特質的工具可能是件好事（儘管這也可能因脅迫風險而充滿爭議）。但本文更狹隘地關注智力，而非所有認知特質。

在實踐中，智力指的是我們能夠相對容易衡量的任何東西。如果一個特質難以衡量，就難以增加。（這確實是一個令人擔憂的原因，因為僅增加容易衡量的特質可能會產生某種扭曲；正在討論的主張是，即使在這種限制下，HIA 是否仍然是好的。）更具體地說，智力指的是 IQ，因為 IQ 相當容易衡量。IQ 遠未能涵蓋某人解決受限於認知問題能力的全部。但在本文中，我們理所當然地認為 IQ 是這些能力中的一個重要因素，並假設 IQ 是可以提高的。

HIA 作為一種大眾獲取的資源

我們將固定的一個維度是「分配」：我們將假設 HIA 是以開放獲取的方式提供的。換句話說，HIA 的辯護者不能說「我們只會把 HIA 給予道德良好的人，因此會有更多的腦力被引導到道德良好的方向」。這是因為限制獲取的 HIA 實施方案似乎在很大程度上是不可行的，而且在道德和倫理上也充滿爭議。

我不認為如果你發明了一種有效的 HIA 方法，就必須立即與所有人分享，這並非絕對原則。但我確實認為這樣做有很強的道德分量；此外還有政治倫理分量（大致意思是「作為社會中信譽良好的成員，即使這是道德的，你也不應該這樣做，因為這會理所當然地引起很多衝突」）。特別是由於政治倫理的分量，在許多情況下，對誰能獲得存取權進行大量篩選在物流上似乎是不可行的。

在生殖遺傳學（reprogenetics）的情況下，這種趨向大眾獲取的倫理分量會大大增加。生殖遺傳學本質上是一種多用途技術，並且已經被多基因胚胎篩選公司用於讓父母降低未來孩子的疾病風險。這意味著社會對於生殖遺傳學的平等獲取（在中期，一旦最初昂貴的開發階段完成後）有著非常強烈且合理的利益。由於生殖遺傳學可能是最可行的 HIA 方法（見「強人類智力增強方法概述」），開放獲取似乎是一個合理的基線假設。

最後，與某種假設的限制獲取 HIA 相比，開放獲取 HIA 可能更難被辯護為有助於降低 AGI 生存風險。因此，為「即使是開放獲取 HIA 也能降低生存風險」這一主張辯護是一項更嚴格的測試；如果通過，它應該能提供更強的證據證明 HIA 是值得追求的。

HIA 與生殖遺傳學

由於生殖遺傳學可能是最可行的強 HIA 方法，很難將一般的 HIA 與生殖遺傳學完全分開討論。如果具體方法是生殖遺傳學，那麼可用的 HIA 類型、其出現的時機、哪些其他特質會受到影響，以及社會將如何反應，都可能受到嚴重影響。

儘管如此，本文旨在盡可能討論一般 HIA 的影響，排除任何特定 HIA 方法帶來的影響。關於生殖遺傳學的下行風險思考，請參見「胚系基因組工程的潛在危險」。

AGI 生存風險

背景假設

本探索假設：

1. 如果有人製造出真正的 AGI，除非 AGI 對齊（alignment）問題已解決，否則所有人皆會死亡。
2. AGI 對齊在技術上極其困難。
3. 除非追求 AGI 的理由被消除，且/或有極強的理由不追求 AGI 研究，否則人們將繼續追求 AGI 研究。
4. AGI 在未來 10 年內出現的可能性很大，而在未來幾十年內不出現的可能性也很大（以及兩者之間的任何情況）。
5. 首要戰略任務是避免製造出未對齊的 AGI。
6. 存在所謂的「AGI 能力研究」，意指「增加人類關於如何製造 AGI 的技術理解的研究」。
7. AGI 能力研究總是不好的，因為它撥快了通往 AGI 的全球時鐘。

紅色 vs. 藍色 AGI 能力研究

我想引入一個模糊的術語來幫助討論戰略格局。非常模糊地說，AGI 能力存在一個光譜，從「紅色」（短期、大規模訓練、備受關注）到「藍色」（藍天研究/基礎研究）。這當然遠非一維的，且下表中的某些項目相當有爭議（即：這兩個項目或許應該互換）。儘管如此，我想使用這一個維度作為一種粗略的方法來對空間進行一級劃分。為了更具體地描述這個維度：

特性	紅色研究 (Red)	藍色研究 (Blue)
性質	擴展現有技術、工程密集	基礎理論、新穎架構
時程	近期 (1-5 年)	長期 (5-20+ 年)
資源	巨量算力、大數據、大團隊	數學、哲學、小規模實驗
監管	較易 (算力監控、公司實體)	極難 (分散、純理論)

一個看似合理的（據我所知）初步模型是：在任何給定時間，紅色研究最有可能引發智力爆炸。紅色研究採用已經得到某種證明的現有想法，然後將其推向極致以觀察會發生什麼。另一方面，藍色研究最有可能在長期內為實現 AGI 做出貢獻。

紅色研究比藍色研究更容易監管。這是因為紅色研究需要大量的資源，且通常更具可見性（公關、產品、高薪、品牌知名度）。特別是大型數據中心的物理需求（能源、散熱、晶片）是可以被偵測和監管的。藍色研究可以透過消費級電腦和智力交流來進行，且使用更專門的理論思想，因此更難被偵測甚至定義。

世界進程干預效果的本體論

一般來說，對於某些戰略干預，會出現一個問題：這項干預加速/支持了世界上的哪些進程，又減慢/破壞了哪些進程？

作為一個粗略的初步近似，干預...