AI風險時間線：應以「X年內發生機率10%」作為標題（和截止日期），而非50%。而10%的機率就在今年！
我們必須將通用人工智慧（AGI）出現的 10% 機率視為全球禁令的最後期限，因為目前的預測顯示這種風險最早可能在今年發生。鑑於超智慧帶來的生存威脅，我們正處於緊急狀態，必須在為時已晚之前立即全球暫停研發。
通用人工智慧（AGI）對所有已知的生物生命構成了滅絕風險。考慮到所涉及的賭注——整個世界——我們應該將「10% AGI 發生機率」的時間線視為預防災難（簽署禁止超智慧 AI 的全球條約）的截止日期，而非目前似乎被視為預設標準的「50%（中位數）AGI 發生機率」時間線[1]。
現在早已過了關鍵時刻：今年就有 10% 的機率出現 AGI！[2] AGI 將能夠自動化進一步的 AI 開發，導致快速的遞迴自我改進，進而演變為人工超智慧（ASI）。鑑於對齊/控制問題在 2026 年之前無法得到解決，且如果有人製造出它 [ASI]，所有人都會死亡（或者至少根據大多數估計，毀滅的風險高得令人不安），全球暫停 AGI 開發是當務之急。這是一場緊急狀況。認為我們還有數年時間來防止災難，是在拿大量現存的人類生命進行豪賭，更不用說所有後代子孫和動物了。
借用 Stuart Russell 的類比：如果今年有 10% 的機率外星人降臨[3]，人類所做的努力將遠超我們目前所做的[4]。AGI 類似於一種比我們更聰明、且不太可能與我們共享價值觀的外星物種。
[1] 這是對我 2022 年發布的這篇貼文的更新版本。
[2] 在連結頁面中「為什麼有 80% 的信心？」下方的回答中提到，「大約有 10% 的機率 AGI 會在下限之前 [強調原意] 到來」，即 2027 年之前；也就是 2026 年。另請參閱：METR 的任務時間範圍趨勢。你可能會根據其他預測（如這一個）爭辯說 10% 的機率實際上是明年（2027 年），但這只會讓情況稍微不那麼緊急——如果我們可能只剩下 18 個月，我們仍然處於危機之中。
[3] 這與原始的類比不同，原始類比是一封電子郵件寫著：「地球人：我們將在 50 年後到達你們的星球。做好準備。」假設天文學家發現了某個看起來像太空船的東西正朝著我們的方向前進，並估計有 10% 的機率它確實是一艘外星太空船。
[4] 儘管也許我們不會。也許人們會無休止地爭論證據是否強大到足以宣布 10%(+) 的可能性。或者乾脆全盤否認。
相關文章