如果超級人工智慧其實很弱呢？

回應 Dean W. Ball 的文章 〈2023 年，或者為什麼我不是末日論者〉。

Dean Ball 是 AI 政策領域極具影響力的人物——他的電子報擁有超過 1.9 萬名訂閱者，且曾擔任川普白宮的 AI 高級政策顧問——那麼，為什麼他不認同 AI 會對人類構成生存威脅？簡而言之，他持有的一種普遍觀點是：人工超智慧（ASI）根本不會那麼強大。我強烈反對這一點，且我認為他在得出這個結論的過程中，犯了幾個無效的邏輯跳躍。

比我們強就足夠了

他最主要的錯誤論點在於，他暗示 AI 必須是全能且全知的才能消滅我們，然後再解釋為什麼事實並非如此。他指出：「『AI 安全社群』中許多人的一個共同假設是……人工超智慧將能夠『做任何事』。」接著他辯稱「智慧既非全知也非全能」，而且即使是一個「沒有 [..] 安全機制阻礙」的失準 AI 也「仍會失敗」，因為接管世界「涉及太多需要資本、以及與難以預測的複雜系統進行介面的步驟」。但全能或全知從來不是必要條件，它只需要比我們——人類——更聰明、更優秀就夠了。

向前思考

重要的是，消滅人類或剝奪人類權力實際上並不需要超智慧。為了想像這一點，我只需要展望並不遙遠的未來。想像你得到了一隻幼虎。想像一年後這隻老虎會是什麼樣子，並問自己：一年後它能殺了我嗎？現在對 AI 進行同樣的思考。想像一個擁有十億台機器人的未來，AI 運行著軍隊，AI 基本上從事所有工作（或許帶有某種程度的人類監督），AI 掌控著媒體、生物實驗室、政治與軍事決策，以及關鍵基礎設施。那隻隱喻中的老虎就能殺死我們。Ball 本人也想像過一個未來，AI 被「嵌入到美國大部分的關鍵基礎設施和大型組織中，以至於很難想像如果 Claude 『關機』，生活會變成什麼樣子」。

Ball 還討論了超智慧擁有近乎荒誕能力的場景，例如在沒有太多實驗的情況下實現科學突破。他聚焦於 Yudkowsky 的主張，即「一個足夠超智慧的 AI 系統，將能夠僅從蘋果落下的幾個畫面中，不僅推導出重力理論，還能推導出相對論」，或者實現「自舉式分子奈米工程」。Ball 認為這些具體主張是錯誤的，這點可能是正確的，但這些並非 AI 為何可能變得危險的「承重」部分。你不需要從基本原理推導出相對論就能製造出生物武器。值得注意的是，Yudkowsky 本人也提出過其他不需要 AI 在沒有實驗的情況下取得科學突破的場景（參見 IABIED 第二章）。

如果你的回應是「但屆時會有許多 AI 且會有監控，所以我們會很安全」，那麼你已經轉向了另一個（且非常有缺陷的）論點。^([1]) 重點在於，如果到那時我們還沒有將 AI 調整好（alignment），AI 顯然將有能力在未來接管一切。實際上，實現大部分工作和任務的自動化可能並不需要那麼長時間，因為只要實現以下幾點的某種組合就足夠了：獲取電力、在物理世界中執行行動、擺脫或邊緣化人類。而一旦達到關鍵能力水平，AI 必須迅速行動，因為存在著代表未來競爭對手的其他 AI 專案。

一個老調重彈且更糟的論點

Ball 論點的核心——即世界過於複雜且混亂，任何智慧都無法控制——並非新觀點。Robin Hanson 在 2008 年與 Yudkowsky 的 Foom 辯論中也提出過類似觀點：創新過於分散在眾多參與者中，沒有單一 AI 能快到超越所有競爭對手並統治世界。但 Hanson 更準確地理解到，這是一個關於 AI 崛起（takeoff）速度和分佈的爭論，而非反對生存風險的論點。Ball 採用了 Hanson 的立場，並將其誤用為對 AI 生存風險的徹底否定。

• ^(^)「多個 AI 與監控者」的防禦相當薄弱：未對齊的 AI 可以互相合作；監控可以被規避，因為需要監控的東西實在太多；為我們進行監控的 AI 本身可能被破解，或者可能與它本應監視的系統合作；此外，AI 還可以透過隱寫術（steganography）等方法隱藏其推理過程。

參與討論