AI 公司正明確地試圖開發比人類更聰明的 AI，儘管有明顯跡象顯示這可能導致人類滅絕。如果人類史上最大的計畫竟是一場摧毀我們自己的全力競賽，那將是既悲慘又諷刺的。但我們真的能停止開發越來越強大的 AI 嗎？還是我們只能試著「引導」它並祈禱最好的結果？

氣候變遷和其他社會失靈讓越來越多的人意識到，世界並非我們通常被教導要相信的那樣感性且有序。世界一團糟，各國無法合作，也沒有人負責確保我們不做瘋狂的事——比如開發極有可能殺死我們所有人的技術。而看起來，這正是我們打算做的事。

那麼，這是否意味著我們應該放棄對 AI 發展進行理性的管理？祈禱最好的結果，為最壞的情況做打算……好吧，不是「最壞」的情況，而是……一個（如果我們夠幸運的話）至少有「部分」人能倖存的劇本……也許是那些住在正確國家的人、持有 AI 公司股份的人、擁有避難所的人……

我不打算那樣做。我不會那樣做。我不在乎勝算看起來有多渺茫，我打算戰鬥到底。因為我深信，我的事業是正義的，真理站在我這一邊。這意味著我們可以贏。

當我說「真理站在我這一邊」時，我並不是說我們一定會失去對超人類 AI 的控制。我的意思是：存在著巨大的風險，而且只要有任何非慘痛的手段可以避免它，這個風險就不值得承擔。

而且確實有手段！我們可以銷毀先進的 AI 晶片以及用於生產它們的工廠。 擴大 AI 規模是一項龐大的工程。它依賴於集中的供應鏈、前所未有的投資和政府的支持。我們可以減少可用於 AI 的運算量，而不是激進地擴大它。世界各國政府可以共同努力，核實並執行這樣的協議。

我們曾對核武器這樣做過。雖然核能力仍在逐漸擴散，但這裡的區別在於：超人工智慧（superintelligence）尚未存在，因此可能有更強大的政治意願來防止它被開發出來。想像一下，如果北韓試圖製造的是「第一枚」核武器，而不僅僅是「它的第一枚」核武器，美國會如何反應——我不認為那會發生。

我不知道這是否是最好的計畫。但我還沒聽過更好的。而且時間似乎真的不多了。我們不知道 AI 的進步速度會有多快，但指望它在我們達到真正的 AI 之前就停滯不前是不合理的。把每個人的生命都賭在這樣的預測上是不合理的。再次強調，不確定性才是這裡真正具有壓倒性的論據。

許多與我交談的人認為這個提議很激進或不切實際，但如果你相信風險是真實的，且看不出更好的替代方案，這實際上是常識。當然，不能保證我們一定能實現它——世界確實有點亂。但我認為這裡的障礙是政治性的，而非技術性的。

Evitable（可避免）

因此，我正在創立一個組織來幫助我們做明智的事。Evitable 的使命是告知並組織公眾去面對 AI 帶來的社會規模風險，並終結這場開發超人工智慧的魯莽競賽。

民意調查顯示，大多數人不想要超人工智慧。但我認為人們還沒有意識到情況有多糟糕。或者他們（同樣地）覺得自己無能為力。但當你所關心的一切都受到威脅時，你不會放棄，你會戰鬥去保護它。

如果我們能讓人們理解情況有多麼嚴峻，我認為戰鬥就贏了一半。另一半則是向他們展示——至少目前——他們仍然擁有力量。

你不需要相信超人工智慧是真實存在的威脅才能支持這項使命。你只需要相信，各國不應該傾盡全力支持 AI 公司開發它。

你不需要相信超人工智慧是滅絕風險。你只需要相信，現在開發它對人類來說並非正確的選擇。

但我也認為，越來越多的人會意識到超人工智慧帶來的滅絕風險是真實且緊迫的。此外還有其他風險：全面失業、極端且前所未有的權力集中、我們所知的文化與人際關係的終結。這一切都處於危險之中。

隨著越來越多的人意識到我們的處境，反對停止 AI 的唯一論據將是：「這是不可避免的」。事實並非如此。

立即訂閱