AI 失業與 AI 滅絕往往是同一回事

我的感覺是，人們傾向於將 AI 生存風險與 AI 失業視為截然不同的問題。

有些人極度擔心人類滅絕，甚至可能對全面失業漠不關心。有些人則認為適度的 AI 失業是一個現實且令人擔憂的問題，而 AI 滅絕則被視為科幻小說。

我認為 AI 失業和 AI 滅絕風險基本上是同一個問題，而且在可能的場景中，它們會同時發生。

在非常宏觀的層面上，我認為高等 AI 導致人類滅絕的論點大致如下：

• 我們將製造出在各方面都比人類做得更好的 AI。

• 我們將把這些 AI 轉化為能獨立在世界上航行並隨心所欲行動的代理人（agents）。

• 我們無法讓這些 AI 代理人想要正確的事物。

基本問題在於，當存在擁有不同目標且能力更強的代理人時，人類獲取資源和影響力，並將其引導至人類目標的能力就會減弱。

「將權力輸給更勝任的代理人」的一種表現形式，可能是某個極其聰明的 AI 代理人蓄意根除人類。但殺死所有人並控制世界，只是「利用你的能力來控制局勢以符合自身偏好」的一個相當極端的特例。特別是，這種情況以前從未發生過，儘管新的 AI 局勢可能使其成為可能。

人類利用能力影響世界的傳統方式包括賺取薪水然後購買想要的東西、賺取投資收益、建立和利用聯盟、說服、採取政治行動等。

如果沒有出現超強大的 AI 來消滅我們，我認為我們完全有理由預期，AI 會透過這些更傳統的方法削弱我們的權力和資源，從而導致毀滅。在勞動力方面勝過我們、在作為知情資本持有者方面勝過我們、在政治策略和說服力方面超越我們，並控制話語權。

誠然，如果人類僅僅是被排除在獲取資源或影響力的就業路徑之外，這僅僅會是一場大規模的劇烈動盪，可能並不預示著滅絕。

但這裡的失業只是龐大冰山中最顯眼的一角。如果人類在就業市場上被淘汰，卻能在政治策略和說服性溝通方面表現出色，這是不合情理的。失業伴隨著全面性的權力喪失，除非權力是由掌握權力者出於善意而賦予的。也就是說，取決於 AI 是否在意賦予我們權力。

因此，失業可能發生而沒有滅絕（如果我們成功構建了以正確方式關心我們的 AI），滅絕也可能發生而沒有失業（例如，如果一個極其強大的 AI 系統決定消滅我們）。但在許多情況下，它們不僅同時發生，而且根本就是同一個問題。

詢問某人更擔心失業還是滅絕，就像詢問某人開車繫安全帶主要是為了避免身體被甩出擋風玻璃，還是為了避免死亡。

如果強大的 AI 代理人有自己的議程，那些議程將會勝出。它們可能透過一個毀滅性的步驟勝出，也可能透過兆億個微小且熟悉的方式勝出。

參與討論