壓倒性超級智能

關於「什麼才算 AGI」或「什麼才算超級人工智慧（superintelligence）」有很多爭論。

有些人可能認為這些爭論是在「移動球門」。有些人使用「超級人工智慧」是指「壓倒性地比人類聰明」。因此，如果你用它來指代「在某些編程任務上表現極其出色，但仍無法真正成功泛化或保持專注」的東西，他們可能會覺得這是在稀釋這個詞的含義。

我認為實際上有很多不同的概念需要被討論。而現在，人們想討論的大多數 AI 都有點通用、有點超級智慧，且有點對齊。

如果你有一個想要捍衛的特定概念，我認為最好直接給它一個人們不想在日常對話中使用的笨重名稱 [1]，而不是逆著熵增去捍衛一個可能被定義為其他含義的簡單術語。

先前 OpenPhil 曾使用「變革性 AI」（Transformative AI）來指代「強大到足以以某種方式徹底改變社會的 AI」。我認為這是一個有用的術語。但這並不完全是《如果有人造出它》（If Anyone Builds It）所警告的對象。

我最直接擔心的 AI 類型是「與人類相比具有壓倒性超人能力的 AI」。（以及那些可能迅速自我引導成為壓倒性超人的 AI）。

我最近將其稱為「壓倒性超級人工智慧」（Overwhelming Superintelligence）。

壓倒性超級人工智慧之所以可怕，一方面是因為它有能力在策略上勝過人類，另一方面是因為它所想要的與人類所想要的之間任何細微的缺陷或不相容，都會被推向極端。

我認為，如果有人在沒有達成相當精確的對齊目標的情況下造出壓倒性超級人工智慧，每個人可能都會死。（即便沒有，未來也可能非常糟糕）。

附錄：大量的「謹慎適度超級人工智慧」

我另外擔心的是「我們大規模運行的、受謹慎控制的適度超級人工智慧，雖然單個實體不具威脅，但我們運行了大量此類 AI，並給予它們很大的活動空間」。

這具有威脅性，部分原因在於它們在某個時間點可能會催生出壓倒性超級人工智慧，但也因為與一個稍微聰明一點的物種共享地球，似乎仍不是什麼好兆頭。（參見人類、尼安德塔人、黑猩猩）。它們不需要做任何直接具威脅性的事情，只需持續保持非常有用，同時微妙地引導事物，使它們在未來獲得更多權力。

^我其實覺得「AI不殺死所有人主義」（AIdon'tkilleveryoneism）挺不錯的。