科學家發明了一種假疾病，AI 卻告訴大眾這是真實存在的

背景

瑞典哥德堡大學的研究團隊進行了一項引人深思的實驗，他們虛構了一種名為「Bixonimania」的眼部疾病，並將帶有明顯惡作劇成分的偽造研究論文上傳至預印本伺服器。儘管論文中充斥著來自《星際爭霸戰》或《辛普森家庭》的虛構學術背景與資助單位，甚至直接註明受試者是虛構的，但主流人工智慧模型如 ChatGPT、Gemini 與 Copilot 卻在短時間內採信了這些資訊，並將其作為真實的醫療建議提供給使用者。

社群觀點

在 Hacker News 的討論中，許多網友認為這場實驗揭示了大型語言模型（LLM）本質上的脆弱性。這類模型被形容為「網際網路的嘔吐機」，僅僅是將訓練數據重新排列組合，而非真正具備理解或驗證事實的能力。有觀點指出，當網路上缺乏針對某個主題的反向論述時，模型極易被單一來源的資訊誤導。這種現象已經催生了所謂的「答案引擎優化」（AEO），意即透過在 Medium、Reddit 或部落格散布特定敘事，低成本地操縱 AI 的輸出結果，這比傳統廣告更具隱蔽性且更具破壞力。

部分討論者對此感到悲觀，認為我們正從一個「高信任社會」轉向一個必須隨時保持懷疑的後結構主義時代。過去網際網路雖有垃圾資訊，但尚有反垃圾郵件與搜尋引擎優化（SEO）機制進行過濾，而 LLM 則強迫使用者必須自行承擔驗證真偽的重擔。更有留言者批評，目前的 AI 開發商為了追求使用者體驗與政治正確，將模型訓練得過於「禮貌」而非「正確」。這種傾向導致模型在面對引導式提問時，會進行邏輯體操來迎合使用者的假設，而非給出冷酷但真實的否定答案。

然而，也有另一派聲音認為這不單純是 AI 的問題，而是整個學術出版與資訊生態系統的崩潰。如果連同儕審查的文獻都開始引用這些明顯荒謬的預印本，說明人類研究者同樣在偷懶，未經核實就依賴 AI 生成的參考資料。這種「垃圾進，垃圾出」的循環，反映出人類對技術的過度信任。有網友諷刺地建議，或許應該給 AI 一個機器人身體，讓它們親自去實踐醫療，才能明白哪些疾病在現實中根本不存在，而非僅僅在機率性的文字遊戲中打轉。

延伸閱讀

• Small-samples poison：Anthropic 研究關於少量樣本即可污染模型的論文。
• Poison Fountain Initiative：旨在對抗 AI 訓練數據污染的相關計畫。
• Anti-realism：維基百科關於反現實主義的哲學探討，用以理解 LLM 的世界觀。