newsence

專家發出警報:ChatGPT Health 未能識別醫療緊急狀況,情況極度危險

Hacker News·大約 1 個月前

發表於《自然醫學》期刊的研究顯示,ChatGPT Health 在超過一半的危急病例中未能建議緊急就醫,且針對自殺傾向的安全防護機制表現不一。專家警告這些疏失造成了虛假的安全性錯覺,可能導致不必要的傷害甚至死亡。

背景

近期發表於《自然醫學》期刊的一項研究指出,OpenAI 推出的 ChatGPT Health 功能在面對醫療緊急狀況時表現堪憂,超過半數的危急案例未能建議患者立即就醫。這項針對 60 個模擬臨床情境的測試顯示,該系統在識別呼吸衰竭或自殺傾向等高風險症狀時存在嚴重漏洞,引發醫學專家對 AI 誤導可能導致不必要傷亡的強烈擔憂。

社群觀點

Hacker News 的討論呈現出明顯的兩極化趨勢。部分參與者對 AI 進入醫療領域的草率感到震驚,認為在後果涉及人命的空間裡,將表現不穩定的技術強行植入是非常不負責任的行為。有評論指出,AI 缺乏人類醫師的希波克拉底誓詞約束,且容易受到開發者或保險公司利益的操縱,例如為了降低成本而傾向於淡化病情。此外,系統的穩定性也遭到質疑,研究中提到僅僅加入正常的化驗結果,就可能導致原本存在的自殺防治警示消失,這種不可預測的失效模式被認為比完全沒有防護機制更加危險。

然而,另一派觀點則試圖將 AI 的表現與現實中的醫療體系進行對比。支持者認為,人類醫師同樣會犯錯,且醫療錯誤本就是全球主要的死因之一。他們指出,許多患者轉向 AI 是因為現實中的醫療服務過於昂貴、排隊時間長,或是醫師在診斷時容易產生偏見與忽視。有網友分享自身經驗,提到 ChatGPT 雖然曾幫助他解決小問題,卻也曾誤導他對嚴重病症的判斷,甚至因為他帶著 AI 的錯誤推論去諮詢醫師,反而干擾了醫師的專業診斷。這引發了關於「確認偏誤」的討論,即患者提供的資訊會引導醫師的思考路徑,若資訊源頭出錯,後果將不堪設想。

社群中也對研究方法論展開了辯論。有意見認為,單純讓醫師審核 AI 對模擬情境的反應並不夠客觀,理想的測試應是雙盲實驗,讓醫師在不知道來源的情況下同時評估 AI 與其他人類醫師的診斷結果。此外,關於 AI 的定位,多數人達成了一種共識:目前的 AI 應被視為「博學但不可靠的朋友」或輔助工具,而非專業替代品。討論者強調,醫療領域不應適用科技業「快速行動、打破陳規」的思維,任何推向大眾的醫療 AI 都必須經過嚴格的臨床試驗與監管審核,以確保其安全性不低於現有的醫療標準。

延伸閱讀

  • Live Insurance News 報導:關於保險公司使用 AI 演算法拒絕醫療理賠的爭議。
  • Rest of World 報導:探討中國病患因對人類醫師失去信任而轉向 AI 聊天機器人尋求慰藉與建議的現象。
https://www.theguardian.com/technology/2026/feb/26/chatgpt-health-fails-recognise-medical-emergencies