紐約市AI聊天機器人因建議企業違法將被關閉

背景

紐約市新任市長 Zohran Mamdani 宣布將關閉由前任市長 Eric Adams 推出的 AI 聊天機器人。這款建構於微軟 Azure 雲端平台的工具，先前被媒體揭露會向企業主提供違法建議，例如誤導雇主可以扣留員工小費，引發了嚴重的法律與公共信任危機。

社群觀點

Hacker News 的討論首先聚焦於這起事件背後的政治與行政背景。許多留言者將矛頭指向前市長 Eric Adams，認為這款聊天機器人的失敗與其任內的治理風格息息相關。社群中不乏對 Adams 的批評，認為他過於熱衷於加密貨幣與 AI 等「科技噱頭」，卻缺乏對技術本質的理解。部分網友指出，這類計畫往往是為了展現政績而倉促上路，缺乏必要的品質保證（QA）流程。有人諷刺地提到，考量到紐約市官僚體系的複雜性，或許連負責測試的人員都不一定比 AI 更了解法律細節。

針對技術層面的討論則深入探討了大型語言模型（LLM）的本質缺陷。有觀點認為，將具有隨機性且可能產生幻覺的黑盒系統應用於法律諮詢等需要極高準確性的領域，本身就是一種錯誤。雖然有網友提出可以透過檢索增強生成（RAG）技術來改善準確度，但反對者認為，LLM 終究只是機率性的文字生成工具，即便提供了正確的參考資料，它仍可能在重新編排文字時產生邏輯錯誤或張冠李戴。這種「看似合理但內容錯誤」的特性，使得 AI 在處理高度專業且變動頻繁的政府法規時顯得力不從心。

此外，這起事件也被視為調查報導發揮作用的典範。網友指出，正是因為《The Markup》與《THE CITY》等媒體的持續追蹤，才讓新政府有充分理由砍掉這個耗資近 60 萬美元卻漏洞百出的專案。討論中也出現了對微軟雲端平台的調侃，認為微軟在政府與大型企業市場的強勢銷售能力，往往讓品質並非最優的軟體得以進入公共體系。最後，社群普遍預測，隨著 AI 泡沫逐漸冷卻，未來一兩年內將會有更多這類為了「顯得有在用 AI」而趕鴨子上架的政府專案被陸續裁撤。

延伸閱讀

• The Markup 原始報導：詳細記錄了該聊天機器人如何建議企業主違反勞動法。
• Eric Adams 的加密貨幣爭議：留言中提到前市長在卸任後立即前往杜拜推廣迷因幣的相關新聞。
• Louis Rossmann 的 YouTube 頻道：網友推薦其影片，內容深入探討了紐約市官僚體系的運作問題與法律執行現狀。
• AWS 研究論文：由 Ahmed El-Deeb 撰寫，探討 LLM 在特定任務中的侷限性。