
刪除資料庫的不是 AI,而是你自己
我認為將刪除生產環境資料庫等災難性錯誤歸咎於 AI 代理是在推卸責任,這凸顯了糟糕的工程實踐和缺乏人為監督才是真正的根本原因。
背景
近期社群媒體上流傳一段影片,一名開發者聲稱 Cursor 與 Claude 的 AI 代理程式誤刪了公司的生產環境資料庫,並試圖透過對話讓 AI 「認罪」。這起事件引發了關於 AI 工具責任歸屬的廣泛討論,原文作者認為這並非 AI 的過錯,而是開發流程缺乏問責制與權限控管,將 AI 視為全知全能的代理人,卻忽視了其本質上仍是機率性的生成工具。
社群觀點
Hacker News 的討論呈現出兩極化的觀點,但多數資深開發者傾向於將此視為傳統工程問題的延伸。部分留言者將 AI 比喻為電鋸,認為工具本身具有風險,若使用者在沒有防護措施的情況下操作而受傷,不應歸咎於工具。這種觀點認為,從過去的「駭客入侵」到現在的「AI 誤刪」,問題的核心始終如一:系統設計者是否提供了過高的權限。如果 AI 代理程式沒有刪除權限,或者被限制在沙盒環境中,這類災難根本不會發生。因此,這本質上是人類決策的結果,而非 AI 的自主行為。
然而,另一派意見則批評這種「檢討使用者」的論點過於簡化。有網友指出,AI 廠商在行銷時往往將產品包裝成具備「思考」與「推理」能力的智慧體,誘導使用者放鬆戒心。當人們被告知這是一個可以替代工程師的工具時,自然會期待它具備基本的判斷力。如果 AI 隨機執行了毀滅性指令,這就像是在命令列介面接上了一個隨機數產生器,其風險雖然顯而易見,但廠商的過度承諾確實誤導了技術水平較低的開發者。
討論中也觸及了自動化與確定性的矛盾。有觀點強調,部署系統應該是確定性的,而基於大型語言模型的系統本質上是非確定性的,將兩者直接掛鉤而不加人工審核,無異於一場豪賭。更有留言者幽默地將此比喻為在桌上遊戲中擲出大失敗,導致角色意外毀掉自己的裝備。社群達成的一個重要共識是:無論工具多麼先進,開發者都必須閱讀並確認 AI 生成的每一條指令,並建立嚴格的權限控管機制,例如即時授權或人工升級審核,以確保非確定性的工具不會對生產環境造成不可逆的破壞。
最後,有留言者深入分析了該案例背後的基礎設施問題。他指出,真正的問題不在於 AI 做了什麼,而在於該公司的雲端服務平台(如 Railway)缺乏足夠的防護欄與備份機制。如果一個動作就能導致資料永久遺失且無法復原,那麼無論執行者是 AI、實習生還是資深工程師,該系統架構本身就存在嚴重的安全隱患。這起事件不應僅被視為 AI 的失敗,更應被視為對現代開發流程中「快速行動、打破常規」文化的一次警示。
相關文章