建立代理優先的治理與安全體系

建立代理優先的治理與安全體系

MIT Technology Review·

隨著 AI 代理越來越多地與跨組織的人員協作,公司可能會在無意中開啟新的攻擊面。不安全的代理可能被操縱以訪問敏感系統和專有數據,進而增加企業風險。

隨著 AI 代理(AI agents)在各組織中日益與人類並肩工作,企業可能在無意中開啟了新的攻擊面。不安全的代理可能會被操縱以存取敏感系統和專有數據,從而增加企業風險。

在一些現代企業中,非人類身分 (NHI) 的增長速度已超過人類身分,而這一趨勢將隨著代理式 AI 的發展而爆發。因此,穩健的治理和強化的安全基礎至關重要。

根據德勤 AI 研究院(Deloitte AI Institute)的 2026 年 AI 現狀報告,近 74% 的公司計劃在兩年內部署代理式 AI。然而,僅有五分之一(21%)的公司表示擁有成熟的自主代理治理模型。高階主管最擔心的問題是數據隱私與安全(73%);法律、知識產權和監管合規(50%);緊隨其後的是治理能力與監督(46%)。

下載文章

企業甚至可能沒有意識到,他們正將環境中的代理視為擁有「王國鑰匙」的一等公民,這造成了隱約可見的盲點和潛在的暴露點。目前需要的是一個強大的控制平面(control plane),用以治理、觀察並確保 AI 代理及其工具和模型在整個企業中的運作安全。

德勤網路安全實務負責人 Andrew Rafla 表示:「控制平面是一個共享的集中層,用於管理誰可以運行哪些代理、擁有何種權限、遵循何種策略,以及使用哪些模型和工具。」

他指出:「如果沒有真正的控制平面,你就無法真正自主地擴展代理規模——你擁有的只是不受控的執行,這會帶來大量風險。如果你無法回答一個代理代表誰、使用了什麼數據、在什麼策略下做了什麼,以及你是否可以重現或停止它,那麼你就沒有一個功能完善的控制平面。」

他表示,治理必須讓這些答案變得顯而易見,而非僅僅是願景。治理是將 AI 試點轉化為生產案例的關鍵。它是讓公司從令人印象深刻的實驗轉向安全、可重複且全企業自動化的橋樑。

沒有治理,代理部署就不會「安全地失敗」(fail safely)。它們會以不可預測的方式且大規模地失敗。

下載文章。

本內容由 MIT Technology Review 的客製化內容部門 Insights 製作。其內容並非由 MIT Technology Review 的編輯團隊撰寫。本內容由人類作者、編輯、分析師和插畫家進行研究、設計與撰寫,包括調查問卷的編寫和數據收集。可能使用的 AI 工具僅限於經過嚴格人工審核的輔助製作流程。

MIT Technology Review

相關文章

其他收藏 · 0