培育代理型人工智慧：跨越幼兒期的成長挑戰

幼兒的父母從嬰兒期到成年期，對發展里程碑都充滿了恐懼。嬰兒學會說話或走路所需的月數，通常被視為健康基準，或是判斷是否需要進一步檢查以正確診斷潛在健康狀況的指標。父母會為孩子邁出的第一步感到欣喜，隨後便會意識到，當孩子能快速在戶外行走，而不是在室內安全區域緩慢爬行時，一切都發生了巨大的變化。突然之間，包括兒童安全防護在內的安全性考量，需要完全不同的視角和方法。

生成式 AI 在 2025 年 12 月至 2026 年 1 月間進入了「幼兒期」，這歸功於多家供應商推出的無程式碼工具，以及在 GitHub 上發布的開源個人代理程式 OpenClaw。這項生成式 AI 技術不再在地毯上爬行，而是開始衝刺，而極少數的治理原則在運作上做好了準備。

問責挑戰：不是他們，而是你

直到現在，治理一直集中在模型輸出的風險上，在做出重大決策（如貸款審批或工作申請）之前，仍由人類參與其中。模型行為（包括漂移、對齊、數據外洩和中毒）是關注的焦點。步調是由人類以聊天機器人格式向模型發出提示，並在機器與人之間進行大量的往返互動來設定的。

如今，隨著自主代理程式在複雜的工作流程中運作，應用 AI 的願景和效益要求顯著減少人類的參與。其核心在於透過自動化具有明確架構和決策規則的手動任務，以機器的速度經營業務。從責任的角度來看，目標是讓機器操作工作流程與人類操作工作流程之間的企業或業務風險不增加。CX Today 簡明扼要地總結了這種情況：「AI 負責工作，人類承擔風險。」加州州法（AB 316）於 2026 年 1 月 1 日生效，取消了「是 AI 做的；我沒有批准」這種藉口。這與育兒相似，當孩子的行為對更大的社群產生負面影響時，成年人需承擔責任。

挑戰在於，如果不在整個工作流程中內建程式碼，以執行與不同風險和責任等級相符的運作治理，自主 AI 代理程式的優勢將被抵消。過去，治理是靜態的，並與聊天機器人典型的互動速度保持一致。然而，自主 AI 的設計初衷是讓人類退出許多決策，這可能會影響治理。

考慮權限問題

就像把一個遠端控制艾布蘭戰車或武裝無人機的電動遊樂器交給三歲小孩一樣，讓一個機率系統在沒有即時護欄的情況下運作，並能更改關鍵企業數據，會帶來重大風險。例如，跨多個企業系統整合並串聯行動的代理程式，其權限可能會超出單個授權用戶的範疇。為了成功推進，治理必須從委員會制定的政策，轉向從一開始就內建於工作流程中的運作程式碼。

一個關於幼兒對待玩具行為的幽默梗圖是這樣開始的：列出所有理由說明為什麼你擁有的任何玩具都是我的，最後以一個壞掉的玩具絕對是你的作為結束。例如，OpenClaw 提供了更接近與人類助手合作的用戶體驗；但隨著安全專家意識到缺乏經驗的用戶很容易因使用它而受到侵害，興奮感隨之轉變。

數十年來，企業 IT 一直與「影子 IT」共存，且技術團隊必須接手並清理那些非其架構或安裝的資產，這就像幼兒歸還壞掉的玩具一樣。對於自主代理程式，風險更大：持久的服務帳戶憑證、長效的 API 令牌，以及對核心文件系統進行決策的權限。為了應對這一挑戰，必須預先撥配適當的 IT 預算和人力，以維持對成千上萬個由員工或部門創建的代理程式進行集中發現、監督和補救。

制定退役計劃

最近，一位熟人提到，她透過識別並終止一個「殭屍專案」（一個在 GPU 雲端實例上運行的被遺忘或失敗的 AI 試點專案），為客戶節省了數十萬美元。企業內部可能有成千上萬個代理程式面臨成為「殭屍艦隊」的風險。今天，許多高管鼓勵員工使用 AI——否則就會落伍——而員工被告知要創建自己的 AI 優先工作流程或 AI 助手。憑藉 OpenClaw 之類的實用性以及由上而下的指令，可以預見，隨員工一起進入辦公室的「自建代理程式」數量將會爆炸式增長。由於 AI 代理程式是屬於公司財產（IP）定義下的程式，當員工調換部門或離職時，這些代理程式可能會變成孤兒。需要有主動的政策和治理來除役並撤銷任何與特定員工 ID 和權限連結的代理程式。

財務優化是起步時的治理

雖然對某些高管來說，自主 AI 聽起來像是透過限制人力資本來提高營運利潤的一種方式，但許多人發現，以取代人力為出發點的投資報酬率（ROI）是錯誤的角度。在企業中增加 AI 功能並不等同於購買一個具有可預測的每小時實例或每席位定價的新軟體工具。2025 年 12 月由 Data Robot 贊助的 IDC 調查顯示，96% 部署生成式 AI 的組織和 92% 實施代理型 AI 的組織報告成本高於或遠高於預期。

該調查將治理與 ROI 的概念分開，但隨著 AI 系統在大型企業中擴展，財務和責任治理應從一開始就架構在工作流程中。企業級治理的一部分源於預測並遵守分配的預算。與具有支援和維護費用的每席位成本軟體財務模型不同，AI 的使用是按量計費的，且使用成本會隨著工作流程在企業中的擴展而增加：用戶越多，令牌或計算時間就越多，帳單也就越高。把它想像成一個未結清的帳單，或者是幼兒電子遊戲設備上解鎖的線上零售商數位購物車按鈕。

雲端財務管理（Cloud FinOps）是確定性的，但生成式 AI 以及建立在生成式 AI 之上的代理型 AI 系統是機率性的。一些 AI 優先的創始人意識到，單個代理程式的令牌成本在單次對話中可能高達 100,000 美元。如果沒有從一開始就建立護欄，串聯那些長時間在無人監督下運行的複雜自主代理程式，很容易就會超出雇用一名初級開發人員的預算。

保持人類參與依然至關重要

自主代理型 AI 的前景在於加速業務營運、產品推出、客戶體驗和客戶留存。在這些關鍵功能中轉向機器速度的決策，而沒有人類參與其中或進行監督，將顯著改變治理格局。雖然關於主動權限、發現、審計、補救和財務運作/優化的許多原則是相同的，但執行方式必須轉變，以跟上自主代理型 AI 的步伐。

此內容由 Intel 製作。並非由《麻省理工科技評論》編輯人員撰寫。