Agent 沒有越權，也可能做錯事：企業還缺一層執行控制

Arvind Narayanan 與 Sayash Kapoor 最近重新檢視多起 AI 代理失控事件。他們認為，這些問題不能全部歸因於「模型對齊」，也不能假設既有資安方法已經足夠。

兩位作者明確指出，代理控制仍是一個沒有解決的問題。

這個判斷對企業很實際。

現在很多公司談 AI 代理治理，第一反應仍然是權限：哪些系統可以進、哪些資料可以讀、哪些介面可以呼叫、能不能執行程式。

這些當然都要管。

但 AI 代理和一般 AI 助理不同的地方，在於它可能自己拆解任務、選擇工具、連續執行多個步驟、重試，甚至跨系統完成工作。

所以問題不只剩下：

還要問：

權限控制看得到「能不能做」，卻不一定看得到「有沒有偏離」

假設一個 AI 代理被允許讀取程式碼、查詢內部文件、呼叫系統介面、提出程式碼變更申請。

從權限角度看，這些操作都合法。

但 AI 代理可能因為錯誤推理、反覆重試或對任務理解出現偏差，把這些合法動作組合成一個不符合原本目的的結果。

這時候，權限系統未必會報警。

因為它看到的是：這個 AI 代理有權使用這些工具。

工作流程負責人真正需要知道的卻是：

這就是代理控制和單純權限管理之間最重要的差別。權限控制仍然是底層，但企業還需要看見 AI 代理的執行過程，才能判斷它何時開始偏離任務。

已有控制措施，如果沒有真正接進執行環境，仍然不會發揮作用

Narayanan 與 Kapoor 引用 OpenAI 與 METR 的後續分析指出，近期 AI 代理事件中，一些已知的控制措施並沒有被完整使用。

例如更嚴格的執行環境限制、自動審查與行為監控，本來就可能大幅降低越界行為發生的機率。

所以企業不需要先假設：

更實際的問題是：

這也提醒企業，不能把所有控制責任都默認交給模型供應商。

• 哪些限制由供應商提供？

• 哪些必須由企業自己的平台與流程補上？

這些在 AI 代理上線前就應該說清楚。

「保留人工介入」還不夠具體

很多企業最後會用一句：

方向沒有錯。但如果沒有進一步定義，就還是太抽象。

真正需要說清楚的是：

• 誰可以介入？

• 什麼情況必須介入？

• 哪些動作一定要人工覆核？

• 什麼情況要立即停止？

• 停止之後，誰負責回溯與處置？

對資訊長、資安長、AI 平台負責人與工作流程主管來說，真正需要建立的不是一句「有人監督」。

而是：

代理控制可能變成平台本身的產品能力

如果企業開始把更多工作交給 AI 代理，未來比較不同平台時，也可能不只看：

模型有多強、能接多少工具、能不能自動完成任務。

還會開始看：

• 能不能看見完整執行軌跡？

• 能不能設定停止條件？

• 異常時能不能觸發人工介入？

• 跨系統操作能不能限制？

• 出事後能不能回溯？

這些能力現在還不能說已經成為市場主要競爭軸。

但當 AI 被交付更多執行權，治理能力本身也可能逐漸變成產品採用條件。這與《Eric 通用語感規則 V3.3》裡已形成的「信任與治理，也可能成為產品能力」判斷一致。

企業真正該檢查的，是有沒有定義「偏離」

企業如果只知道：AI 代理有哪些權限。

還不夠。

還要知道：

• 這次任務允許做到哪裡？

• 哪些行為開始算異常？

• 什麼情況必須停止？

• 誰能停止？

• 出事後誰負責處置？

因為權限只告訴你：

真正的控制還要回答：

Decision Insight

作者＝InfoAI 編輯部

你不需要讀完所有 AI 新聞。你需要掌握的是：哪些變化值得關注、哪些應用值得理解、哪些風險不能忽略，以及這些訊號可能如何影響企業決策。

訂閱 InfoAI 電子報，把全球 AI 訊號，轉化為更清楚的商業判斷。

InfoAI Line 群提供最新文章發佈通知，讓你不用每天上網查看，也能快速掌握新上線的 AI 產業解讀、應用案例與知識內容。

版權聲明與授權須知

本內容由 InfoAI 擁有著作權。如有引用、轉載或任何商業用途的需求，請來信聯絡： contentpower688@gmail.com。

AI 協作與人工編輯聲明

本文由 InfoAI 編輯部進行主題判斷、內容策劃、事實查核與文字編輯，並使用 AI 工具協助資料整理與內容製作。最終觀點、內容取捨與發佈版本均由人工編輯確認。

你不需要讀完所有 AI 新聞，你需要知道的是：

有哪些變化值得注意，可能會如何影響你的產業、工作與決策。