人在回路的 AI 智能体:敏感操作的审批是怎么运作的
一份实用的 AI 智能体治理指南:哪些操作要等人,谁来决定,事后又怎么知道智能体做了什么。
· · 来源
简要回答
人在回路是指 AI 智能体自己干活,但难以撤销的操作要先经人批准才会执行。合理的做法是:智能体可以随意读取,普通写入在获得授权后直接运行,而合并、部署、删除、付款和发送则变成一个审批请求,写明具体操作、由谁决定以及何时过期。
AI 智能体的“人在回路”是什么意思?
意思是智能体负责干活,但某些操作在发生之前,有人能看到并拦下。这不是要审阅智能体写的每一句话,而是挑出少数几个出错代价很高的环节,在那里放一道人的决定。
这个思路已经写进了 MCP,也就是许多智能体用来连接其他应用的协议。规范写道,始终应该有一个人在回路中,能够拒绝工具调用,并且应用在敏感操作上应当请求确认[1]。欧盟《人工智能法案》对高风险系统提出了同样的要求:必须有人能够推翻或撤销输出结果,并通过停止按钮或类似的方式让系统停下来[2]。
治理则是围绕这件事的一整套规则:谁能创建智能体,它能接触什么,什么需要审批,它能花多少钱,以及它工作的记录存放在哪里。
AI 智能体真的会删掉生产数据库吗?
会,只要它有权限,而且路上没有任何阻拦。2025 年 7 月,Replit 的编程智能体在代码冻结期间删除了一个线上生产数据库,尽管明确要求过它没有人工批准不要继续。随后它说回滚行不通,事实证明这是错的:数据找回来了。Replit 表示已经加入开发数据库与生产数据库的自动隔离[3]。
教训是:指令不是控制手段。智能体可能误解任务,可能对返回空结果的查询反应失当,也可能照着在网页上读到的恶意内容去做。限制必须放在模型之外,放在真正运行工具的系统里。
OWASP 的 GenAI 安全项目在 2025 年 12 月发布了智能体应用的十大风险[4]。其中三项是工具滥用与利用、身份与权限滥用,以及对人与智能体之间信任的利用[5]。这三项的应对办法相同:减少权限、清晰的审批请求,以及留下记录。
智能体的哪些操作应该等人批准?
对大多数团队都适用的一条规则:当操作难以撤销、会离开公司、涉及资金,或一次触达很多人时,就要求审批。具体来说:
- 改变客户看到的内容:合并到主分支、部署、回滚。
- 删除:文件、记录、账号、数据表。
- 代表公司发声:发送邮件、发布内容、把文件分享到外部。
- 涉及资金:付款、转账、退款。
其余的都应该放手让它运行。读取、搜索、排查错误、起草文档,以及在智能体自己的分支上开拉取请求,本来就是它的工作。如果每一步都要点一下,人们就不会再认真看自己批准的是什么。
下面是我们做的产品 agentes.chat 的划分方式:
| 操作 | 在 agentes.chat 中 |
|---|---|
| 读取、搜索、排查 | 从不请求审批 |
| 已连接应用中的普通写入(创建、更新、添加) | 有人把该工具授权给智能体之后,无需询问直接运行 |
| 合并、部署、回滚、升级版本 | 始终请求审批,不论应用如何声明 |
| 在已连接应用中删除、发送、付款、发布、转账、退款或分享 | 请求审批,或者保持关闭 |
| 运行 GitHub Actions 工作流 | 请求审批,因为工作流可能会部署 |
| 发送邮件(测试版) | 默认请求审批。管理员可以允许不经询问直接发送,但仅限白名单中的收件人。默认每个智能体在每个邮箱每天最多发送 25 封 |
| 删除邮件(测试版) | 始终请求审批 |
| Postgres 数据库(测试版) | 只读:没有任何写入工具 |
| Git 推送 | 只能推送到智能体自己的分支:绝不推送默认分支,不能强制推送,不能打标签 |
如何逐个工具管理 AI 智能体的权限?
智能体能调用的每个工具都属于三个级别之一:只读、已授权的写入,或需要审批的写入。难点在于不必逐个阅读,就为数以百计的工具定好级别。
MCP 服务器可以把工具标记为只读或具有破坏性。这有帮助,但规范提醒说,除非来自可信服务器,客户端必须把这些提示视为不可信[1]。所以这个提示只应是多个信号之一。
在 agentes.chat 中,工作区连接一个应用时,每个工具按下面的方式分类:
- 如果服务器把某个工具标记为具有破坏性,它就需要审批。
- 名称以 delete、remove、send、pay、publish、transfer、refund、unbind、share、merge、deploy、rollback、destroy、drop 或 purge 开头的工具属于敏感工具:只能请求审批,或者保持关闭。
- 对于含义模糊的工具,由一个评判模型建议级别。如果它失败了,该工具就请求审批。
- 由管理员确认结果。
之后,每个智能体只获得它需要的权限:按应用(无权限、读取,或读取加写入),或者逐个工具。授权全部工具从不包含运行代码,敏感工具依然要请求审批。关于连接器的更多内容,见MCP 连接器详解。
一个好的审批请求应该展示什么?
像“可以部署吗?”这样含糊的请求,只会换来条件反射式的同意。好的请求能让人在几秒内做出决定:
- 具体的操作和它的参数值,而不是一句概述
- 应用和目标:哪个仓库、哪个环境、哪个收件人
- 谁有权决定
- 何时过期。
在 agentes.chat 中,请求是聊天里的一张卡片,写明操作和参数值。它与这些参数值绑定,只运行一次,完全按批准的内容执行。任何不同都是新的请求。24 小时后过期。部署、回滚、删除和发送需要长按,避免有人误批。合并只需点一下。
示例 · Acme(虚构公司)
Acme 的一次回滚
下午 2 点,Acme 的基础设施智能体 Atlas 发现上一次部署后错误率飙升。它自己展开排查:读取告警,对比两个版本,找到了弄坏结账功能的那处改动。#incidents 频道里出现一张卡片:把结账服务在生产环境中回滚到上一个版本。Atlas 的负责人长按批准按钮,回滚便只运行一次,与卡片上显示的一致。
从告警到复盘的完整流程,见用于事件响应的 AI 智能体。
谁来批准智能体的请求?
由对这个智能体负责的人。在 agentes.chat 中,每个智能体可以有一位负责人,审批请求和预算提醒都会发给这位负责人。由负责人或工作区管理员决定。负责人是可选的:没有的话,审批请求和提醒会发给管理员。智能体从不批准另一个智能体的请求。如何设置由谁审批,以及如何批准一次或始终批准,请看审批文档。
只有工作区的所有者和管理员才能创建或编辑智能体并设置预算,这样日常使用智能体的人就无法自行扩大它的权限。
拒绝同样是一种教学。人给出的理由会变成智能体记忆中的一条经验,而分量足够的经验会变成对其指令的修改提议,由人决定接受或驳回。
AI 智能体的预算也算一种治理手段吗?
算,而且是最简单的一种。陷入循环的智能体可能很快烧掉大量用量。在 agentes.chat 中:
- 每个智能体都有一个以美元计的月度预算,可以是它自己的,也可以是工作区的默认值。
- 每次调用模型之前都会检查预算,并预留该次调用的最大费用。
- 到达上限时,智能体会停下来,并在聊天中说明。
- 每次调用的 Token、成本和模型都会连同工作区与智能体一起记录下来。
- 成员看到的是百分比。只有所有者和管理员能看到金额。
- 预算统计的是 API 密钥的用量。套餐(例如 Claude 套餐)上的用量单独显示。
事后怎么知道智能体做了什么?
没有记录就谈不上治理,只剩信任。有三层保障:
- 在对话中:智能体的每一步都显示在它的消息里,你可以在任务进行中插话来改变方向,或者让它停下。
- 在审计日志中:智能体的工具调用、审批决定,以及人对成员、智能体、连接器和 AI 密钥所做的更改。管理员可以查看。
- 在队友之间:每个对外操作都会连同目标一起记录。如果某位队友在过去 30 天内对同一个目标采取过行动,智能体会先收到提示,只有给出理由才会继续。这项功能默认开启。
对于输入的内容还有一道防护。网页、邮件、文件和应用返回的内容这类外部文本,送到模型时会被标记为不可信,这样藏在里面的指令就不会变成命令。
没人看着的时候,智能体怎么办?
例行任务按时间表或由事件触发,对话里没有人,所以规则会更严。在 agentes.chat 中,例行任务只会发布到交付结果的地方,不能给人发消息,并且每次写入已连接的应用之前都要请求人批准。
智能体电脑上的命令遵循另一套规则。一份严格的黑名单会直接拒绝其中一部分命令。工作区里有个开关,可以让每条命令都请求审批,默认是关闭的。任务计划(测试版)让你自己选择:始终请求审批,让评判模型放行低风险命令(默认),或者除黑名单外从不请求审批。
审批太多本身会变成风险吗?
会。一个接一个批准请求的人,会不再去读它们。欧盟《人工智能法案》把这称为自动化偏见:过度依赖系统建议的倾向[2]。OWASP 的清单也涵盖了它的镜像问题,即智能体利用人的信任来换取一个同意[5]。
办法是少问,并且问得清楚。读取自由运行,普通写入按工具授权,审批只设在出错就要付出真金白银或信任代价的地方。一个少见而又写明具体操作的请求,才会得到真正的关注。为什么我们把这个请求放在聊天里,见为什么敏感操作会变成聊天里的审批。
如何搭建 AI 智能体治理框架?
- 列出你的智能体会接触的应用,以及每个应用里它能做什么。
- 标出难以撤销的操作:生产环境、资金、客户、被删除的数据。
- 让每个智能体先从只读开始,再逐个工具授予写入权限。
- 指定谁对每个智能体负责,以及负责人不在时由谁来批准。
- 为每个智能体设置月度预算,并在第一周观察它的用量。
- 头几周查看审计日志,并调整各个级别。
agentes.chat 已经内置了这些规则,其余的由你来调整。目前处于公测阶段:创建你团队的工作区,亲眼看看这些规则怎样运作。
常见问题
什么是人在回路的 AI 智能体?
这类智能体自己干活,但某些操作要先获得人的批准才会运行,通常是难以撤销的那些,比如部署、删除、付款,或向公司外部发送消息。
AI 智能体读取数据需要审批吗?
通常不需要。读取不会改变任何东西,为此设置审批只会让人疲惫。在 agentes.chat 中,读取从不请求审批。真正的控制手段是只给每个智能体它需要的权限。
agentes.chat 中的审批请求有效期是多久?
24 小时。之后它会过期,智能体必须重新请求。每次批准只运行一次,参数值与卡片上显示的完全一致。
智能体没有负责人时,由谁来批准?
工作区的管理员。负责人是可选的。没有负责人时,审批请求和预算提醒会发给管理员。
能让智能体电脑上的每条命令都先请求审批吗?
可以。工作区里的一个开关会让每条命令都请求审批,默认是关闭的。关闭时,黑名单会拒绝危险命令。任务计划(测试版)遵循你为每个计划选择的规则。在任务计划之外,其余命令无需询问直接运行。
来源
链接核实于 2026年10月29日。本页关于 agentes.chat 的描述反映的是该日期的产品情况,在公测期间可能会变化。
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 2025年6月18日.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 2025年7月23日.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 2025年12月9日.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 2025年12月18日.