指南

人在回路的 AI 智能体:敏感操作的审批是怎么运作的

一份实用的 AI 智能体治理指南:哪些操作要等人,谁来决定,事后又怎么知道智能体做了什么。

· · 来源

简要回答

人在回路是指 AI 智能体自己干活,但难以撤销的操作要先经人批准才会执行。合理的做法是:智能体可以随意读取,普通写入在获得授权后直接运行,而合并、部署、删除、付款和发送则变成一个审批请求,写明具体操作、由谁决定以及何时过期。

AI 智能体的“人在回路”是什么意思?

意思是智能体负责干活,但某些操作在发生之前,有人能看到并拦下。这不是要审阅智能体写的每一句话,而是挑出少数几个出错代价很高的环节,在那里放一道人的决定。

这个思路已经写进了 MCP,也就是许多智能体用来连接其他应用的协议。规范写道,始终应该有一个人在回路中,能够拒绝工具调用,并且应用在敏感操作上应当请求确认[1]。欧盟《人工智能法案》对高风险系统提出了同样的要求:必须有人能够推翻或撤销输出结果,并通过停止按钮或类似的方式让系统停下来[2]。

治理则是围绕这件事的一整套规则:谁能创建智能体,它能接触什么,什么需要审批,它能花多少钱,以及它工作的记录存放在哪里。

AI 智能体真的会删掉生产数据库吗?

会,只要它有权限,而且路上没有任何阻拦。2025 年 7 月,Replit 的编程智能体在代码冻结期间删除了一个线上生产数据库,尽管明确要求过它没有人工批准不要继续。随后它说回滚行不通,事实证明这是错的:数据找回来了。Replit 表示已经加入开发数据库与生产数据库的自动隔离[3]。

教训是:指令不是控制手段。智能体可能误解任务,可能对返回空结果的查询反应失当,也可能照着在网页上读到的恶意内容去做。限制必须放在模型之外,放在真正运行工具的系统里。

OWASP 的 GenAI 安全项目在 2025 年 12 月发布了智能体应用的十大风险[4]。其中三项是工具滥用与利用、身份与权限滥用,以及对人与智能体之间信任的利用[5]。这三项的应对办法相同:减少权限、清晰的审批请求,以及留下记录。

智能体的哪些操作应该等人批准?

对大多数团队都适用的一条规则:当操作难以撤销、会离开公司、涉及资金,或一次触达很多人时,就要求审批。具体来说:

  • 改变客户看到的内容:合并到主分支、部署、回滚。
  • 删除:文件、记录、账号、数据表。
  • 代表公司发声:发送邮件、发布内容、把文件分享到外部。
  • 涉及资金:付款、转账、退款。

其余的都应该放手让它运行。读取、搜索、排查错误、起草文档,以及在智能体自己的分支上开拉取请求,本来就是它的工作。如果每一步都要点一下,人们就不会再认真看自己批准的是什么。

下面是我们做的产品 agentes.chat 的划分方式:

在 agentes.chat 中,哪些操作自行运行,哪些要等人
操作在 agentes.chat 中
读取、搜索、排查从不请求审批
已连接应用中的普通写入(创建、更新、添加)有人把该工具授权给智能体之后,无需询问直接运行
合并、部署、回滚、升级版本始终请求审批,不论应用如何声明
在已连接应用中删除、发送、付款、发布、转账、退款或分享请求审批,或者保持关闭
运行 GitHub Actions 工作流请求审批,因为工作流可能会部署
发送邮件(测试版)默认请求审批。管理员可以允许不经询问直接发送,但仅限白名单中的收件人。默认每个智能体在每个邮箱每天最多发送 25 封
删除邮件(测试版)始终请求审批
Postgres 数据库(测试版)只读:没有任何写入工具
Git 推送只能推送到智能体自己的分支:绝不推送默认分支,不能强制推送,不能打标签

如何逐个工具管理 AI 智能体的权限?

智能体能调用的每个工具都属于三个级别之一:只读、已授权的写入,或需要审批的写入。难点在于不必逐个阅读,就为数以百计的工具定好级别。

MCP 服务器可以把工具标记为只读或具有破坏性。这有帮助,但规范提醒说,除非来自可信服务器,客户端必须把这些提示视为不可信[1]。所以这个提示只应是多个信号之一。

在 agentes.chat 中,工作区连接一个应用时,每个工具按下面的方式分类:

  • 如果服务器把某个工具标记为具有破坏性,它就需要审批。
  • 名称以 delete、remove、send、pay、publish、transfer、refund、unbind、share、merge、deploy、rollback、destroy、drop 或 purge 开头的工具属于敏感工具:只能请求审批,或者保持关闭。
  • 对于含义模糊的工具,由一个评判模型建议级别。如果它失败了,该工具就请求审批。
  • 由管理员确认结果。

之后,每个智能体只获得它需要的权限:按应用(无权限、读取,或读取加写入),或者逐个工具。授权全部工具从不包含运行代码,敏感工具依然要请求审批。关于连接器的更多内容,见MCP 连接器详解。

一个好的审批请求应该展示什么?

像“可以部署吗?”这样含糊的请求,只会换来条件反射式的同意。好的请求能让人在几秒内做出决定:

  • 具体的操作和它的参数值,而不是一句概述
  • 应用和目标:哪个仓库、哪个环境、哪个收件人
  • 谁有权决定
  • 何时过期。

在 agentes.chat 中,请求是聊天里的一张卡片,写明操作和参数值。它与这些参数值绑定,只运行一次,完全按批准的内容执行。任何不同都是新的请求。24 小时后过期。部署、回滚、删除和发送需要长按,避免有人误批。合并只需点一下。

示例 · Acme(虚构公司)

Acme 的一次回滚

下午 2 点,Acme 的基础设施智能体 Atlas 发现上一次部署后错误率飙升。它自己展开排查:读取告警,对比两个版本,找到了弄坏结账功能的那处改动。#incidents 频道里出现一张卡片:把结账服务在生产环境中回滚到上一个版本。Atlas 的负责人长按批准按钮,回滚便只运行一次,与卡片上显示的一致。

从告警到复盘的完整流程,见用于事件响应的 AI 智能体。

谁来批准智能体的请求?

由对这个智能体负责的人。在 agentes.chat 中,每个智能体可以有一位负责人,审批请求和预算提醒都会发给这位负责人。由负责人或工作区管理员决定。负责人是可选的:没有的话,审批请求和提醒会发给管理员。智能体从不批准另一个智能体的请求。如何设置由谁审批,以及如何批准一次或始终批准,请看审批文档。

只有工作区的所有者和管理员才能创建或编辑智能体并设置预算,这样日常使用智能体的人就无法自行扩大它的权限。

拒绝同样是一种教学。人给出的理由会变成智能体记忆中的一条经验,而分量足够的经验会变成对其指令的修改提议,由人决定接受或驳回。

AI 智能体的预算也算一种治理手段吗?

算,而且是最简单的一种。陷入循环的智能体可能很快烧掉大量用量。在 agentes.chat 中:

  • 每个智能体都有一个以美元计的月度预算,可以是它自己的,也可以是工作区的默认值。
  • 每次调用模型之前都会检查预算,并预留该次调用的最大费用。
  • 到达上限时,智能体会停下来,并在聊天中说明。
  • 每次调用的 Token、成本和模型都会连同工作区与智能体一起记录下来。
  • 成员看到的是百分比。只有所有者和管理员能看到金额。
  • 预算统计的是 API 密钥的用量。套餐(例如 Claude 套餐)上的用量单独显示。

事后怎么知道智能体做了什么?

没有记录就谈不上治理,只剩信任。有三层保障:

  • 在对话中:智能体的每一步都显示在它的消息里,你可以在任务进行中插话来改变方向,或者让它停下。
  • 在审计日志中:智能体的工具调用、审批决定,以及人对成员、智能体、连接器和 AI 密钥所做的更改。管理员可以查看。
  • 在队友之间:每个对外操作都会连同目标一起记录。如果某位队友在过去 30 天内对同一个目标采取过行动,智能体会先收到提示,只有给出理由才会继续。这项功能默认开启。

对于输入的内容还有一道防护。网页、邮件、文件和应用返回的内容这类外部文本,送到模型时会被标记为不可信,这样藏在里面的指令就不会变成命令。

没人看着的时候,智能体怎么办?

例行任务按时间表或由事件触发,对话里没有人,所以规则会更严。在 agentes.chat 中,例行任务只会发布到交付结果的地方,不能给人发消息,并且每次写入已连接的应用之前都要请求人批准。

智能体电脑上的命令遵循另一套规则。一份严格的黑名单会直接拒绝其中一部分命令。工作区里有个开关,可以让每条命令都请求审批,默认是关闭的。任务计划(测试版)让你自己选择:始终请求审批,让评判模型放行低风险命令(默认),或者除黑名单外从不请求审批。

审批太多本身会变成风险吗?

会。一个接一个批准请求的人,会不再去读它们。欧盟《人工智能法案》把这称为自动化偏见:过度依赖系统建议的倾向[2]。OWASP 的清单也涵盖了它的镜像问题,即智能体利用人的信任来换取一个同意[5]。

办法是少问,并且问得清楚。读取自由运行,普通写入按工具授权,审批只设在出错就要付出真金白银或信任代价的地方。一个少见而又写明具体操作的请求,才会得到真正的关注。为什么我们把这个请求放在聊天里,见为什么敏感操作会变成聊天里的审批。

如何搭建 AI 智能体治理框架?

  1. 列出你的智能体会接触的应用,以及每个应用里它能做什么。
  2. 标出难以撤销的操作:生产环境、资金、客户、被删除的数据。
  3. 让每个智能体先从只读开始,再逐个工具授予写入权限。
  4. 指定谁对每个智能体负责,以及负责人不在时由谁来批准。
  5. 为每个智能体设置月度预算,并在第一周观察它的用量。
  6. 头几周查看审计日志,并调整各个级别。

agentes.chat 已经内置了这些规则,其余的由你来调整。目前处于公测阶段:创建你团队的工作区,亲眼看看这些规则怎样运作。

常见问题

什么是人在回路的 AI 智能体?

这类智能体自己干活,但某些操作要先获得人的批准才会运行,通常是难以撤销的那些,比如部署、删除、付款,或向公司外部发送消息。

AI 智能体读取数据需要审批吗?

通常不需要。读取不会改变任何东西,为此设置审批只会让人疲惫。在 agentes.chat 中,读取从不请求审批。真正的控制手段是只给每个智能体它需要的权限。

agentes.chat 中的审批请求有效期是多久?

24 小时。之后它会过期,智能体必须重新请求。每次批准只运行一次,参数值与卡片上显示的完全一致。

智能体没有负责人时,由谁来批准?

工作区的管理员。负责人是可选的。没有负责人时,审批请求和预算提醒会发给管理员。

能让智能体电脑上的每条命令都先请求审批吗?

可以。工作区里的一个开关会让每条命令都请求审批,默认是关闭的。关闭时,黑名单会拒绝危险命令。任务计划(测试版)遵循你为每个计划选择的规则。在任务计划之外,其余命令无需询问直接运行。

来源

链接核实于 2026年10月29日。本页关于 agentes.chat 的描述反映的是该日期的产品情况,在公测期间可能会变化。

  1. 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 2025年6月18日.modelcontextprotocol.io/specification/2025-06-18/server/tools · 核实于 2026年10月29日
  2. 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).artificialintelligenceact.eu/article/14 · 核实于 2026年10月29日
  3. 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 2025年7月23日.fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure · 核实于 2026年10月29日
  4. 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 2025年12月9日.genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026 · 核实于 2026年10月29日
  5. 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 2025年12月18日.giskard.ai/knowledge/owasp-top-10-for-agentic-application-2026 · 核实于 2026年10月29日

今天就组建你的团队。

创建工作区,邀请成员和第一批智能体。几分钟就绪,无需技术团队。