# 人在回路的 AI 智能体：敏感操作的审批是怎么运作的

一份实用的 AI 智能体治理指南：哪些操作要等人，谁来决定，事后又怎么知道智能体做了什么。

<https://agentes.chat/zh/guides/human-in-the-loop-ai-agents> · [English](https://agentes.chat/guides/human-in-the-loop-ai-agents.md) · [Português (Brasil)](https://agentes.chat/pt/guias/governanca-de-agentes-de-ia.md) · [Español](https://agentes.chat/es/guides/human-in-the-loop-ai-agents.md) · [Français](https://agentes.chat/fr/guides/human-in-the-loop-ai-agents.md) · [Deutsch](https://agentes.chat/de/guides/human-in-the-loop-ai-agents.md) · [Italiano](https://agentes.chat/it/guides/human-in-the-loop-ai-agents.md) · [Nederlands](https://agentes.chat/nl/guides/human-in-the-loop-ai-agents.md) · [日本語](https://agentes.chat/ja/guides/human-in-the-loop-ai-agents.md) · [한국어](https://agentes.chat/ko/guides/human-in-the-loop-ai-agents.md) · [Bahasa Indonesia](https://agentes.chat/id/guides/human-in-the-loop-ai-agents.md) · [Türkçe](https://agentes.chat/tr/guides/human-in-the-loop-ai-agents.md) · [Polski](https://agentes.chat/pl/guides/human-in-the-loop-ai-agents.md) · [Русский](https://agentes.chat/ru/guides/human-in-the-loop-ai-agents.md)

更新于 2026年11月14日 · 核实于 2026年10月29日

**简要回答:** 人在回路是指 AI 智能体自己干活，但难以撤销的操作要先经人批准才会执行。合理的做法是：智能体可以随意读取，普通写入在获得授权后直接运行，而合并、部署、删除、付款和发送则变成一个审批请求，写明具体操作、由谁决定以及何时过期。

## AI 智能体的“人在回路”是什么意思？

意思是智能体负责干活，但某些操作在发生之前，有人能看到并拦下。这不是要审阅智能体写的每一句话，而是挑出少数几个出错代价很高的环节，在那里放一道人的决定。

这个思路已经写进了 MCP，也就是许多智能体用来连接其他应用的协议。规范写道，始终应该有一个人在回路中，能够拒绝工具调用，并且应用在敏感操作上应当请求确认\[1\]。欧盟《人工智能法案》对高风险系统提出了同样的要求：必须有人能够推翻或撤销输出结果，并通过停止按钮或类似的方式让系统停下来\[2\]。

治理则是围绕这件事的一整套规则：谁能创建智能体，它能接触什么，什么需要审批，它能花多少钱，以及它工作的记录存放在哪里。

## AI 智能体真的会删掉生产数据库吗？

会，只要它有权限，而且路上没有任何阻拦。2025 年 7 月，Replit 的编程智能体在代码冻结期间删除了一个线上生产数据库，尽管明确要求过它没有人工批准不要继续。随后它说回滚行不通，事实证明这是错的：数据找回来了。Replit 表示已经加入开发数据库与生产数据库的自动隔离\[3\]。

教训是：指令不是控制手段。智能体可能误解任务，可能对返回空结果的查询反应失当，也可能照着在网页上读到的恶意内容去做。限制必须放在模型之外，放在真正运行工具的系统里。

OWASP 的 GenAI 安全项目在 2025 年 12 月发布了智能体应用的十大风险\[4\]。其中三项是工具滥用与利用、身份与权限滥用，以及对人与智能体之间信任的利用\[5\]。这三项的应对办法相同：减少权限、清晰的审批请求，以及留下记录。

## 智能体的哪些操作应该等人批准？

对大多数团队都适用的一条规则：当操作难以撤销、会离开公司、涉及资金，或一次触达很多人时，就要求审批。具体来说：

* **改变客户看到的内容：**合并到主分支、部署、回滚。
* **删除：**文件、记录、账号、数据表。
* **代表公司发声：**发送邮件、发布内容、把文件分享到外部。
* **涉及资金：**付款、转账、退款。

其余的都应该放手让它运行。读取、搜索、排查错误、起草文档，以及在智能体自己的分支上开拉取请求，本来就是它的工作。如果每一步都要点一下，人们就不会再认真看自己批准的是什么。

下面是我们做的产品 agentes.chat 的划分方式：

| 操作 | 在 agentes.chat 中 |
| --- | --- |
| 读取、搜索、排查 | 从不请求审批 |
| 已连接应用中的普通写入（创建、更新、添加） | 有人把该工具授权给智能体之后，无需询问直接运行 |
| 合并、部署、回滚、升级版本 | 始终请求审批，不论应用如何声明 |
| 在已连接应用中删除、发送、付款、发布、转账、退款或分享 | 请求审批，或者保持关闭 |
| 运行 GitHub Actions 工作流 | 请求审批，因为工作流可能会部署 |
| 发送邮件（测试版） | 默认请求审批。管理员可以允许不经询问直接发送，但仅限白名单中的收件人。默认每个智能体在每个邮箱每天最多发送 25 封 |
| 删除邮件（测试版） | 始终请求审批 |
| Postgres 数据库（测试版） | 只读：没有任何写入工具 |
| Git 推送 | 只能推送到智能体自己的分支：绝不推送默认分支，不能强制推送，不能打标签 |

在 agentes.chat 中，哪些操作自行运行，哪些要等人

## 如何逐个工具管理 AI 智能体的权限？

智能体能调用的每个工具都属于三个级别之一：只读、已授权的写入，或需要审批的写入。难点在于不必逐个阅读，就为数以百计的工具定好级别。

MCP 服务器可以把工具标记为只读或具有破坏性。这有帮助，但规范提醒说，除非来自可信服务器，客户端必须把这些提示视为不可信\[1\]。所以这个提示只应是多个信号之一。

在 agentes.chat 中，工作区连接一个应用时，每个工具按下面的方式分类：

* 如果服务器把某个工具标记为具有破坏性，它就需要审批。
* 名称以 delete、remove、send、pay、publish、transfer、refund、unbind、share、merge、deploy、rollback、destroy、drop 或 purge 开头的工具属于敏感工具：只能请求审批，或者保持关闭。
* 对于含义模糊的工具，由一个评判模型建议级别。如果它失败了，该工具就请求审批。
* 由管理员确认结果。

之后，每个智能体只获得它需要的权限：按应用（无权限、读取，或读取加写入），或者逐个工具。授权全部工具从不包含运行代码，敏感工具依然要请求审批。关于连接器的更多内容，见[MCP 连接器详解](https://agentes.chat/zh/guides/mcp-connectors)。

## 一个好的审批请求应该展示什么？

像“可以部署吗？”这样含糊的请求，只会换来条件反射式的同意。好的请求能让人在几秒内做出决定：

* 具体的操作和它的参数值，而不是一句概述
* 应用和目标：哪个仓库、哪个环境、哪个收件人
* 谁有权决定
* 何时过期。

在 agentes.chat 中，请求是聊天里的一张卡片，写明操作和参数值。它与这些参数值绑定，只运行一次，完全按批准的内容执行。任何不同都是新的请求。24 小时后过期。部署、回滚、删除和发送需要长按，避免有人误批。合并只需点一下。

**示例 · Acme（虚构公司）**

### Acme 的一次回滚

下午 2 点，Acme 的基础设施智能体 Atlas 发现上一次部署后错误率飙升。它自己展开排查：读取告警，对比两个版本，找到了弄坏结账功能的那处改动。#incidents 频道里出现一张卡片：把结账服务在生产环境中回滚到上一个版本。Atlas 的负责人长按批准按钮，回滚便只运行一次，与卡片上显示的一致。

从告警到复盘的完整流程，见[用于事件响应的 AI 智能体](https://agentes.chat/zh/use-cases/incident-response)。

## 谁来批准智能体的请求？

由对这个智能体负责的人。在 agentes.chat 中，每个智能体可以有一位负责人，审批请求和预算提醒都会发给这位负责人。由负责人或工作区管理员决定。负责人是可选的：没有的话，审批请求和提醒会发给管理员。智能体从不批准另一个智能体的请求。如何设置由谁审批，以及如何批准一次或始终批准，请看[审批文档](https://agentes.chat/zh/docs/approvals)。

只有工作区的所有者和管理员才能创建或编辑智能体并设置预算，这样日常使用智能体的人就无法自行扩大它的权限。

拒绝同样是一种教学。人给出的理由会变成智能体记忆中的一条经验，而分量足够的经验会变成对其指令的修改提议，由人决定接受或驳回。

## AI 智能体的预算也算一种治理手段吗？

算，而且是最简单的一种。陷入循环的智能体可能很快烧掉大量用量。在 agentes.chat 中：

* 每个智能体都有一个以美元计的月度预算，可以是它自己的，也可以是工作区的默认值。
* 每次调用模型之前都会检查预算，并预留该次调用的最大费用。
* 到达上限时，智能体会停下来，并在聊天中说明。
* 每次调用的 Token、成本和模型都会连同工作区与智能体一起记录下来。
* 成员看到的是百分比。只有所有者和管理员能看到金额。
* 预算统计的是 API 密钥的用量。套餐（例如 Claude 套餐）上的用量单独显示。

## 事后怎么知道智能体做了什么？

没有记录就谈不上治理，只剩信任。有三层保障：

* **在对话中：**智能体的每一步都显示在它的消息里，你可以在任务进行中插话来改变方向，或者让它停下。
* **在审计日志中：**智能体的工具调用、审批决定，以及人对成员、智能体、连接器和 AI 密钥所做的更改。管理员可以查看。
* **在队友之间：**每个对外操作都会连同目标一起记录。如果某位队友在过去 30 天内对同一个目标采取过行动，智能体会先收到提示，只有给出理由才会继续。这项功能默认开启。

对于输入的内容还有一道防护。网页、邮件、文件和应用返回的内容这类外部文本，送到模型时会被标记为不可信，这样藏在里面的指令就不会变成命令。

## 没人看着的时候，智能体怎么办？

例行任务按时间表或由事件触发，对话里没有人，所以规则会更严。在 agentes.chat 中，例行任务只会发布到交付结果的地方，不能给人发消息，并且每次写入已连接的应用之前都要请求人批准。

智能体电脑上的命令遵循另一套规则。一份严格的黑名单会直接拒绝其中一部分命令。工作区里有个开关，可以让每条命令都请求审批，默认是关闭的。任务计划（测试版）让你自己选择：始终请求审批，让评判模型放行低风险命令（默认），或者除黑名单外从不请求审批。

## 审批太多本身会变成风险吗？

会。一个接一个批准请求的人，会不再去读它们。欧盟《人工智能法案》把这称为自动化偏见：过度依赖系统建议的倾向\[2\]。OWASP 的清单也涵盖了它的镜像问题，即智能体利用人的信任来换取一个同意\[5\]。

办法是少问，并且问得清楚。读取自由运行，普通写入按工具授权，审批只设在出错就要付出真金白银或信任代价的地方。一个少见而又写明具体操作的请求，才会得到真正的关注。为什么我们把这个请求放在聊天里，见[为什么敏感操作会变成聊天里的审批](https://agentes.chat/zh/news/approvals-in-the-chat)。

## 如何搭建 AI 智能体治理框架？

1. 列出你的智能体会接触的应用，以及每个应用里它能做什么。
2. 标出难以撤销的操作：生产环境、资金、客户、被删除的数据。
3. 让每个智能体先从只读开始，再逐个工具授予写入权限。
4. 指定谁对每个智能体负责，以及负责人不在时由谁来批准。
5. 为每个智能体设置月度预算，并在第一周观察它的用量。
6. 头几周查看审计日志，并调整各个级别。

agentes.chat 已经内置了这些规则，其余的由你来调整。目前处于公测阶段：[创建你团队的工作区](https://app.agentes.chat/signup)，亲眼看看这些规则怎样运作。

## 常见问题

### 什么是人在回路的 AI 智能体？

这类智能体自己干活，但某些操作要先获得人的批准才会运行，通常是难以撤销的那些，比如部署、删除、付款，或向公司外部发送消息。

### AI 智能体读取数据需要审批吗？

通常不需要。读取不会改变任何东西，为此设置审批只会让人疲惫。在 agentes.chat 中，读取从不请求审批。真正的控制手段是只给每个智能体它需要的权限。

### agentes.chat 中的审批请求有效期是多久？

24 小时。之后它会过期，智能体必须重新请求。每次批准只运行一次，参数值与卡片上显示的完全一致。

### 智能体没有负责人时，由谁来批准？

工作区的管理员。负责人是可选的。没有负责人时，审批请求和预算提醒会发给管理员。

### 能让智能体电脑上的每条命令都先请求审批吗？

可以。工作区里的一个开关会让每条命令都请求审批，默认是关闭的。关闭时，黑名单会拒绝危险命令。任务计划（测试版）遵循你为每个计划选择的规则。在任务计划之外，其余命令无需询问直接运行。

## 来源

链接核实于 2026年10月29日。本页关于 agentes.chat 的描述反映的是该日期的产品情况，在公测期间可能会变化。

1. Model Context Protocol, [Tools (Model Context Protocol specification, 2025-06-18)](https://modelcontextprotocol.io/specification/2025-06-18/server/tools), 2025年6月18日. modelcontextprotocol.io/specification/2025-06-18/server/tools · 核实于 2026年10月29日
2. Future of Life Institute, EU AI Act Explorer, [Article 14: Human Oversight (EU AI Act)](https://artificialintelligenceact.eu/article/14/). artificialintelligenceact.eu/article/14 · 核实于 2026年10月29日
3. Fortune, [An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part'](https://fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure), 2025年7月23日. fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure · 核实于 2026年10月29日
4. OWASP GenAI Security Project, [OWASP Top 10 for Agentic Applications for 2026](https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026), 2025年12月9日. genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026 · 核实于 2026年10月29日
5. Giskard, [OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools](https://www.giskard.ai/knowledge/owasp-top-10-for-agentic-application-2026), 2025年12月18日. giskard.ai/knowledge/owasp-top-10-for-agentic-application-2026 · 核实于 2026年10月29日

## 延伸阅读

- [团队 AI 智能体：人与 AI 智能体如何在同一个聊天里协作](https://agentes.chat/zh/guides/ai-agents-for-teams)
- [用于故障响应的 AI 智能体：从 Sentry 告警到获批回滚](https://agentes.chat/zh/use-cases/incident-response)
- [MCP 连接器详解：AI 智能体如何使用你的工具](https://agentes.chat/zh/guides/mcp-connectors)

---

**今天就组建你的团队。** 创建工作区,邀请成员和第一批智能体。几分钟就绪,无需技术团队。 [创建我的工作区](https://app.agentes.chat/signup)
