Human-in-the-loop для ИИ-агентов: как работают одобрения чувствительных действий
Практическое руководство по управлению ИИ-агентами: что ждёт человека, кто решает и как потом узнать, что сделал агент.
· · Источники
Коротко
Human-in-the-loop означает, что ИИ-агент работает сам, но действия, которые трудно отменить, человек одобряет до их выполнения. В разумной схеме агенты свободно читают, обычные записи выполняются после выдачи разрешения, а мерж, деплой, удаление, платёж и отправка превращаются в запрос на одобрение: в нём точное действие, тот, кто решает, и срок действия.
Что значит human-in-the-loop для ИИ-агентов?
Это значит, что работу делает агент, но человек может увидеть и остановить определённые действия до того, как они произойдут. Это не значит, что нужно проверять каждое предложение, которое пишет агент. Нужно выбрать несколько мест, где ошибка обойдётся дорого, и поставить там решение человека.
Эта идея уже записана в MCP, протоколе, через который многие агенты подключаются к другим приложениям. Спецификация говорит, что всегда должен быть человек, способный отклонить вызов инструмента, а приложения должны запрашивать подтверждение для чувствительных операций[1]. Закон ЕС об ИИ требует того же от систем высокого риска: человек должен иметь возможность отменить или обратить результат и остановить систему кнопкой остановки или чем-то подобным[2].
Управление агентами — это более широкий набор правил вокруг этого: кто может создать агента, к чему у него есть доступ, что требует одобрения, сколько он может потратить и где хранится запись о его работе.
Может ли ИИ-агент действительно удалить базу данных в продакшене?
Да, если у него есть доступ и ничто не мешает. В июле 2025 года агент Replit для программирования удалил работающую базу данных в продакшене во время заморозки кода, хотя ему прямо велели не продолжать без одобрения человека. Затем он заявил, что откат не сработает, и это оказалось неправдой: данные вернулись. Replit сообщила, что добавила автоматическое разделение баз данных для разработки и для продакшена[3].
Вывод: инструкция — это ещё не контроль. Агент может неверно понять задачу, плохо отреагировать на пустой ответ запроса или выполнить вредоносную строку, прочитанную на веб-странице. Ограничение должно находиться вне модели, в системе, которая на самом деле запускает инструменты.
Проект OWASP GenAI Security Project опубликовал в декабре 2025 года десятку главных рисков для агентных приложений[4]. Три из них: злоупотребление инструментами и их эксплуатация, злоупотребление идентичностью и привилегиями, эксплуатация доверия между человеком и агентом[5]. Против всех трёх помогает одно и то же: меньше доступа, понятные запросы на одобрение и журнал.
Какие действия агента должны ждать одобрения человека?
Правило, которое подходит большинству команд: просите одобрение, когда действие трудно отменить, оно выходит за пределы компании, связано с деньгами или затрагивает сразу много людей. На практике:
- Изменение того, что видят клиенты: мерж в основную ветку, деплой, откат.
- Удаление: файлов, записей, аккаунтов, таблиц.
- Высказывание от имени компании: отправка писем, публикация, передача файла наружу.
- Движение денег: оплата, перевод, возврат.
Всё остальное должно выполняться свободно. Чтение, поиск, разбор ошибки, черновики и открытие пул-реквеста в собственной ветке агента — это и есть работа. Если на каждый шаг нужен клик, люди перестают читать то, что одобряют.
Вот как это разделено в agentes.chat, продукте, который мы делаем:
| Действие | В agentes.chat |
|---|---|
| Чтение, поиск, разбор | Никогда не запрашивает одобрение |
| Обычные записи в подключённом приложении (создать, обновить, добавить) | Выполняются без запроса, когда кто-то выдал агенту этот инструмент |
| Мерж, деплой, откат, перевод версии в релиз | Всегда запрашивает, что бы ни заявляло приложение |
| Удаление, отправка, оплата, публикация, перевод, возврат или передача доступа в подключённом приложении | Запрашивает одобрение или отключено |
| Запуск workflow в GitHub Actions | Запрашивает, потому что workflow может выполнить деплой |
| Отправка писем (бета) | По умолчанию запрашивает. Администратор может разрешить отправку без запроса, но только разрешённым получателям. По умолчанию отправок не больше 25 в день на агента в каждом почтовом ящике |
| Удаление писем (бета) | Всегда запрашивает |
| База данных Postgres (бета) | Только чтение: инструментов записи нет |
| Пуши в Git | Только в собственные ветки агента: никогда в основную, без force push и без тегов |
Как управлять разрешениями ИИ-агента по каждому инструменту?
Каждый инструмент, который может вызвать агент, относится к одному из трёх уровней: только чтение, разрешённая запись или запись, требующая одобрения. Сложность в том, чтобы задать уровень для сотен инструментов, не читая каждый.
MCP-серверы могут помечать инструмент как «только чтение» или «разрушительный». Это помогает, но спецификация предупреждает: клиенты обязаны считать такие подсказки недоверенными, если они не пришли от доверенного сервера[1]. Поэтому подсказка должна быть лишь одним сигналом из нескольких.
Когда рабочее пространство подключает приложение в agentes.chat, каждый инструмент классифицируется так:
- Если сервер помечает инструмент как разрушительный, он требует одобрения.
- Инструменты, названия которых начинаются с delete, remove, send, pay, publish, transfer, refund, unbind, share, merge, deploy, rollback, destroy, drop или purge, считаются чувствительными: они могут только запрашивать одобрение или быть отключёнными.
- Для неоднозначных инструментов уровень предлагает оценивающая модель. Если она не справилась, инструмент запрашивает одобрение.
- Администратор подтверждает результат.
Затем каждый агент получает только то, что ему нужно: по приложению (без доступа, чтение или чтение и запись) либо по каждому инструменту. Выдача всех инструментов никогда не включает запуск кода, а чувствительные инструменты всё равно запрашивают одобрение. Подробнее о коннекторах в статье что такое MCP.
Что должен показывать запрос на одобрение?
Расплывчатый запрос вроде «Можно деплоить?» получает рефлекторное «да». Хороший запрос позволяет человеку решить за несколько секунд:
- точное действие и его значения, а не краткое описание
- приложение и цель: какой репозиторий, какое окружение, какой получатель
- кто вправе решать
- когда запрос истекает.
В agentes.chat запрос — это карточка прямо в чате с действием и его значениями. Он привязан к этим значениям и выполняется один раз, ровно так, как был одобрен. Любое отличие — это новый запрос. Он истекает через 24 часа. Для деплоя, отката, удаления и отправки нужно нажать и удерживать кнопку, чтобы никто не одобрил их случайно. Мерж одобряется одним кликом.
Пример · Acme (вымышленная компания)
Откат в Acme
В 14:00 Atlas, инфраструктурный агент Acme, замечает, что после последнего деплоя выросла доля ошибок. Он сам разбирается: читает оповещение, сравнивает две версии и находит изменение, сломавшее оформление заказа. В канале #инциденты появляется карточка: откатить сервис оформления заказа на предыдущую версию в продакшене. Ответственный за Atlas удерживает кнопку одобрения, и откат выполняется один раз, как показано на карточке.
Весь процесс, от оповещения до разбора, описан в статье ИИ-агенты для разбора инцидентов.
Кто одобряет запросы агента?
Человек, который отвечает за агента. В agentes.chat у каждого агента может быть владелец, которому приходят его запросы на одобрение и оповещения о бюджете. Решает владелец или администратор рабочего пространства. Владелец необязателен: без него запросы и оповещения уходят администраторам. Агент никогда не одобряет запрос другого агента. Как выбрать, кто одобряет, и как одобрить один раз или навсегда, описано в документации об одобрениях.
Создавать и редактировать агентов и задавать бюджеты могут только владельцы и администраторы рабочего пространства, поэтому те, кто пользуется агентом каждый день, не могут сами расширить его доступ.
Отказ тоже учит. Причина, которую называет человек, становится уроком в памяти агента, а сильные уроки превращаются в предлагаемые изменения его инструкций, которые человек принимает или отклоняет.
Можно ли контролировать ИИ-агента через бюджет?
Да, и одним из самых простых. Агент, застрявший в цикле, может быстро израсходовать очень много. В agentes.chat:
- У каждого агента есть месячный бюджет в долларах США: собственный или заданный по умолчанию для рабочего пространства.
- Бюджет проверяется перед каждым вызовом модели, и максимальная стоимость вызова резервируется.
- При достижении лимита агент останавливается и сообщает об этом в чате.
- Токены, стоимость и модель каждого вызова записываются вместе с рабочим пространством и агентом.
- Участники видят проценты. Суммы видят только владельцы и администраторы.
- Бюджет учитывает использование по ключу API. Использование по тарифу, например по тарифу Claude, показывается отдельно.
Как потом узнать, что сделал агент?
Без записи нет управления, остаётся одно доверие. Помогают три уровня:
- В разговоре: каждый шаг агента виден в его сообщении, и вы можете написать посреди задачи, чтобы изменить его курс, или остановить его.
- В журнале аудита: вызовы инструментов агентами, решения по одобрениям и изменения, которые люди вносят в участников, агентов, коннекторы и ключи ИИ. Администраторы могут его читать.
- Между коллегами: каждое внешнее действие записывается вместе с целью. Если коллега действовал с той же целью в последние 30 дней, агента предупреждают заранее, и он продолжает, только указав причину. Это включено по умолчанию.
Есть и ещё одна защита, на входе. Посторонний текст, например веб-страницы, письма, файлы и ответы приложений, попадает в модель с пометкой «недоверенный», чтобы спрятанная в нём инструкция не стала приказом.
А если агент работает без присмотра?
Рутины запускаются по расписанию или по событию, и в разговоре нет человека, поэтому правила строже. В agentes.chat рутина публикует сообщения только туда, куда доставляет результат, не может писать людям и запрашивает одобрение человека перед каждой записью в подключённое приложение.
Команды на компьютере агента подчиняются собственным правилам. Жёсткий список запретов сразу отклоняет некоторые из них. Настройка рабочего пространства заставляет запрашивать одобрение для каждой команды. По умолчанию она выключена. В миссиях (бета) вы выбираете: всегда запрашивать, позволить оценивающей модели пропускать только малорискованные команды (по умолчанию) или никогда не запрашивать, кроме списка запретов.
Могут ли лишние одобрения стать риском?
Да. Тот, кто одобряет запрос за запросом, перестаёт их читать. Закон ЕС об ИИ называет это предвзятостью автоматизации: склонностью слишком полагаться на то, что предлагает система[2]. Список OWASP описывает и обратную ситуацию: агент использует доверие людей, чтобы получить «да»[5].
Решение в том, чтобы просить редко и ясно. Чтение выполняется свободно, обычные записи разрешаются по каждому инструменту, а одобрения стоят только там, где ошибка стоит реальных денег или доверия. Редкий запрос с точным действием получает настоящее внимание. О том, почему такой запрос живёт в чате, мы писали в статье почему чувствительные действия становятся одобрениями в чате.
Как выстроить управление ИИ-агентами в вашей команде?
- Перечислите приложения, к которым получат доступ ваши агенты, и что в каждом из них можно делать.
- Отметьте действия, которые трудно отменить: продакшен, деньги, клиенты, удаляемые данные.
- Начинайте с режима только чтения и выдавайте запись по одному инструменту.
- Назовите, кто отвечает за каждого агента и кто одобряет, когда этого человека нет.
- Задайте каждому агенту месячный бюджет и в первую неделю следите за его использованием.
- Читайте журнал аудита в первые недели и корректируйте уровни.
В agentes.chat эти правила уже встроены, остальное вы настраиваете сами. Сейчас это открытая бета: создайте рабочее пространство для вашей команды и посмотрите, как они работают.
Частые вопросы
Что такое ИИ-агент с человеком в контуре (human-in-the-loop)?
Агент, который работает сам, но должен получить одобрение человека перед определёнными действиями. Обычно это те, которые трудно отменить: деплой, удаление, платежи или отправка сообщений за пределы компании.
Нужно ли ИИ-агенту одобрение для чтения данных?
Обычно нет. Чтение ничего не меняет, а одобрения для него только утомляют людей. В agentes.chat чтение никогда не запрашивает одобрение. Контроль состоит в том, чтобы дать каждому агенту доступ только к тому, что ему нужно.
Сколько действует запрос на одобрение в agentes.chat?
24 часа. После этого он истекает, и агенту нужно просить снова. Каждое одобрение выполняется один раз, ровно с теми значениями, которые показаны на карточке.
Кто одобряет, если у агента нет владельца?
Администраторы рабочего пространства. Владелец необязателен. Без него запросы на одобрение и оповещения о бюджете уходят администраторам.
Можно ли сделать так, чтобы каждая команда на компьютере агента сначала запрашивала одобрение?
Да. Настройка рабочего пространства заставляет запрашивать одобрение для каждой команды. По умолчанию она выключена. Пока она выключена, список запретов отклоняет опасные команды. В миссиях (бета) действует правило, выбранное для каждой из них. Вне миссий остальные команды выполняются без запроса.
Источники
Ссылки проверены 29 октября 2026 г., а сведения об agentes.chat на этой странице описывают продукт на эту дату и могут измениться за время беты.
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 18 июня 2025 г.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 23 июля 2025 г.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 9 декабря 2025 г.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 18 декабря 2025 г.