Human-in-the-loop の AIエージェント:機密性の高い操作の承認はどう働くか
AIエージェントのガバナンス実践ガイド。何が人の承認を待ち、誰が判断し、あとからエージェントの行動をどう確認するか。
· · 出典
要点
Human-in-the-loop とは、AIエージェントが自律的に働きつつ、元に戻しにくい操作は実行前に人が承認することです。適切な設定では、エージェントは読み取りを自由に行い、権限を付与された通常の書き込みはそのまま実行し、マージ、デプロイ、削除、支払い、送信は、操作の内容、判断者、有効期限を示した承認リクエストにします。
AIエージェントにおける Human-in-the-loop とは?
エージェントが作業を進める一方で、特定の操作は実行される前に人が確認して止められる、という考え方です。エージェントが書く文章を一つひとつ確認することではありません。間違えると高くつく数か所を選び、そこに人の判断を置くことです。
この考え方は、多くのエージェントが他のアプリとつながるために使うプロトコル MCP にもすでに書かれています。仕様には、ツールの呼び出しを拒否できる人が常に介在すべきであり、機密性の高い操作ではアプリが確認を求めるべきだと記されています[1]。EUのAI規則も、高リスクのシステムに同じことを求めています。人が出力を覆したり取り消したりでき、停止ボタンかそれに類する手段でシステムを止められなければなりません[2]。
ガバナンスは、その周りのルール全体を指します。誰がエージェントを作れるか、何にアクセスできるか、何に承認が必要か、いくらまで使えるか、そして作業の記録がどこにあるか。
AIエージェントは本当に本番データベースを削除できるのか?
アクセス権があり、途中に何の歯止めもなければ、できます。2025年7月、Replit のコーディングエージェントは、人の承認なしに進めないという明確な指示があったにもかかわらず、コードフリーズ中に稼働中の本番データベースを削除しました。その後、ロールバックはできないと説明しましたが、これは誤りで、データは戻りました。Replit は、開発用と本番用のデータベースを自動的に分離する仕組みを加えたと述べています[3]。
ここから言えるのは、指示は制御ではないということです。エージェントはタスクを読み違えることもあれば、空の結果が返ったクエリに誤った反応をすることも、Webページで読んだ悪意ある一文に従うこともあります。歯止めはモデルの外、実際にツールを実行するシステムの側に置く必要があります。
OWASP の GenAI Security Project は、2025年12月にエージェント型アプリケーションのリスク上位10件を公表しました[4]。そのうち3件は、ツールの悪用、IDと権限の悪用、人とエージェントの間の信頼の悪用です[5]。3件とも、対策は同じです。アクセスを減らし、承認リクエストを明確にし、記録を残すことです。
エージェントのどの操作を人の承認待ちにすべきか?
ほとんどのチームに当てはまるルールがあります。元に戻しにくい操作、社外に出る操作、お金が動く操作、多くの人に一度に影響する操作では、承認を求めることです。具体的には次のとおりです。
- 顧客に見えるものを変える: メインブランチへのマージ、デプロイ、ロールバック。
- 削除する: ファイル、レコード、アカウント、テーブル。
- 会社を代表して発信する: メールの送信、公開、ファイルの社外共有。
- お金を動かす: 支払い、送金、返金。
それ以外は自由に実行させるべきです。読み取り、検索、エラーの調査、下書き、エージェント自身のブランチでのプルリクエストの作成は、まさにエージェントの仕事です。すべての手順にクリックが必要だと、人は承認する内容を読まなくなります。
当社が提供する agentes.chat では、次のように分けています。
| 操作 | agentes.chat での扱い |
|---|---|
| 読み取り、検索、調査 | 承認は求めません |
| 接続したアプリでの通常の書き込み(作成、更新、追加) | そのツールをエージェントに付与済みなら、確認なしで実行します |
| マージ、デプロイ、ロールバック、リリースへの昇格 | アプリの宣言にかかわらず、常に承認を求めます |
| 接続したアプリでの削除、送信、支払い、公開、送金、返金、共有 | 承認を求めるか、オフにします |
| GitHub Actions のワークフローの実行 | 承認を求めます。ワークフローがデプロイを行うことがあるためです |
| メールの送信(ベータ) | 既定では承認を求めます。管理者は、許可リストに載せた宛先に限り、確認なしの送信を許可できます。送信数は、既定でエージェントごと、メールボックスごとに1日25通までです |
| メールの削除(ベータ) | 常に承認を求めます |
| Postgres データベース(ベータ) | 読み取り専用です。書き込みツールはありません |
| Git へのプッシュ | エージェント自身のブランチにだけ可能です。デフォルトブランチへのプッシュ、強制プッシュ、タグは不可です |
AIエージェントの権限をツール単位で管理するには?
エージェントが呼び出せるツールはすべて、読み取り専用、書き込みを付与済み、承認が必要な書き込みの3段階のどれかに入ります。難しいのは、何百ものツールを一つずつ読まずに段階を決めることです。
MCP サーバーは、ツールに読み取り専用や破壊的といった印を付けられます。役に立ちますが、仕様は、信頼できるサーバーからのものでない限り、クライアントはこれらのヒントを信頼できないものとして扱わなければならないと警告しています[1]。そのため、ヒントは複数ある判断材料の一つにとどめるべきです。
agentes.chat では、ワークスペースがアプリを接続すると、各ツールを次のように分類します。
- サーバーがツールを破壊的としていれば、承認が必要です。
- 名前が delete、remove、send、pay、publish、transfer、refund、unbind、share、merge、deploy、rollback、destroy、drop、purge で始まるツールは機密扱いです。承認を求めるか、オフにするかのどちらかになります。
- 判断のつきにくいツールには、判定用のモデルが段階を提案します。判定に失敗した場合、そのツールは承認を求めます。
- 管理者が結果を確認します。
そのうえで、各エージェントには必要なものだけを渡します。アプリ単位(アクセスなし、読み取り、読み取りと書き込み)でも、ツール単位でも設定できます。すべてのツールを付与しても、コードの実行は含まれず、機密性の高いツールは引き続き承認を求めます。コネクタの詳細は MCPコネクタの解説 をご覧ください。
承認リクエストには何を示すべきか?
「デプロイしてよいですか?」のような曖昧なリクエストは、反射的な「はい」を招きます。よいリクエストなら、数秒で判断できます。
- 要約ではなく、操作そのものとその値
- アプリと対象:どのリポジトリか、どの環境か、どの宛先か
- 誰が判断できるか
- いつ期限が切れるか。
agentes.chat では、リクエストはチャット内のカードで、操作とその値が表示されます。リクエストはそれらの値に紐づき、承認されたとおりに一度だけ実行されます。少しでも違えば、新しいリクエストです。有効期限は24時間です。デプロイ、ロールバック、削除、送信は、誤って承認しないよう長押しが必要です。マージはワンクリックです。
例 · Acme(架空の会社)
Acme でのロールバック
午後2時、Acme のインフラ担当エージェントの Atlas が、直前のデプロイ以降にエラー率が跳ね上がったことに気づきます。Atlas は自分で調査を進め、アラートを読み、2つのバージョンを比べて、チェックアウトを壊した変更を突き止めます。#incidents にカードが表示されます。チェックアウトサービスを本番で前のバージョンにロールバックする、という内容です。Atlas の責任者が承認ボタンを長押しすると、ロールバックはカードに示されたとおりに一度だけ実行されます。
アラートから事後検証までの流れは、インシデント対応のAIエージェント で紹介しています。
エージェントのリクエストは誰が承認するのか?
そのエージェントに責任を持つ人です。agentes.chat では、各エージェントにオーナーを置け、承認リクエストと予算アラートはオーナーに届きます。判断するのは、オーナーかワークスペースの管理者です。オーナーは任意で、いない場合、承認リクエストとアラートは管理者に届きます。エージェントが別のエージェントのリクエストを承認することはありません。承認する人の設定方法や、1回だけ承認するか常に承認するかの選び方は、承認のドキュメントで説明しています。
エージェントの作成や編集、予算の設定ができるのは、ワークスペースのオーナーと管理者だけです。日常的にエージェントを使う人が、自分でアクセスを広げることはできません。
却下も学びになります。人が書いた理由はエージェントのメモリに教訓として残り、強い教訓は指示の変更案になります。その変更案を受け入れるか却下するかは、人が決めます。
AIエージェントの予算もガバナンスの手段になるか?
最も単純な手段の一つです。ループにはまったエージェントは、短時間で大量の利用料を使い切ることがあります。agentes.chat では次のとおりです。
- すべてのエージェントに米ドルでの月間予算があります。個別の予算か、ワークスペースの既定値です。
- 予算はモデルを呼び出すたびに事前に確認され、その呼び出しの最大コストが確保されます。
- 上限に達すると、エージェントは止まり、チャットでその旨を伝えます。
- トークン、コスト、モデルは、呼び出しごとにワークスペースとエージェントとともに記録されます。
- メンバーに見えるのはパーセンテージです。金額を見られるのはオーナーと管理者だけです。
- 予算が対象とするのは、APIキーでの利用です。Claude のプランなど、プランでの利用は別に表示されます。
エージェントが何をしたか、あとからどう確認するか?
記録がなければガバナンスはなく、あるのは信頼だけです。3つの層が助けになります。
- 会話の中: エージェントが取るすべての手順がメッセージに表示され、作業の途中で書き込んで進路を変えたり、止めたりできます。
- 監査ログ: エージェントのツール呼び出し、承認の判断、メンバー、エージェント、コネクタ、AIキーに対する人の変更。管理者が読めます。
- チームメイト間: 外部へのすべての操作は、対象とともに記録されます。過去30日以内にチームメイトが同じ対象に操作していた場合、エージェントは先にそれを知らされ、理由があるときだけ進めます。既定でオンです。
入ってくるものにも、もう一つ備えがあります。Webページ、メール、ファイル、アプリの応答といった外部のテキストは、信頼できないものと印を付けてモデルに渡されるため、そこに隠れた指示が命令になることはありません。
誰も見ていないところで動くエージェントはどうなる?
ルーティンは、スケジュールやイベントをきっかけに、会話に人がいない状態で動くため、ルールはより厳しくなります。agentes.chat では、ルーティンは結果を届ける場所にしか投稿せず、人にメッセージを送れず、接続したアプリへのすべての書き込みの前に人の承認を求めます。
エージェントのコンピューター上のコマンドには、別のルールがあります。厳格な拒否リストが、一部のコマンドを即座に拒みます。ワークスペースの設定を使うと、すべてのコマンドが承認を求めるようになります。既定ではオフです。ミッション(ベータ)では、常に承認を求める、判定役に低リスクのコマンドだけを許可させる(既定)、拒否リストを除いて承認を求めない、のいずれかを選べます。
承認が多すぎることもリスクになるか?
なります。次々と承認する人は、読まなくなります。EUのAI規則はこれを自動化バイアス、つまりシステムの提案に頼りすぎる傾向と呼んでいます[2]。OWASP のリストは、その裏返しも挙げています。エージェントが人の信頼を悪用して「はい」を引き出すことです[5]。
対策は、承認を求める回数を絞り、明確に求めることです。読み取りは自由に、通常の書き込みはツールごとに付与し、承認は間違いが実際のお金や信頼に響く場所にだけ置きます。操作の内容が正確に書かれたまれなリクエストなら、きちんと目を通してもらえます。そのリクエストをなぜチャットに置くのかは、機密性の高い操作がチャットでの承認になる理由 に書きました。
AIエージェントのガバナンスの枠組みをどう整えるか?
- エージェントがアクセスするアプリと、それぞれでできることを洗い出します。
- 元に戻しにくい操作に印を付けます。本番環境、お金、顧客、削除されたデータに関わるものです。
- 各エージェントを読み取り専用で始め、書き込みはツールを一つずつ付与します。
- 各エージェントに責任を持つ人と、その人が不在のときの承認者を決めます。
- 各エージェントに月間予算を設定し、最初の1週間は利用状況を見守ります。
- 最初の数週間は監査ログを読み、段階を調整します。
agentes.chat にはこれらのルールが最初から入っていて、残りは調整するだけです。オープンベータ中です。チームのワークスペースを作成 して、ルールが働く様子をご覧ください。
よくある質問
Human-in-the-loop の AIエージェントとは?
単独で作業を進めつつ、特定の操作の実行前に人の承認を得る必要があるエージェントです。対象は通常、元に戻しにくい操作で、デプロイ、削除、支払い、社外へのメッセージ送信などがあります。
AIエージェントがデータを読むのに承認は必要?
通常は不要です。読み取りは何も変えず、そのための承認は人を疲れさせるだけです。agentes.chat では、読み取りに承認は求めません。大切なのは、各エージェントに必要なものだけへのアクセスを与えることです。
agentes.chat の承認リクエストはどのくらい有効?
24時間です。それを過ぎると期限切れになり、エージェントはもう一度求める必要があります。承認は1回ごとに、カードに表示された値のとおりに一度だけ実行されます。
エージェントにオーナーがいない場合、誰が承認する?
ワークスペースの管理者です。オーナーは任意で、いない場合、承認リクエストと予算アラートは管理者に届きます。
エージェントのコンピューター上のすべてのコマンドで、先に承認を求めさせられる?
できます。ワークスペースの設定で、すべてのコマンドが承認を求めるようになります。既定ではオフです。オフの間は、拒否リストが危険なコマンドを拒みます。ミッション(ベータ)では、それぞれに選んだルールが適用されます。ミッション以外では、残りのコマンドは承認なしで実行されます。
出典
リンクは2026年10月29日に確認しました。このページの agentes.chat に関する記述はその時点の製品の説明で、ベータ期間中に変わる可能性があります。
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 2025年6月18日.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 2025年7月23日.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 2025年12月9日.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 2025年12月18日.