휴먼 인 더 루프 AI 에이전트: 민감한 작업의 승인은 이렇게 작동합니다
AI 에이전트 거버넌스 실무 가이드: 무엇이 사람을 기다리는지, 누가 결정하는지, 에이전트가 한 일을 나중에 어떻게 확인하는지 다룹니다.
· · 출처
핵심 답변
휴먼 인 더 루프는 AI 에이전트가 스스로 일하되, 되돌리기 어려운 작업은 실행 전에 사람이 승인하는 방식입니다. 잘 갖춰진 구성에서는 에이전트가 읽기는 자유롭게 하고, 일반적인 쓰기는 권한을 받은 뒤 한 번 실행하며, 머지·배포·삭제·결제·발송은 정확한 작업 내용과 결정할 사람, 만료 시점을 보여 주는 승인 요청으로 바뀝니다.
AI 에이전트에서 휴먼 인 더 루프란 무엇인가요?
에이전트가 일을 하되, 특정 작업만큼은 실행되기 전에 사람이 보고 막을 수 있다는 뜻입니다. 에이전트가 쓰는 문장을 하나하나 검토한다는 뜻이 아닙니다. 실수하면 비용이 큰 몇몇 지점을 골라 그곳에 사람의 결정을 두는 것입니다.
이 개념은 이미 MCP에 명시되어 있습니다. MCP는 많은 에이전트가 다른 앱에 접근할 때 쓰는 프로토콜입니다. 사양에는 도구 호출을 거부할 수 있는 사람이 항상 루프 안에 있어야 하고, 앱은 민감한 작업에서 확인을 요청해야 한다고 적혀 있습니다[1]. EU AI 법도 고위험 시스템에 같은 것을 요구합니다. 사람이 출력을 무시하거나 되돌릴 수 있어야 하고, 정지 버튼이나 그에 준하는 수단으로 시스템을 멈출 수 있어야 합니다[2].
거버넌스는 이를 둘러싼 더 넓은 규칙의 묶음을 가리킵니다. 누가 에이전트를 만들 수 있는지, 에이전트가 무엇에 접근하는지, 무엇에 승인이 필요한지, 얼마까지 쓸 수 있는지, 에이전트가 한 일의 기록이 어디에 남는지입니다.
AI 에이전트가 프로덕션 데이터베이스를 정말 삭제할 수 있나요?
접근 권한이 있고 가로막는 것이 없다면 가능합니다. 2025년 7월 Replit의 코딩 에이전트는 코드 프리즈 중에 운영 중인 프로덕션 데이터베이스를 삭제했습니다. 사람의 승인 없이는 진행하지 말라는 명시적인 지시가 있었는데도 그랬습니다. 이후 에이전트는 롤백이 되지 않는다고 말했지만 사실이 아니었고, 데이터는 복구되었습니다. Replit은 개발 데이터베이스와 프로덕션 데이터베이스를 자동으로 분리하는 기능을 추가했다고 밝혔습니다[3].
여기서 얻을 교훈은 지시는 통제가 아니라는 점입니다. 에이전트는 작업을 잘못 이해할 수 있고, 빈 결과가 돌아온 쿼리에 엉뚱하게 반응할 수 있으며, 웹 페이지에서 읽은 악의적인 문장을 따를 수도 있습니다. 한계선은 모델 바깥, 실제로 도구를 실행하는 시스템에 있어야 합니다.
OWASP의 GenAI Security Project는 2025년 12월에 에이전트 애플리케이션의 상위 10대 위험을 발표했습니다[4]. 그중 셋이 도구의 오용과 악용, 신원과 권한의 남용, 사람과 에이전트 사이 신뢰의 악용입니다[5]. 세 가지 모두 접근 범위를 줄이고, 승인 요청을 명확하게 하고, 기록을 남기라는 같은 처방으로 이어집니다.
에이전트의 어떤 작업이 사람의 승인을 기다려야 하나요?
대부분의 팀에 통하는 규칙이 있습니다. 되돌리기 어렵거나, 회사 밖으로 나가거나, 돈이 움직이거나, 한 번에 많은 사람에게 닿는 작업이면 승인을 요청합니다. 실제로는 다음과 같습니다.
- 고객에게 보이는 것 바꾸기: 메인 브랜치로 머지, 배포, 롤백.
- 삭제: 파일, 레코드, 계정, 테이블.
- 회사를 대신해 말하기: 이메일 발송, 게시, 파일을 외부에 공유.
- 돈 움직이기: 결제, 이체, 환불.
나머지는 자유롭게 돌아가야 합니다. 읽기, 검색, 오류 조사, 초안 작성, 에이전트 자신의 브랜치에 풀 리퀘스트 열기는 에이전트의 본업입니다. 모든 단계에 클릭이 필요하면 사람들은 승인하는 내용을 읽지 않게 됩니다.
우리가 만드는 agentes.chat은 이를 이렇게 나눕니다.
| 작업 | agentes.chat에서는 |
|---|---|
| 읽기, 검색, 조사 | 승인을 요청하지 않습니다 |
| 연결된 앱의 일반적인 쓰기(생성, 수정, 추가) | 누군가 해당 도구를 에이전트에 허용한 뒤에는 묻지 않고 실행합니다 |
| 머지, 배포, 롤백, 승격 | 앱이 무엇을 선언하든 항상 승인을 요청합니다 |
| 연결된 앱에서 삭제, 발송, 결제, 게시, 이체, 환불, 공유 | 승인을 요청하거나 꺼져 있습니다 |
| GitHub Actions 워크플로 실행 | 워크플로가 배포할 수 있으므로 승인을 요청합니다 |
| 이메일 발송(베타) | 기본값은 승인 요청입니다. 관리자는 허용 목록에 있는 수신자에게만 묻지 않고 보내도록 풀어 줄 수 있습니다. 발송은 기본적으로 에이전트당 사서함별 하루 25건으로 제한됩니다 |
| 이메일 삭제(베타) | 항상 승인을 요청합니다 |
| Postgres 데이터베이스(베타) | 읽기 전용입니다. 쓰기 도구가 없습니다 |
| Git 푸시 | 에이전트 자신의 브랜치에만 가능합니다. 기본 브랜치, 강제 푸시, 태그는 불가합니다 |
AI 에이전트의 권한을 도구별로 어떻게 관리하나요?
에이전트가 호출할 수 있는 모든 도구는 세 단계 중 하나에 속합니다. 읽기 전용, 허용된 쓰기, 승인이 필요한 쓰기입니다. 어려운 점은 수백 개의 도구를 일일이 읽지 않고 단계를 정하는 일입니다.
MCP 서버는 도구에 읽기 전용이나 파괴적이라는 표시를 달 수 있습니다. 도움이 되지만, 사양은 신뢰할 수 있는 서버가 보낸 것이 아니라면 클라이언트가 이 힌트를 신뢰하지 않는 것으로 취급해야 한다고 경고합니다[1]. 그러니 이 표시는 여러 신호 가운데 하나로 쓰는 편이 좋습니다.
agentes.chat에서 워크스페이스가 앱을 연결하면 각 도구는 이렇게 분류됩니다.
- 서버가 도구를 파괴적이라고 표시하면 승인이 필요합니다.
- 이름이 delete, remove, send, pay, publish, transfer, refund, unbind, share, merge, deploy, rollback, destroy, drop, purge로 시작하는 도구는 민감한 도구입니다. 승인을 요청하거나 꺼 두는 것만 가능합니다.
- 애매한 도구는 판단 모델이 단계를 제안합니다. 모델이 실패하면 그 도구는 승인을 요청합니다.
- 관리자가 결과를 확인합니다.
그다음 각 에이전트는 필요한 만큼만 받습니다. 앱 단위(접근 없음, 읽기, 읽기와 쓰기)나 도구 단위로 정합니다. 모든 도구를 허용해도 코드 실행은 포함되지 않으며, 민감한 도구는 여전히 승인을 요청합니다. 커넥터에 대한 자세한 내용은 MCP 커넥터 설명에 있습니다.
승인 요청에는 무엇이 보여야 하나요?
“배포해도 될까요?” 같은 모호한 요청에는 반사적인 승인이 돌아옵니다. 좋은 요청은 사람이 몇 초 안에 결정하게 해 줍니다.
- 요약이 아니라 정확한 작업과 그 값
- 앱과 대상: 어느 저장소인지, 어느 환경인지, 어느 수신자인지
- 누가 결정할 수 있는지
- 언제 만료되는지.
agentes.chat에서 요청은 채팅 안의 카드이며 작업과 그 값이 담겨 있습니다. 요청은 그 값에 묶여 있고, 승인된 그대로 한 번만 실행됩니다. 조금이라도 다르면 새 요청입니다. 24시간 뒤에 만료됩니다. 배포, 롤백, 삭제, 발송은 실수로 승인하는 일이 없도록 길게 눌러야 합니다. 머지는 클릭 한 번입니다.
예시 · Acme(가상의 회사)
Acme의 롤백
오후 2시, Acme의 인프라 에이전트 Atlas는 마지막 배포 이후 오류율이 치솟은 것을 발견합니다. 스스로 조사에 나서 알림을 읽고, 두 버전을 비교해 결제 화면을 망가뜨린 변경을 찾아냅니다. #incidents 채널에 카드가 올라옵니다. 결제 서비스를 이전 버전으로 롤백, 대상은 프로덕션입니다. Atlas의 담당자가 승인 버튼을 길게 누르고, 롤백은 카드에 표시된 그대로 한 번 실행됩니다.
알림에서 사후 분석까지의 전체 흐름은 인시던트 대응을 위한 AI 에이전트에서 볼 수 있습니다.
에이전트의 요청은 누가 승인하나요?
에이전트에 책임을 지는 사람입니다. agentes.chat에서는 에이전트마다 담당자를 둘 수 있고, 담당자는 승인 요청과 예산 알림을 받습니다. 결정은 담당자나 워크스페이스 관리자가 합니다. 담당자는 선택 사항이며, 없으면 승인 요청과 알림이 관리자에게 갑니다. 에이전트가 다른 에이전트의 요청을 승인하는 일은 없습니다. 승인할 사람을 정하는 방법과 한 번만 또는 항상 승인하는 방법은 승인 문서에 있습니다.
에이전트를 만들거나 수정하고 예산을 정하는 일은 워크스페이스 소유자와 관리자만 할 수 있습니다. 그래서 에이전트를 매일 쓰는 사람이 스스로 접근 범위를 넓힐 수 없습니다.
거절도 가르침이 됩니다. 사람이 적은 사유는 에이전트 메모리에 교훈으로 남고, 강한 교훈은 에이전트 지침의 변경 제안이 되며, 이를 사람이 수락하거나 거부합니다.
AI 에이전트의 예산도 거버넌스 통제인가요?
가장 단순한 통제 중 하나입니다. 루프에 빠진 에이전트는 짧은 시간에 많은 사용량을 태울 수 있습니다. agentes.chat에서는 다음과 같습니다.
- 에이전트마다 미국 달러 기준 월 예산이 있습니다. 개별 설정이거나 워크스페이스 기본값입니다.
- 예산은 모델을 호출하기 전마다 확인하며, 해당 호출의 최대 비용은 미리 확보해 둡니다.
- 한도에 이르면 에이전트가 멈추고 채팅에서 알립니다.
- 모든 호출의 토큰, 비용, 모델이 워크스페이스 및 에이전트와 함께 기록됩니다.
- 멤버에게는 비율이 보입니다. 금액은 소유자와 관리자에게만 보입니다.
- 예산은 API 키 사용량을 기준으로 합니다. Claude 요금제 같은 요금제의 사용량은 따로 표시됩니다.
에이전트가 한 일을 나중에 어떻게 확인하나요?
기록이 없으면 거버넌스가 아니라 믿음만 남습니다. 세 겹이 도움이 됩니다.
- 대화에서: 에이전트가 밟는 모든 단계가 메시지에 표시되며, 작업 도중에 글을 써서 방향을 바꾸거나 멈출 수 있습니다.
- 감사 로그에서: 에이전트의 도구 호출, 승인 결정, 멤버·에이전트·커넥터·AI 키에 대한 사람들의 변경이 남습니다. 관리자가 열람할 수 있습니다.
- 팀원 사이에서: 외부로 나가는 모든 작업은 대상과 함께 기록됩니다. 최근 30일 안에 팀원이 같은 대상에 작업했다면 에이전트가 먼저 그 사실을 전달받고, 이유가 있을 때만 진행합니다. 기본으로 켜져 있습니다.
들어오는 내용에 대한 방비도 하나 더 있습니다. 웹 페이지, 이메일, 파일, 앱 응답 같은 외부 텍스트는 신뢰할 수 없는 것으로 표시된 채 모델에 도착하므로, 그 안에 숨은 지시가 명령이 되지 않습니다.
아무도 지켜보지 않을 때 일하는 에이전트는요?
루틴은 정해진 시각이나 이벤트에 따라 대화에 사람이 없는 채로 실행되므로 규칙이 더 엄격해집니다. agentes.chat에서 루틴은 결과를 전달하는 곳에만 게시하고, 사람에게 메시지를 보낼 수 없으며, 연결된 앱에 쓰기 전에는 매번 사람에게 승인을 요청합니다.
에이전트의 컴퓨터에서 실행하는 명령은 별도의 규칙을 따릅니다. 엄격한 차단 목록이 일부 명령을 즉시 거부합니다. 워크스페이스 스위치를 켜면 모든 명령이 승인을 요청하며, 기본값은 꺼짐입니다. 미션(베타)에서는 항상 묻기, 판정 모델이 위험이 낮은 명령만 허용하기(기본값), 차단 목록 외에는 절대 묻지 않기 중에서 고를 수 있습니다.
승인이 너무 많아도 위험해질 수 있나요?
그렇습니다. 요청을 줄줄이 승인하는 사람은 읽기를 멈춥니다. EU AI 법은 이를 자동화 편향이라 부릅니다. 시스템이 제안하는 것을 지나치게 믿으려는 경향입니다[2]. OWASP의 목록에는 그 반대 경우도 들어 있습니다. 에이전트가 사람들의 신뢰를 이용해 승인을 받아 내는 위험입니다[5].
해법은 드물고 분명하게 요청하는 것입니다. 읽기는 자유롭게 실행하고, 일반적인 쓰기는 도구별로 허용하고, 승인은 실수가 실제 돈이나 신뢰에 타격을 주는 곳에만 둡니다. 정확한 작업이 적힌 드문 요청은 제대로 주목받습니다. 이 요청이 채팅에 있는 이유는 민감한 작업이 채팅 속 승인이 되는 이유에 썼습니다.
AI 에이전트 거버넌스 체계는 어떻게 세우나요?
- 에이전트가 접근할 앱과 각 앱에서 할 수 있는 일을 나열합니다.
- 되돌리기 어려운 작업을 표시합니다. 프로덕션, 돈, 고객, 삭제된 데이터입니다.
- 각 에이전트를 읽기 전용으로 시작하고, 쓰기는 도구 하나씩 허용합니다.
- 각 에이전트에 책임지는 사람과, 그 사람이 자리를 비웠을 때 승인할 사람을 정합니다.
- 에이전트마다 월 예산을 주고 첫 주 동안 사용량을 지켜봅니다.
- 처음 몇 주 동안 감사 로그를 읽으며 단계를 조정합니다.
agentes.chat에는 이 규칙이 처음부터 갖춰져 있고, 나머지는 직접 조정하면 됩니다. 지금은 오픈 베타입니다. 팀의 워크스페이스를 만들어 규칙이 작동하는 모습을 확인하세요.
자주 묻는 질문
휴먼 인 더 루프 AI 에이전트란 무엇인가요?
스스로 일하지만, 특정 작업이 실행되기 전에 사람의 승인을 받아야 하는 에이전트입니다. 대개 배포, 삭제, 결제, 회사 밖으로 메시지 보내기처럼 되돌리기 어려운 작업이 해당합니다.
AI 에이전트가 데이터를 읽는 데도 승인이 필요한가요?
대개는 필요하지 않습니다. 읽기는 아무것도 바꾸지 않고, 읽기까지 승인을 받게 하면 승인하는 사람만 지칩니다. agentes.chat에서 읽기는 승인을 요청하지 않습니다. 핵심 통제는 에이전트에 필요한 것에만 접근 권한을 주는 것입니다.
agentes.chat에서 승인 요청은 얼마 동안 유효한가요?
24시간입니다. 그 뒤에는 만료되어 에이전트가 다시 요청해야 합니다. 승인은 한 번만 실행되며, 카드에 표시된 값 그대로 실행됩니다.
에이전트에 담당자가 없으면 누가 승인하나요?
워크스페이스 관리자입니다. 담당자는 선택 사항이며, 없으면 승인 요청과 예산 알림이 관리자에게 갑니다.
에이전트 컴퓨터의 모든 명령이 먼저 승인을 요청하게 할 수 있나요?
가능합니다. 워크스페이스 스위치를 켜면 모든 명령이 승인을 요청합니다. 기본값은 꺼짐이며, 꺼져 있을 때는 차단 목록이 위험한 명령을 거부합니다. 미션(베타)은 미션마다 고른 규칙을 따르고, 미션 밖에서는 나머지 명령이 묻지 않고 실행됩니다.
출처
링크는 2026년 10월 29일에 확인했습니다. 이 페이지에서 agentes.chat에 대해 설명한 내용은 그 시점의 제품 기준이며, 베타 기간 중 바뀔 수 있습니다.
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 2025년 6월 18일.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 2025년 7월 23일.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 2025년 12월 9일.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 2025년 12월 18일.