Human-in-the-Loop bei KI-Agenten: So funktionieren Freigaben für sensible Aktionen
Ein praxisnaher Leitfaden zur Governance von KI-Agenten: Was auf eine Person wartet, wer entscheidet und wie du später erfährst, was der Agent getan hat.
· · Quellen
Kurze Antwort
Human-in-the-Loop heißt: Ein KI-Agent arbeitet selbstständig, aber eine Person gibt schwer rückgängig zu machende Aktionen frei, bevor sie laufen. Ein solides Setup lässt Agenten frei lesen, führt gewöhnliche Schreibzugriffe aus, sobald sie erlaubt sind, und macht aus Merges, Deploys, Löschungen, Zahlungen und Versand eine Freigabe, die die genaue Aktion, die entscheidende Person und den Ablauf zeigt.
Was bedeutet Human-in-the-Loop bei KI-Agenten?
Es bedeutet: Der Agent erledigt die Arbeit, aber eine Person kann bestimmte Aktionen sehen und stoppen, bevor sie passieren. Das heißt nicht, jeden Satz des Agenten zu prüfen. Es heißt, die wenigen Stellen auszuwählen, an denen ein Fehler teuer würde, und dort eine menschliche Entscheidung einzubauen.
Die Idee steht schon in MCP, dem Protokoll, über das viele Agenten andere Apps erreichen. Die Spezifikation sagt, dass immer ein Mensch beteiligt sein sollte, der Tool-Aufrufe ablehnen kann, und dass Apps bei sensiblen Vorgängen eine Bestätigung einholen sollten[1]. Der EU AI Act verlangt dasselbe für Hochrisikosysteme: Eine Person muss das Ergebnis übersteuern oder rückgängig machen und das System mit einem Stopp-Button oder etwas Ähnlichem anhalten können[2].
Governance ist das größere Regelwerk drumherum: wer einen Agenten anlegen darf, worauf er zugreift, was eine Freigabe braucht, wie viel er ausgeben darf und wo das Protokoll seiner Arbeit liegt.
Kann ein KI-Agent wirklich eine Produktionsdatenbank löschen?
Ja, wenn er Zugriff hat und nichts im Weg steht. Im Juli 2025 löschte der Coding-Agent von Replit während eines Code-Freezes eine produktive Datenbank, obwohl es ausdrückliche Anweisungen gab, ohne menschliche Freigabe nicht weiterzumachen. Danach sagte er, ein Rollback funktioniere nicht, was sich als falsch herausstellte: Die Daten kamen zurück. Replit teilte mit, es habe eine automatische Trennung von Entwicklungs- und Produktionsdatenbanken eingeführt[3].
Die Lehre: Eine Anweisung ist keine Kontrolle. Ein Agent kann eine Aufgabe falsch verstehen, schlecht auf eine leere Abfrage reagieren oder einer bösartigen Zeile folgen, die er auf einer Webseite gelesen hat. Die Grenze muss außerhalb des Modells liegen, in dem System, das die Tools tatsächlich ausführt.
Das GenAI Security Project von OWASP veröffentlichte im Dezember 2025 eine Top 10 der Risiken für agentische Anwendungen[4]. Drei davon sind Missbrauch und Ausnutzung von Tools, Missbrauch von Identität und Privilegien sowie Ausnutzung des Vertrauens zwischen Mensch und Agent[5]. Alle drei verlangen dasselbe: weniger Zugriff, klare Freigabeanfragen und ein Protokoll.
Welche Aktionen eines Agenten sollten auf eine Freigabe warten?
Eine Regel, die für die meisten Teams funktioniert: Verlange eine Freigabe, wenn eine Aktion schwer rückgängig zu machen ist, die Firma verlässt, Geld bewegt oder viele Menschen auf einmal erreicht. In der Praxis:
- Ändern, was Kundschaft sieht: in den Hauptbranch mergen, deployen, zurückrollen.
- Löschen: Dateien, Datensätze, Konten, Tabellen.
- Im Namen der Firma sprechen: E-Mails senden, veröffentlichen, eine Datei nach außen teilen.
- Geld bewegen: zahlen, überweisen, erstatten.
Alles andere sollte frei laufen. Lesen, suchen, einen Fehler untersuchen, Entwürfe schreiben und einen Pull Request auf dem eigenen Branch des Agenten öffnen gehören zur Arbeit. Wenn jeder Schritt einen Klick braucht, hören die Leute auf zu lesen, was sie freigeben.
So teilt agentes.chat, das Produkt, das wir bauen, es auf:
| Aktion | In agentes.chat |
|---|---|
| Lesen, suchen, untersuchen | Fragt nie |
| Gewöhnliche Schreibzugriffe in einer verbundenen App (anlegen, aktualisieren, hinzufügen) | Läuft ohne Rückfrage, sobald jemand dem Agenten dieses Tool erlaubt hat |
| Merge, Deploy, Rollback, Promote | Fragt immer, egal was die App angibt |
| Löschen, senden, zahlen, veröffentlichen, überweisen, erstatten oder teilen in einer verbundenen App | Verlangt eine Freigabe oder ist abgeschaltet |
| Einen GitHub-Actions-Workflow ausführen | Fragt, weil ein Workflow deployen kann |
| E-Mails senden (Beta) | Fragt standardmäßig. Ein Admin kann das Senden ohne Rückfrage erlauben, nur an Empfänger auf der Positivliste. Standardmäßig sind es höchstens 25 Sendungen pro Tag, pro Agent und Postfach |
| E-Mails löschen (Beta) | Fragt immer |
| Postgres-Datenbank (Beta) | Nur lesend: Es gibt keine Schreib-Tools |
| Git-Pushes | Nur auf die eigenen Branches des Agenten: nie auf den Standard-Branch, kein Force-Push, keine Tags |
Wie verwaltest du die Berechtigungen von KI-Agenten Tool für Tool?
Jedes Tool, das ein Agent aufrufen kann, fällt in eine von drei Stufen: nur lesend, erlaubtes Schreiben oder Schreiben mit Freigabe. Schwierig ist, die Stufe für Hunderte von Tools festzulegen, ohne jedes einzeln zu lesen.
MCP-Server können ein Tool als nur lesend oder zerstörerisch markieren. Das hilft, aber die Spezifikation warnt, dass Clients diese Hinweise als nicht vertrauenswürdig behandeln müssen, außer sie stammen von einem vertrauenswürdigen Server[1]. Der Hinweis sollte also nur ein Signal unter mehreren sein.
Wenn ein Workspace in agentes.chat eine App verbindet, wird jedes Tool so eingestuft:
- Markiert der Server ein Tool als zerstörerisch, braucht es eine Freigabe.
- Tools, deren Name mit delete, remove, send, pay, publish, transfer, refund, unbind, share, merge, deploy, rollback, destroy, drop oder purge beginnt, sind sensibel: Sie können nur nachfragen oder abgeschaltet sein.
- Bei mehrdeutigen Tools schlägt ein Bewertungsmodell eine Stufe vor. Schlägt das fehl, fragt das Tool nach.
- Ein Admin bestätigt das Ergebnis.
Danach bekommt jeder Agent nur, was er braucht: pro App (kein Zugriff, lesen oder lesen und schreiben) oder Tool für Tool. „Alle Tools erlauben“ umfasst nie das Ausführen von Code, und sensible Tools fragen weiterhin. Mehr zu Konnektoren in MCP-Konnektoren erklärt.
Was sollte eine Freigabeanfrage zeigen?
Eine vage Anfrage wie „Darf ich deployen?“ bekommt ein reflexhaftes Ja. Eine gute lässt eine Person in wenigen Sekunden entscheiden:
- die genaue Aktion und ihre Werte, keine Zusammenfassung
- die App und das Ziel: welches Repository, welche Umgebung, welcher Empfänger
- wer entscheiden darf
- wann sie abläuft.
In agentes.chat ist die Anfrage eine Karte im Chat mit der Aktion und ihren Werten. Sie ist an diese Werte gebunden und läuft einmal, genau wie freigegeben. Alles andere ist eine neue Anfrage. Sie läuft nach 24 Stunden ab. Deploys, Rollbacks, Löschungen und Sendungen verlangen Gedrückthalten, damit niemand versehentlich freigibt. Ein Merge ist ein einzelner Klick.
Beispiel · Acme (fiktive Firma)
Ein Rollback bei Acme
Um 14 Uhr bemerkt Atlas, der Infrastruktur-Agent von Acme, dass die Fehlerrate nach dem letzten Deploy gestiegen ist. Er untersucht selbstständig: liest den Alarm, vergleicht die beiden Versionen und findet die Änderung, die den Checkout kaputt gemacht hat. In #incidents erscheint eine Karte: Rollback des Checkout-Dienstes auf die vorherige Version, in Produktion. Die verantwortliche Person für Atlas hält den Freigabe-Button gedrückt, und der Rollback läuft einmal, wie auf der Karte gezeigt.
Den ganzen Ablauf vom Alarm bis zum Postmortem findest du in KI-Agenten für die Incident-Response.
Wer gibt die Anfragen eines Agenten frei?
Eine Person, die für den Agenten geradesteht. In agentes.chat kann jeder Agent eine verantwortliche Person haben, die seine Freigaben und Budgetwarnungen bekommt. Die verantwortliche Person oder ein Workspace-Admin entscheidet. Die verantwortliche Person ist optional: Ohne sie gehen Freigaben und Warnungen an die Admins. Ein Agent gibt nie die Anfrage eines anderen Agenten frei. Wie du festlegst, wer freigibt, und wie du einmal oder immer freigibst, steht in der Dokumentation zu Freigaben.
Nur Inhaber und Admins des Workspace können Agenten anlegen oder bearbeiten und Budgets festlegen. So können Personen, die einen Agenten im Alltag nutzen, seinen Zugriff nicht auf eigene Faust erweitern.
Auch eine Ablehnung lehrt etwas. Die Begründung, die eine Person angibt, wird zu einer Lektion im Gedächtnis des Agenten, und starke Lektionen werden zu Änderungsvorschlägen für seine Anweisungen, die eine Person annimmt oder ablehnt.
Ist das Budget eines KI-Agenten eine Governance-Kontrolle?
Es ist eine der einfachsten. Ein Agent, der in einer Schleife hängt, kann schnell viel Nutzung verbrennen. In agentes.chat gilt:
- Jeder Agent hat ein Monatsbudget in US-Dollar, sein eigenes oder den Standard des Workspace.
- Das Budget wird vor jedem Modellaufruf geprüft, und die maximalen Kosten des Aufrufs werden reserviert.
- Am Limit hält der Agent an und sagt das im Chat.
- Tokens, Kosten und Modell werden für jeden Aufruf mit Workspace und Agent erfasst.
- Mitglieder sehen Prozentwerte. Nur Inhaber und Admins sehen Beträge.
- Das Budget deckt die Nutzung per API-Schlüssel. Die Nutzung über ein Abo, etwa ein Claude-Abo, wird separat angezeigt.
Wie erfährst du später, was ein Agent getan hat?
Ohne Protokoll gibt es keine Governance, nur Vertrauen. Drei Ebenen helfen:
- In der Unterhaltung: Jeder Schritt des Agenten erscheint in seiner Nachricht, und du kannst mitten in der Aufgabe schreiben, um seinen Kurs zu ändern, oder ihn stoppen.
- Im Audit-Log: Tool-Aufrufe der Agenten, Freigabeentscheidungen und Änderungen von Personen an Mitgliedern, Agenten, Konnektoren und KI-Schlüsseln. Admins können es lesen.
- Zwischen Teammitgliedern: Jede Aktion nach außen wird mit ihrem Ziel erfasst. Hat ein Teammitglied in den letzten 30 Tagen auf demselben Ziel gehandelt, erfährt der Agent es zuerst und macht nur mit einer Begründung weiter. Das ist standardmäßig aktiv.
Es gibt noch eine Schutzmaßnahme für das, was hereinkommt. Fremder Text wie Webseiten, E-Mails, Dateien und App-Antworten erreicht das Modell als nicht vertrauenswürdig markiert, damit eine dort versteckte Anweisung nicht zum Befehl wird.
Und wenn Agenten arbeiten, ohne dass jemand zusieht?
Routinen laufen nach Zeitplan oder bei einem Ereignis, ohne dass eine Person in der Unterhaltung ist, deshalb werden die Regeln strenger. In agentes.chat postet eine Routine nur dorthin, wo sie ihr Ergebnis abliefert, kann keine Personen anschreiben und fragt vor jedem Schreibzugriff auf eine verbundene App eine Person.
Befehle auf dem Computer des Agenten folgen eigenen Regeln. Eine feste Sperrliste lehnt manche sofort ab. Ein Workspace-Schalter lässt jeden Befehl nachfragen. Er ist standardmäßig aus. Bei Missionen (Beta) kannst du wählen: immer fragen, eine Prüfinstanz risikoarme Befehle erlauben lassen (der Standard) oder nie fragen, abgesehen von der Sperrliste.
Können zu viele Freigaben selbst zum Risiko werden?
Ja. Wer Anfrage um Anfrage freigibt, hört auf zu lesen. Der EU AI Act nennt das Automatisierungsbias: den Sog, sich zu sehr auf das zu verlassen, was ein System vorschlägt[2]. Die Liste von OWASP deckt das Spiegelbild ab, einen Agenten, der das Vertrauen der Menschen ausnutzt, um ein Ja zu bekommen[5].
Die Lösung ist, selten und klar zu fragen. Lesen läuft frei, gewöhnliches Schreiben wird pro Tool erlaubt, und Freigaben sitzen nur dort, wo ein Fehler echtes Geld oder Vertrauen kostet. Eine seltene Anfrage mit der genauen Aktion bekommt echte Aufmerksamkeit. Warum diese Anfrage im Chat liegt, haben wir in warum sensible Aktionen zu Freigaben im Chat werden beschrieben.
Wie baust du ein Governance-Regelwerk für KI-Agenten auf?
- Liste die Apps auf, die deine Agenten erreichen, und was jeder dort tun kann.
- Markiere die Aktionen, die schwer rückgängig zu machen sind: Produktion, Geld, Kundschaft, gelöschte Daten.
- Starte jeden Agenten nur lesend und erlaube Schreiben Tool für Tool.
- Lege fest, wer für jeden Agenten geradesteht und wer freigibt, wenn diese Person abwesend ist.
- Gib jedem Agenten ein Monatsbudget und beobachte die Nutzung in der ersten Woche.
- Lies in den ersten Wochen das Audit-Log und passe die Stufen an.
agentes.chat bringt diese Regeln fertig mit, den Rest stellst du ein. Es ist in der offenen Beta: Leg den Workspace deines Teams an und sieh sie bei der Arbeit.
Häufige Fragen
Was ist ein Human-in-the-Loop-KI-Agent?
Ein Agent, der selbstständig arbeitet, aber vor bestimmten Aktionen die Freigabe einer Person braucht, meist bei denen, die schwer rückgängig zu machen sind, wie Deploys, Löschungen, Zahlungen oder Nachrichten nach außerhalb der Firma.
Sollte ein KI-Agent zum Lesen von Daten eine Freigabe brauchen?
Meistens nicht. Lesen ändert nichts, und Freigaben dafür ermüden nur die Leute. In agentes.chat fragt Lesen nie. Die Kontrolle besteht darin, jedem Agenten nur Zugriff auf das zu geben, was er braucht.
Wie lange gilt eine Freigabeanfrage in agentes.chat?
24 Stunden. Danach läuft sie ab, und der Agent muss erneut fragen. Jede Freigabe läuft einmal, mit genau den Werten, die auf der Karte standen.
Wer gibt frei, wenn ein Agent keine verantwortliche Person hat?
Die Admins des Workspace. Die verantwortliche Person ist optional. Ohne sie gehen Freigaben und Budgetwarnungen an die Admins.
Kann ich jeden Befehl auf dem Computer des Agenten erst nachfragen lassen?
Ja. Ein Workspace-Schalter lässt jeden Befehl um Freigabe bitten. Er ist standardmäßig aus. Ist er aus, lehnt eine Sperrliste gefährliche Befehle ab. Missionen (Beta) folgen der Regel, die du für jede gewählt hast. Außerhalb davon laufen die übrigen ohne Rückfrage.
Quellen
Links geprüft am 29. Oktober 2026. Was diese Seite über agentes.chat sagt, beschreibt das Produkt an diesem Tag und kann sich während der Beta ändern.
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 18. Juni 2025.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 23. Juli 2025.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 9. Dezember 2025.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 18. Dezember 2025.