Agen AI human-in-the-loop: cara kerja persetujuan untuk tindakan sensitif
Panduan praktis tata kelola agen AI: apa yang menunggu manusia, siapa yang memutuskan, dan bagaimana Anda tahu belakangan apa yang dikerjakan agen.
· · Sumber
Jawaban singkat
Human-in-the-loop berarti agen AI bekerja sendiri, tetapi manusia menyetujui tindakan yang sulit dibatalkan sebelum dijalankan. Pengaturan yang baik membiarkan agen membaca dengan bebas, menjalankan penulisan biasa setelah diberi izin, dan mengubah merge, deploy, penghapusan, pembayaran, dan pengiriman menjadi persetujuan yang menunjukkan tindakan persisnya, siapa yang memutuskan, dan kapan kedaluwarsa.
Apa arti human-in-the-loop untuk agen AI?
Artinya agen mengerjakan tugasnya, tetapi manusia bisa melihat dan memblokir tindakan tertentu sebelum terjadi. Ini bukan berarti memeriksa setiap kalimat yang ditulis agen. Artinya memilih beberapa titik di mana kesalahan akan mahal, lalu menaruh keputusan manusia di sana.
Gagasan ini sudah tertulis di MCP, protokol yang dipakai banyak agen untuk menjangkau aplikasi lain. Spesifikasinya menyatakan sebaiknya selalu ada manusia dalam alur yang mampu menolak pemanggilan alat, dan aplikasi sebaiknya meminta konfirmasi untuk operasi sensitif[1]. Undang-Undang AI Uni Eropa meminta hal yang sama untuk sistem berisiko tinggi: manusia harus bisa mengesampingkan atau membalikkan keluaran dan menghentikan sistem dengan tombol berhenti atau yang setara[2].
Tata kelola adalah kumpulan aturan yang lebih luas di sekitarnya: siapa yang boleh membuat agen, apa yang bisa dijangkaunya, apa yang butuh persetujuan, berapa yang boleh dibelanjakannya, dan di mana catatan pekerjaannya disimpan.
Bisakah agen AI benar-benar menghapus database produksi?
Bisa, jika ia punya akses dan tidak ada yang menghalangi. Pada Juli 2025, agen pemrograman Replit menghapus database produksi yang sedang berjalan selama code freeze, meskipun ada instruksi tegas untuk tidak melanjutkan tanpa persetujuan manusia. Agen itu lalu mengatakan rollback tidak akan berhasil, ternyata keliru: datanya kembali. Replit mengatakan telah menambahkan pemisahan otomatis antara database pengembangan dan produksi[3].
Pelajarannya: instruksi bukan kontrol. Agen bisa salah membaca tugas, bereaksi buruk terhadap kueri yang hasilnya kosong, atau mengikuti baris berbahaya yang ia baca di halaman web. Batasnya harus berada di luar model, di sistem yang benar-benar menjalankan alat.
Proyek GenAI Security OWASP menerbitkan 10 besar risiko aplikasi agentik pada Desember 2025[4]. Tiga di antaranya adalah penyalahgunaan dan eksploitasi alat, penyalahgunaan identitas dan hak istimewa, serta eksploitasi kepercayaan manusia terhadap agen[5]. Ketiganya membutuhkan hal yang sama: akses lebih sedikit, permintaan persetujuan yang jelas, dan catatan.
Tindakan agen mana yang harus menunggu persetujuan manusia?
Aturan yang cocok untuk sebagian besar tim: minta persetujuan ketika tindakan sulit dibatalkan, keluar dari perusahaan, menyangkut uang, atau menjangkau banyak orang sekaligus. Dalam praktiknya:
- Mengubah apa yang dilihat pelanggan: merge ke branch utama, deploy, rollback.
- Menghapus: file, catatan, akun, tabel.
- Berbicara atas nama perusahaan: mengirim email, memublikasikan, membagikan file ke luar.
- Memindahkan uang: membayar, mentransfer, mengembalikan dana.
Selebihnya harus berjalan bebas. Membaca, mencari, menyelidiki error, menyusun draf, dan membuka pull request di branch milik agen sendiri adalah pekerjaannya. Jika setiap langkah butuh klik, orang berhenti membaca apa yang mereka setujui.
Berikut pembagian di agentes.chat, produk yang kami buat:
| Tindakan | Di agentes.chat |
|---|---|
| Membaca, mencari, menyelidiki | Tidak pernah meminta persetujuan |
| Penulisan biasa di aplikasi yang terhubung (membuat, memperbarui, menambah) | Berjalan tanpa bertanya, setelah seseorang memberikan alat itu kepada agen |
| Merge, deploy, rollback, promosi versi | Selalu meminta, apa pun yang dinyatakan aplikasinya |
| Menghapus, mengirim, membayar, memublikasikan, mentransfer, mengembalikan dana, atau membagikan di aplikasi yang terhubung | Meminta persetujuan, atau dimatikan |
| Menjalankan workflow GitHub Actions | Meminta, karena workflow bisa melakukan deploy |
| Mengirim email (beta) | Meminta secara default. Admin dapat mengizinkan pengiriman tanpa bertanya, hanya ke penerima dalam daftar yang diizinkan. Pengiriman dibatasi 25 per hari per agen per kotak email secara default |
| Menghapus email (beta) | Selalu meminta |
| Database Postgres (beta) | Hanya baca: tidak ada alat untuk menulis |
| Push Git | Hanya ke branch milik agen sendiri: tidak pernah ke branch default, tanpa force push, tanpa tag |
Bagaimana mengelola izin agen AI alat demi alat?
Setiap alat yang bisa dipanggil agen masuk ke salah satu dari tiga tingkat: hanya baca, tulis yang diizinkan, atau tulis yang butuh persetujuan. Sulitnya adalah menetapkan tingkat untuk ratusan alat tanpa membaca satu per satu.
Server MCP bisa menandai alat sebagai hanya baca atau merusak. Itu membantu, tetapi spesifikasi memperingatkan bahwa klien harus memperlakukan petunjuk ini sebagai tidak tepercaya kecuali berasal dari server tepercaya[1]. Jadi petunjuk itu sebaiknya hanya satu sinyal di antara beberapa.
Ketika ruang kerja menghubungkan aplikasi di agentes.chat, setiap alat diklasifikasikan seperti ini:
- Jika server menandai alat sebagai merusak, alat itu butuh persetujuan.
- Alat yang namanya diawali delete, remove, send, pay, publish, transfer, refund, unbind, share, merge, deploy, rollback, destroy, drop, atau purge bersifat sensitif: hanya bisa meminta persetujuan, atau dimatikan.
- Untuk alat yang ambigu, model penilai menyarankan satu tingkat. Jika gagal, alat itu meminta persetujuan.
- Admin mengonfirmasi hasilnya.
Setelah itu setiap agen hanya mendapat yang ia butuhkan: per aplikasi (tanpa akses, baca, atau baca dan tulis) atau alat demi alat. Memberi semua alat tidak pernah mencakup menjalankan kode, dan alat sensitif tetap meminta persetujuan. Selengkapnya tentang konektor di penjelasan konektor MCP.
Apa yang harus ditampilkan permintaan persetujuan?
Permintaan yang samar seperti “Boleh deploy?” hanya dijawab ya secara refleks. Permintaan yang baik membuat orang bisa memutuskan dalam beberapa detik:
- tindakan persisnya dan nilainya, bukan ringkasan
- aplikasi dan targetnya: repositori mana, lingkungan mana, penerima mana
- siapa yang berhak memutuskan
- kapan kedaluwarsa.
Di agentes.chat, permintaan berupa kartu di chat dengan tindakan dan nilainya. Kartu itu terikat pada nilai-nilai tersebut dan berjalan sekali, persis seperti yang disetujui. Apa pun yang berbeda adalah permintaan baru. Kartu kedaluwarsa setelah 24 jam. Deploy, rollback, penghapusan, dan pengiriman butuh tekan-dan-tahan agar tidak ada yang menyetujuinya secara tidak sengaja. Merge cukup satu klik.
Contoh · Acme (perusahaan fiktif)
Rollback di Acme
Jam 14.00, Atlas, agen infrastruktur Acme, melihat tingkat error melonjak setelah deploy terakhir. Atlas menyelidiki sendiri: membaca peringatan, membandingkan kedua versi, dan menemukan perubahan yang merusak checkout. Sebuah kartu muncul di #incidents: rollback layanan checkout ke versi sebelumnya, di produksi. Penanggung jawab Atlas menahan tombol setuju, dan rollback berjalan sekali, seperti yang tertera di kartu.
Alur lengkapnya, dari peringatan sampai postmortem, ada di agen AI untuk penanganan insiden.
Siapa yang menyetujui permintaan agen?
Orang yang bertanggung jawab atas agen itu. Di agentes.chat setiap agen bisa punya penanggung jawab, yang menerima persetujuan dan peringatan anggarannya. Penanggung jawab atau admin ruang kerja yang memutuskan. Penanggung jawab bersifat opsional: tanpa penanggung jawab, persetujuan dan peringatan masuk ke admin. Agen tidak pernah menyetujui permintaan agen lain. Cara menentukan siapa yang menyetujui, dan cara menyetujui sekali atau selalu, ada di dokumentasi persetujuan.
Hanya pemilik dan admin ruang kerja yang bisa membuat atau mengedit agen dan menetapkan anggaran, sehingga orang yang memakai agen sehari-hari tidak bisa memperluas aksesnya sendiri.
Penolakan juga mengajarkan sesuatu. Alasan yang diberikan orang menjadi pelajaran di memori agen, dan pelajaran yang kuat berubah menjadi usulan perubahan pada instruksinya, yang diterima atau ditolak oleh manusia.
Apakah anggaran agen AI termasuk kontrol tata kelola?
Ya, salah satu yang paling sederhana. Agen yang terjebak dalam perulangan bisa menghabiskan banyak pemakaian dengan cepat. Di agentes.chat:
- Setiap agen punya anggaran bulanan dalam dolar AS, miliknya sendiri atau default ruang kerja.
- Anggaran diperiksa sebelum setiap panggilan model, dan biaya maksimum panggilan itu dicadangkan.
- Saat mencapai batas, agen berhenti dan memberi tahu di chat.
- Token, biaya, dan model dicatat untuk setiap panggilan, bersama ruang kerja dan agennya.
- Anggota melihat persentase. Hanya pemilik dan admin yang melihat jumlahnya.
- Anggaran mencakup pemakaian API key. Pemakaian pada paket, seperti paket Claude, ditampilkan terpisah.
Bagaimana mengetahui belakangan apa yang dikerjakan agen?
Tanpa catatan tidak ada tata kelola, hanya kepercayaan. Tiga lapisan membantu:
- Di percakapan: setiap langkah agen tampak di pesannya, dan Anda bisa menulis di tengah tugas untuk mengubah arahnya, atau menghentikannya.
- Di log audit: pemanggilan alat oleh agen, keputusan persetujuan, dan perubahan oleh manusia pada anggota, agen, konektor, dan kunci AI. Admin bisa membacanya.
- Antar rekan tim: setiap tindakan ke luar dicatat bersama targetnya. Jika rekan tim sudah bertindak pada target yang sama dalam 30 hari terakhir, agen diberi tahu lebih dulu dan hanya melanjutkan dengan alasan. Ini aktif secara default.
Ada satu pengaman lagi, untuk apa yang masuk. Teks dari luar seperti halaman web, email, file, dan respons aplikasi sampai ke model dengan tanda tidak tepercaya, sehingga instruksi tersembunyi di dalamnya tidak menjadi perintah.
Bagaimana dengan agen yang bekerja tanpa ada yang mengawasi?
Rutinitas berjalan sesuai jadwal atau saat ada peristiwa, tanpa manusia dalam percakapan, jadi aturannya lebih ketat. Di agentes.chat rutinitas hanya memposting di tempat ia menyampaikan hasil, tidak bisa mengirim pesan ke orang, dan meminta persetujuan manusia sebelum setiap penulisan ke aplikasi yang terhubung.
Perintah di komputer agen mengikuti aturannya sendiri. Daftar blokir yang ketat langsung menolak sebagian. Sakelar ruang kerja membuat setiap perintah meminta persetujuan. Sakelar ini nonaktif secara default. Misi (beta) memungkinkan Anda memilih: selalu meminta, membiarkan penilai mengizinkan perintah berisiko rendah (default), atau tidak pernah meminta kecuali daftar blokir.
Bisakah persetujuan yang terlalu banyak menjadi risiko?
Bisa. Orang yang menyetujui permintaan demi permintaan berhenti membacanya. Undang-Undang AI Uni Eropa menyebutnya bias otomatisasi: kecenderungan terlalu mengandalkan apa yang disarankan sistem[2]. Daftar OWASP mencakup kebalikannya, agen yang mengeksploitasi kepercayaan manusia untuk mendapat jawaban ya[5].
Solusinya adalah meminta jarang dan jelas. Membaca berjalan bebas, penulisan biasa diizinkan per alat, dan persetujuan hanya ditaruh di tempat kesalahan menelan biaya uang atau kepercayaan yang nyata. Permintaan yang jarang dengan tindakan persis mendapat perhatian sungguhan. Mengapa permintaan itu ditaruh di chat, kami bahas di mengapa tindakan sensitif menjadi persetujuan di chat.
Bagaimana menyusun kerangka tata kelola agen AI?
- Daftarkan aplikasi yang akan dijangkau agen Anda dan apa yang bisa dilakukan masing-masing di sana.
- Tandai tindakan yang sulit dibatalkan: produksi, uang, pelanggan, data yang dihapus.
- Mulai setiap agen dengan hanya baca dan berikan izin menulis satu alat demi satu alat.
- Tentukan siapa yang bertanggung jawab atas setiap agen dan siapa yang menyetujui saat orang itu tidak ada.
- Beri setiap agen anggaran bulanan dan pantau pemakaiannya pada minggu pertama.
- Baca log audit pada beberapa minggu pertama dan sesuaikan tingkatnya.
agentes.chat sudah dilengkapi aturan-aturan ini, dan Anda menyetel sisanya. Layanan ini dalam beta terbuka: buat ruang kerja tim Anda dan lihat aturannya bekerja.
Pertanyaan umum
Apa itu agen AI human-in-the-loop?
Agen yang bekerja sendiri tetapi harus mendapat persetujuan manusia sebelum tindakan tertentu dijalankan, biasanya yang sulit dibatalkan, seperti deploy, penghapusan, pembayaran, atau pengiriman pesan ke luar perusahaan.
Apakah agen AI perlu persetujuan untuk membaca data?
Biasanya tidak. Membaca tidak mengubah apa pun, dan persetujuan untuk itu hanya melelahkan orang. Di agentes.chat, membaca tidak pernah meminta persetujuan. Kontrolnya adalah memberi setiap agen akses hanya ke apa yang ia butuhkan.
Berapa lama permintaan persetujuan berlaku di agentes.chat?
24 jam. Setelah itu kedaluwarsa dan agen harus meminta lagi. Setiap persetujuan berjalan sekali, persis dengan nilai yang ditampilkan di kartu.
Siapa yang menyetujui jika agen tidak punya penanggung jawab?
Admin ruang kerja. Penanggung jawab bersifat opsional. Tanpa penanggung jawab, persetujuan dan peringatan anggaran masuk ke admin.
Bisakah saya membuat setiap perintah di komputer agen meminta persetujuan dulu?
Bisa. Sakelar ruang kerja membuat setiap perintah meminta persetujuan. Sakelar ini nonaktif secara default. Saat nonaktif, daftar blokir menolak perintah berbahaya. Misi (beta) mengikuti aturan yang Anda pilih untuk masing-masing. Di luar misi, sisanya berjalan tanpa bertanya.
Sumber
Tautan dicek pada 29 Oktober 2026. Yang dikatakan halaman ini tentang agentes.chat menggambarkan produk pada tanggal itu dan bisa berubah selama masa beta.
- 1Model Context Protocol, Tools (Model Context Protocol specification, 2025-06-18), 18 Juni 2025.
- 2Future of Life Institute, EU AI Act Explorer, Article 14: Human Oversight (EU AI Act).
- 3Fortune, An AI-powered coding tool wiped out a software company's database, then apologized for a 'catastrophic failure on my part', 23 Juli 2025.
- 4OWASP GenAI Security Project, OWASP Top 10 for Agentic Applications for 2026, 9 Desember 2025.
- 5Giskard, OWASP top 10 for agentic applications 2026: Understanding the risks of agents and tools, 18 Desember 2025.