Apa Itu Arsitektur AI Agent?
Arsitektur AI agent adalah susunan model, instruction, tools, state atau memory, orchestration, environment, dan guardrails yang memungkinkan sistem menjalankan beberapa langkah menuju suatu tujuan. Model membantu menafsirkan situasi dan memilih langkah, sedangkan software di sekitarnya mengatur akses, eksekusi, pencatatan, serta kondisi berhenti.
Karena dapat mengubah state di luar percakapan, kualitas agent tidak cukup dinilai dari jawaban akhirnya. Perlu diperiksa pula tindakan yang dilakukan, data yang diakses, permission yang digunakan, efek samping, biaya, dan keterlibatan manusia.
Artikel ini membahas arsitektur setelah konsep dasarnya dipahami. Untuk pengertian serta perbedaannya dengan AI tradisional, mulai dari apa itu Agentic AI.
- AI agent adalah sebuah sistem, bukan model bahasa saja.
- Workflow memiliki jalur yang ditentukan software; agent memilih langkah secara lebih dinamis.
- Tools memperluas kemampuan sekaligus blast radius kesalahan.
- Memory harus memiliki sumber, scope, lifecycle, dan aturan akses yang jelas.
- Guardrails perlu membatasi capability, permission, autonomy, dan dampak.
- Evaluasi harus memeriksa outcome serta trajectory, bukan hanya teks terakhir.
Workflow, Chatbot, dan Agent
Tidak semua aplikasi yang memakai LLM merupakan agent.
| Sistem | Cara kerja dominan | Contoh |
|---|---|---|
| Chatbot | Menerima input dan menghasilkan respons | Menjawab pertanyaan dari knowledge base |
| Fixed workflow | Menjalankan urutan yang ditentukan software | Klasifikasi lalu routing ke antrean tertentu |
| Agentic workflow | Memakai model pada beberapa titik keputusan dalam alur terkendali | Memilih sumber, menyusun draft, lalu meminta approval |
| AI agent | Menentukan langkah dan tools secara dinamis untuk mencapai tujuan | Menginvestigasi masalah dan memperbarui sistem setelah izin |
Building Effective Agents dari Anthropic membedakan workflow—LLM dan tools mengikuti jalur yang telah ditentukan—dengan agent yang mengarahkan proses serta penggunaan tools secara dinamis.
Perbedaan ini bersifat spektrum, bukan label absolut. Satu produk dapat memakai fixed routing pada tahap awal, agent untuk investigasi, dan workflow tetap untuk approval serta execution. Arsitektur hybrid sering lebih masuk akal daripada menyerahkan seluruh proses kepada agent.
Komponen Utama AI Agent
Agent yang dapat digunakan tidak lahir hanya dengan menambahkan prompt “kerjakan sampai selesai.” Ia membutuhkan beberapa komponen.
Tujuan dan instruction
Tujuan menentukan outcome, scope, prioritas, serta kondisi selesai. Instruction menjelaskan policy, constraint, format, dan kapan agent harus berhenti atau meminta bantuan.
Tujuan “optimalkan campaign” terlalu terbuka. Tujuan yang lebih dapat diperiksa menyebut campaign, periode, data yang boleh dibaca, perubahan yang dilarang, output yang diminta, serta pihak yang menyetujui tindakan.
Model
Model menafsirkan input, menyusun rencana, memilih tool, dan menilai observation. Kemampuan model penting, tetapi perilaku agent juga dipengaruhi instruction, tool design, context, memory, orchestration, serta environment.
Mengganti model tidak otomatis memperbaiki tool yang ambigu atau permission yang terlalu luas. Evaluasi selalu perlu memperlakukan model dan harness sebagai satu sistem.
Tools
Tools menghubungkan agent dengan search, database, file, browser, API, email, kalender, code execution, atau sistem bisnis. Setiap tool memiliki contract: nama, deskripsi, input, output, error, permission, dan efek samping.
Tool read hanya mengambil informasi. Tool write dapat membuat atau mengubah state. Tool execute dapat menjalankan operasi lebih luas. Perbedaan tersebut menentukan standar autentikasi, approval, logging, dan rollback.
State dan memory
State menyimpan kondisi proses saat ini: task, langkah yang telah dilakukan, hasil tool, error, dan keputusan sementara. Memory membawa informasi melampaui satu langkah atau session.
Memory bukan satu tempat tunggal. Sistem dapat memiliki working context, conversation history, user preferences, document store, database state, dan artifact hasil kerja. Setiap memory memerlukan aturan tentang sumber, masa simpan, pembaruan, konflik, privasi, serta siapa yang boleh membacanya.
Orchestration dan agent loop
Orchestrator membangun context, memanggil model, memvalidasi tool call, menjalankan tool, mengembalikan observation, serta menentukan apakah loop dilanjutkan. Ia juga menangani retry, timeout, error, approval, dan penggunaan resource.
Guardrails dan observability
Guardrails membatasi perilaku sebelum, selama, dan setelah tindakan. Observability mencatat prompt, tool call, result, permission, latency, cost, error, dan keputusan manusia. Tanpa keduanya, sistem sulit diperiksa ketika hasilnya salah.
Bagaimana Agent Loop Bekerja?
Alur agent dapat diringkas sebagai berikut:
- Receive: menerima tujuan dan context awal.
- Interpret: memahami task, constraint, dan kondisi environment.
- Plan or choose: menentukan langkah berikutnya.
- Act: memanggil tool atau menghasilkan intermediate output.
- Observe: membaca result, error, atau perubahan state.
- Update: memperbarui rencana serta context.
- Stop, escalate, or continue: menyelesaikan task, meminta approval, atau mengulang loop.
Paper ReAct menunjukkan pola yang menggabungkan reasoning trace dengan task-specific actions secara bergantian. Action memberi akses ke sumber atau environment eksternal, sementara observation membantu memperbarui langkah berikutnya.
Loop tidak boleh dibiarkan tanpa batas. Agent memerlukan kondisi selesai, maximum steps, time limit, cost limit, retry policy, dan aturan escalation. Output “selesai” dari model juga belum membuktikan outcome benar-benar tercapai; environment perlu diperiksa.
Tool Calling, Permission, dan Dampak Tindakan
Tool calling biasanya dimulai ketika model menghasilkan nama fungsi serta argument terstruktur. Application memvalidasi permintaan, memeriksa authorization, menjalankan fungsi, lalu mengembalikan result kepada model.
Pemisahan tersebut penting: model mengusulkan tindakan, tetapi execution layer yang memutuskan apakah tindakan boleh dijalankan. Jangan menjadikan teks model sebagai satu-satunya authorization.
NIST tentang tool use dalam agent systems menekankan bahwa tool memperluas tindakan agent di luar text output dan membawa pertimbangan security serta reliability. Tool perlu dideskripsikan bersama capability dan limitation agar downstream system dapat menggunakannya dengan benar.
Untuk setiap tool, tentukan:
- resource dan action yang tersedia;
- read, write, execute, atau financial impact;
- identity yang dipakai serta scope permission;
- parameter yang wajib divalidasi;
- data sensitif yang dapat terlihat;
- idempotency, retry, dan risiko duplicate action;
- preview, approval, serta rollback;
- log yang disimpan tanpa membocorkan credential.
Guardrails dan Human Oversight
Guardrail yang efektif menggunakan beberapa lapisan. Filter input saja tidak cukup ketika agent memiliki tool dengan efek nyata.
Batasi capability
Berikan hanya tool yang diperlukan. Agent untuk riset tidak memerlukan tool pengiriman email atau penghapusan file. Pisahkan read dari write agar task observasi tidak mendapat capability perubahan.
Terapkan least privilege
Credential agent sebaiknya hanya mengakses resource serta action dalam scope task. Hindari shared administrator account. Permission juga perlu mengikuti user yang meminta tindakan, bukan meningkat hanya karena dipanggil agent.
Gunakan approval berdasarkan risiko
Tindakan reversible dan berdampak kecil dapat berjalan dengan monitoring. Publikasi, pembayaran, penghapusan, perubahan permission, komunikasi eksternal, atau keputusan high-impact membutuhkan preview dan approval yang bermakna.
Validasi sebelum dan setelah tindakan
Periksa schema argument, business rule, target, jumlah, serta state terbaru sebelum execution. Setelah itu, verifikasi outcome dari environment—bukan dari klaim model.
Batasi resource dan sediakan penghentian
Maximum steps, rate limit, budget, timeout, sandbox, circuit breaker, dan kill switch membatasi loop serta blast radius. Audit trail perlu menunjukkan siapa meminta, apa yang dipilih agent, tool yang dijalankan, dan siapa menyetujui.
OWASP tentang Excessive Agency mengaitkan risiko dengan functionality, permission, atau autonomy yang berlebihan. Prinsip praktisnya: jangan memberi agent lebih banyak kewenangan daripada yang diperlukan untuk task.
Lanjutkan ke Tiga Batas Operasional Utama
Gunakan pillar ini untuk memahami arsitektur end-to-end, lalu lanjutkan sesuai pertanyaan:
- AI agent vs chatbot membantu memilih chatbot, workflow, atau agent berdasarkan outcome dan tingkat autonomy;
- human-in-the-loop pada AI agent membahas checkpoint, approval, exception, takeover, dan approval fatigue;
- guardrails AI agent memperdalam pembatasan capability, permission, execution, containment, dan recovery.
Ketiganya saling melengkapi. Pemilihan bentuk sistem menentukan risiko; oversight dan guardrails menentukan bagaimana risiko tersebut dibatasi.
Prompt Injection dan Agent Hijacking
Agent dapat membaca email, page web, document, ticket, atau tool output yang berisi instruction tersembunyi. Jika konten tersebut diperlakukan sebagai perintah, agent dapat dialihkan dari tujuan awal. Serangan melalui data eksternal ini disebut indirect prompt injection atau agent hijacking.
NIST mencatat agent hijacking sebagai risiko ketika instruction berbahaya dimasukkan ke data yang dikonsumsi agent sehingga sistem melakukan tindakan yang tidak diinginkan.
Tidak ada satu prompt yang menjadi perlindungan sempurna. Mitigasi mencakup pemisahan instruction dan data, tool allowlist, least privilege, validation, approval, isolation, content handling, serta pengujian adversarial. Agent juga perlu menolak perintah dari source yang tidak berwenang meskipun formatnya terlihat meyakinkan.
Single-Agent atau Multi-Agent?
Multi-agent system membagi pekerjaan kepada agent dengan peran, context, atau tools berbeda. Ia berguna ketika task dapat didekomposisi dengan jelas, tetapi menambah koordinasi, latency, permission, dan titik gagal. Mulai dari arsitektur paling sederhana; multi-agent layak ketika pembagian tugas terbukti memperbaiki outcome.
Cara Mengevaluasi AI Agent
Evaluasi agent perlu memeriksa setidaknya tiga lapisan:
| Lapisan | Apa yang diperiksa |
|---|---|
| Outcome | Apakah state akhir benar dan task selesai? |
| Trajectory | Apakah tool, urutan, retry, dan escalation masuk akal? |
| Impact | Apakah ada side effect, policy violation, atau perubahan tak diinginkan? |
Metric praktis dapat mencakup task success rate, permission violation, recovery dari tool error, unnecessary tool calls, latency, cost per successful task, escalation accuracy, dan human override. Uji pula ambiguous request, missing data, conflicting instructions, malicious content, unavailable tools, dan interrupted execution.
Panduan evaluasi agent dari Anthropic membedakan transcript dari outcome: agent dapat mengklaim penerbangan telah dipesan, tetapi evaluator perlu memeriksa apakah reservation benar-benar tercatat di environment. Evaluasi sebaiknya menggabungkan code-based checks, model-based grading ketika tepat, dan human review.
Simpan task suite serta baseline agar perubahan model, prompt, tool, atau policy dapat diuji sebagai regression. Monitoring produksi tetap diperlukan karena semua kondisi nyata tidak dapat diwakili test environment.
Kapan Bisnis Membutuhkan Agent?
Agent layak dipertimbangkan ketika task:
- memiliki tujuan jelas tetapi jalurnya sulit ditentukan seluruhnya di awal;
- memerlukan interpretation atas informasi tidak terstruktur;
- membutuhkan beberapa tool atau langkah yang bergantung pada observation;
- memiliki outcome yang dapat diverifikasi;
- dapat dibatasi dengan permission, approval, dan rollback yang sesuai.
Gunakan automation biasa jika aturan serta jalurnya stabil. Gunakan chatbot jika kebutuhan utamanya menjawab atau menyusun text. Jangan menambahkan autonomy ketika manfaatnya hanya menghemat satu click tetapi memperbesar risiko perubahan state.
Contohnya, agent customer support dapat membaca ticket dan kebijakan, lalu menyiapkan draft untuk approval manusia. Ia tidak perlu mendapat permission refund langsung; sistem dapat membuat proposal nilai dan alasan untuk persetujuan terpisah. Pekerjaan interpretatif tetap terbantu tanpa menyerahkan tindakan finansial.
Kesalahan yang Perlu Dihindari
- Menyebut setiap chatbot sebagai agent.
- Menggunakan agent untuk workflow yang lebih aman dibuat deterministik.
- Memberi tool terlalu banyak atau deskripsinya ambigu.
- Menggunakan administrator credential untuk semua task.
- Menganggap memory selalu benar dan aman.
- Menaruh semua kontrol dalam system prompt.
- Mengandalkan human approval tanpa informasi yang cukup untuk menilai risiko.
- Mengevaluasi jawaban akhir tanpa memeriksa state dan side effect.
- Membuat multi-agent system sebelum single agent terbukti tidak cukup.
Pertanyaan Umum
Apakah tool calling otomatis membuat sebuah aplikasi menjadi agent?
Tidak. Satu tool call dalam jalur tetap dapat menjadi workflow biasa. Agency meningkat ketika model memilih dan menyesuaikan beberapa tindakan berdasarkan observation.
Apakah human-in-the-loop membuat agent selalu aman?
Tidak otomatis. Approval dapat menjadi formalitas jika informasi tidak jelas atau terlalu sering diminta. Human oversight harus ditempatkan pada keputusan penting dengan context, pilihan, dan konsekuensi yang terlihat.
Apakah multi-agent lebih baik daripada single agent?
Tidak secara otomatis. Multi-agent berguna ketika pembagian kerja memberikan hasil yang dapat diukur. Jika tidak, koordinasinya justru menambah biaya dan failure mode.
Kesimpulan
AI agent adalah sistem yang menghubungkan model dengan tools, state, memory, environment, dan kontrol untuk menjalankan langkah menuju tujuan. Kemampuan bertindak membuatnya lebih berguna daripada generation biasa, sekaligus memperbesar konsekuensi error.
Arsitektur yang sehat dimulai dari scope sempit, permission minimum, outcome yang dapat diverifikasi, serta jalur escalation yang jelas. Tambahkan autonomy hanya ketika memberi nilai yang terukur. Dengan demikian, kecerdasan model tidak berdiri sendiri; ia berada di dalam sistem yang dapat dibatasi, diamati, dihentikan, dan dipertanggungjawabkan.