Multi-agent prompting (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Prompting multi-agen (Ingg. multi-agent prompting) — adalah metode dalam rekayasa prompt dan sistem kecerdasan buatan, di mana beberapa agen otonom berbasis large language model (LLM) berinteraksi satu sama lain untuk menyelesaikan tugas-tugas kompleks melalui pertukaran instruksi dan respons yang terstruktur[1].

Dengan kata lain, sistem multi-agen terdiri dari beberapa agen LLM yang bekerja bersama-sama atas permintaan pengguna yang kompleks, mendistribusikan tahap-tahap penalaran (subtasks) di antara agen-agen dengan "peran" dan kompetensi yang berbeda. Tujuan utama pendekatan ini adalah mengatasi keterbatasan model tunggal pada tugas-tugas kompleks melalui penyelesaian secara kolektif. Penggunaan beberapa agen yang saling berinteraksi bertujuan meningkatkan kualitas penalaran, akurasi faktual, dan keandalan jawaban[2]. Ciri penting dari pendekatan ini adalah sifat instruktif yang ketat: setiap LLM diberi peran atau tugas tertentu dalam kerangka skema penyelesaian secara keseluruhan.

Metode dan Pola Arsitektur

Para peneliti telah mengusulkan sejumlah skema prompting multi-agen yang berbeda dalam hal sifat interaksi antar agen dan peran mereka.

Pemodelan Pakar Berbasis Peran

Satu atau beberapa agen ditunjuk sebagai pakar domain dengan spesialisasi yang sempit. Misalnya, dalam kelompok multi-agen, agen-agen yang berbeda dapat mewakili bidang pengetahuan yang berbeda (fisikawan, kimiawan, biolog) atau tahap penyelesaian tugas yang berbeda (perencana, pelaksana, pengkritik)[1]. Pendekatan ini memungkinkan implementasi prompting few-shot yang efektif, di mana setiap agen pakar menerima contoh-contoh demonstrasi di bidangnya, sehingga meningkatkan performa keseluruhan.

Koreksi Diri dan Kritik (Self-reflection)

Agen dapat berperan sebagai "pengkritik" atau merefleksikan solusi agen lain maupun respons sebelumnya sendiri. Strategi self-reflection atau self-refinement terdiri dari LLM yang pertama-tama menghasilkan jawaban, kemudian model yang sama atau model lain menganalisis dan memperbaiki kesalahan dalam jawaban tersebut[1]. Hal ini memungkinkan peningkatan iteratif pada hasil akhir.

Debat Antar Agen

Varian kompetitif dari prompting multi-agen, yang berupa penyelenggaraan diskusi atau perdebatan di antara beberapa LLM. Dalam skema LLM-Debate, dua agen atau lebih berdebat tentang jawaban yang benar atas suatu tugas (misalnya, matematis) dan saling mengkritisi argumen satu sama lain[3]. Format debat semacam ini meningkatkan kemampuan model dalam penalaran logis dan meningkatkan akurasi faktual jawaban dibandingkan dengan penyelesaian tunggal.

Perencanaan dan Dekomposisi Tugas

Satu agen menjalankan fungsi sebagai perencana, memecah permintaan yang kompleks menjadi serangkaian langkah atau subtugas, yang kemudian diselesaikan oleh dirinya sendiri atau agen lain. Metode-metode seperti ReAct dan Reflexion mengimplementasikan prinsip perencanaan iteratif dengan umpan balik semacam ini. LLM terlebih dahulu menghasilkan rencana penyelesaian sebelum mulai melaksanakannya, yang membantu menangani rantai penalaran yang panjang[1].

Kolaborasi Multi-Persona

Alih-alih menggunakan model yang berbeda, satu LLM yang sama dapat digunakan dengan membuatnya "memainkan" beberapa agen dengan pengaturan persona atau sudut pandang yang berbeda. Dalam pendekatan multi-persona self-collaboration, satu model secara berurutan mengambil beberapa peran selama dialog dan melakukan diskusi seolah-olah dengan dirinya sendiri. Meskipun penelitian menunjukkan bahwa agen-agen independen yang terpisah memberikan efisiensi yang lebih tinggi, metode ini memungkinkan simulasi tim pakar di dalam satu LLM[1].

Penerapan dan Hasil

Pendekatan prompting multi-agen telah menunjukkan efektivitasnya di sejumlah bidang di mana LLM tunggal sebelumnya menghadapi kesulitan.

Penalaran Matematis dan Logis

Penggunaan beberapa agen secara nyata meningkatkan akurasi pada tugas-tugas yang memerlukan inferensi multi-langkah (aritmetika kompleks, pembuktian matematis, teka-teki logika). Dalam karya Du et al. (2023), pendekatan "debat" multi-agen meningkatkan hasil dibandingkan dengan agen tunggal. Analisis menunjukkan bahwa seiring bertambahnya jumlah agen yang berpartisipasi dalam diskusi, akurasi jawaban pun meningkat[3].

Tugas Ilmiah dan Teknis

Untuk masalah subjek yang kompleks (fisika, kimia), metode CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting) diusulkan, di mana beberapa agen LLM dengan peran berbeda (pakar) menerapkan berbagai strategi penalaran secara paralel. Dalam pengujian pada tugas fisika tingkat perguruan tinggi, CoMM secara nyata melampaui pendekatan dasar seperti chain-of-thought, dengan lebih sedikit kesalahan dalam rumus dan perhitungan[1].

Pembuatan dan Debugging Kode

Dalam bidang pemrograman, sistem multi-agen digunakan untuk meningkatkan kualitas kode dan mengurangi jumlah kesalahan. Sistem PromptV menggunakan beberapa agen untuk penulisan, verifikasi, dan perbaikan kode Verilog secara berurutan. Pembagian peran (pembuatan, peninjauan, pengujian) meningkatkan kemampuan model dalam mendeteksi dan memperbaiki kesalahan, sehingga proporsi solusi yang berhasil dikompilasi meningkat hingga 96,5% pada salah satu benchmark[4].

Pencarian dan Analisis Informasi

Sistem multi-agen sangat berguna untuk permintaan terbuka yang kurang terstruktur. Perusahaan Anthropic mengembangkan mode multi-agen untuk model Claude, yang dirancang untuk penelitian web. Dalam sistem ini, agen utama menganalisis permintaan dan menghasilkan beberapa agen subtugas paralel, yang masing-masing melakukan pencarian di berbagai aspek topik. Arsitektur semacam ini 90% lebih efektif dalam menangani pertanyaan pencarian yang kompleks dibandingkan dengan model Claude tunggal[2].

Klasifikasi Teks dan Tugas NLP

Untuk tugas NLP, dikembangkan prompting berbasis prinsip (Principle-Based Prompting). Dalam metodologi ini, agen-agen LLM pertama-tama menghasilkan sekumpulan "prinsip" (aturan penyelesaian), kemudian agen finalisasi memilih yang terbaik di antaranya, berdasarkan mana agen lain melakukan klasifikasi. Pendekatan ini meningkatkan metrik macro-F1 sebesar 1,5–19% dibandingkan metode dasar, mendekati kualitas pembelajaran klasik berbasis contoh (few-shot)[5].

Keterbatasan dan Permasalahan

Kompleksitas Komputasi dan Biaya

Kelemahan utama adalah meningkatnya beban komputasi secara tajam. Setiap agen memerlukan sesi pembuatan tersendiri, yang menyebabkan konsumsi token dan sumber daya yang signifikan. Menurut data Anthropic, sistem mereka mengonsumsi rata-rata 4 kali lebih banyak token per dialog, dan dalam beberapa kasus hingga 15 kali lebih banyak[2]. Hal ini membuat penerapan pendekatan ini hanya layak untuk tugas-tugas dengan nilai tinggi.

Kompleksitas Perancangan dan Koordinasi

Untuk keberhasilan operasional, diperlukan rekayasa prompt yang cermat: perlu didefinisikan dengan jelas peran setiap agen, format pertukaran pesan, dan kriteria penghentian. Jika tidak, agen-agen dapat menduplikasi pekerjaan, terjebak dalam pencarian tanpa henti, atau menghasilkan subtugas yang tidak berguna[2].

Keamanan dan Keandalan

Muncul vektor serangan baru. Para peneliti mendemonstrasikan fenomena Prompt Infection (infeksi prompt), di mana fragmen instruksi berbahaya dari satu agen diteruskan ke agen lain, menyebar ke seluruh rantai penalaran seperti virus. Serangan LLM-to-LLM semacam ini menunjukkan kerentanan sistem multi-agen terhadap injeksi dan manipulasi tersembunyi, yang memerlukan pengembangan langkah-langkah perlindungan khusus, misalnya, pemberian tanda pada keluaran setiap agen (LLM Tagging)[6].

Referensi

  • «How we built our multi-agent research system» — penjelasan mendalam dari Anthropic
  • «More Agents Is All You Need» — artikel ilmiah tentang efektivitas ensemble agen

Daftar Pustaka

  • Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
  • Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
  • Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
  • Wei, P. et al. (2024). Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
  • Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
  • Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
  • Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
  • Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
  • Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
  • Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.

Catatan

  1. 1.0 1.1 1.2 1.3 1.4 1.5 Chen, Y. et al. «CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving». arXiv, 2024. [1]
  2. 2.0 2.1 2.2 2.3 «How we built our multi-agent research system». Anthropic. [2]
  3. 3.0 3.1 Li, G. et al. «More Agents Is All You Need». arXiv, 2024. [3]
  4. Mi, Y. et al. «PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation». ResearchGate, 2024. [4]
  5. Wei, J. et al. «Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification». arXiv, 2024. [5]
  6. Lee, K. & Tiwari, A. «Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems». OpenReview, 2024. [6]