Multi-Agent Debate (ID)

Debat multi-agen (Ingg. multi-agent debate) – pendekatan dalam bidang model bahasa besar (LLM), di mana beberapa agen yang berinteraksi (instans model bahasa) secara bersama-sama mendiskusikan solusi atas tugas yang diberikan, saling bertukar argumen dan jawaban. Tujuan proses ini adalah untuk menghasilkan jawaban yang paling tepat dan berdasar atas pertanyaan yang diajukan secara kolektif. Pendekatan ini didasarkan pada gagasan "masyarakat pikiran", di mana berbagai model saling memeriksa dan melengkapi kesimpulan satu sama lain. Penelitian menunjukkan bahwa diskusi multi-agen memungkinkan peningkatan akurasi dan keandalan jawaban secara signifikan dibandingkan dengan generasi jawaban oleh satu metode: jawaban akhir yang diperoleh setelah debat agen umumnya lebih akurat secara faktual dan lebih berhasil dalam tugas-tugas yang memerlukan penalaran. Khususnya, terdapat penurunan jumlah halusinasi ("fakta" yang tidak ada) dan peningkatan keberhasilan pada soal-soal uji yang kompleks ketika menggunakan strategi ini.

Gagasan untuk melibatkan beberapa AI dalam debat berakar dari karya-karya di bidang keamanan kecerdasan buatan. Pada tahun 2018, sekelompok peneliti OpenAI (G. Irving, P. Christiano, D. Amodei) mengusulkan konsep AI safety via debate – pelatihan agen melalui debat kompetitif, di mana dua lawan model secara bergantian mengajukan argumen singkat, sementara seorang juri manusia memutuskan siapa yang menyajikan informasi yang lebih benar dan bermanfaat. Diasumsikan bahwa dengan strategi optimal, debat semacam itu akan memungkinkan AI menjawab pertanyaan yang sangat kompleks, hanya meminta juri untuk menilai kredibilitas argumen. Pada tahun-tahun berikutnya, seiring munculnya LLM yang kuat, prinsip debat antar model mulai diterapkan langsung untuk meningkatkan kualitas jawaban model itu sendiri – tanpa keharusan melibatkan manusia, melainkan dengan pemilihan solusi terbaik secara otomatis. Sistem LLM multi-agen modern menggunakan dialog antara salinan atau model yang berbeda untuk saling memperbaiki kesalahan dan bersama-sama mencapai hasil yang lebih berdasar.

Prosedur diskusi multi-agen

Dalam skenario debat multi-agen, beberapa agen model bekerja secara paralel pada satu tugas. Biasanya, pertama-tama setiap agen diberikan pertanyaan atau tugas awal, setelah itu setiap agen menghasilkan jawabannya sendiri secara independen. Selanjutnya terdapat serangkaian putaran komunikasi antar agen: pada setiap putaran semua peserta bertukar solusi mereka saat ini, dan setiap agen menerima jawaban orang lain sebagai konteks tambahan, berdasarkan mana ia menyempurnakan atau meningkatkan jawabannya pada putaran berikutnya. Siklus ini berlanjut selama beberapa iterasi (biasanya dengan jumlah putaran tetap atau hingga tercapai kesepakatan yang jelas), setelah itu proses dihentikan dan jawaban akhir diberikan. Debat mensimulasikan diskusi manusia, memungkinkan model untuk mengkritik jawaban satu sama lain dan menggabungkan kemampuan penalaran mereka untuk meningkatkan kualitas solusi. Misalnya, Yilun Du dan rekan-rekan (MIT dan Google Brain) dalam eksperimen menggunakan 3 instans model bahasa yang mendiskusikan masalah selama 2 putaran (jumlah putaran yang lebih besar dibatasi karena biaya waktu dan komputasi); ditunjukkan bahwa bahkan dengan dialog terbatas tersebut, jawaban akhir menjadi jauh lebih baik, dan dengan meningkatnya jumlah agen atau putaran, akurasi terus meningkat (meskipun dengan imbal hasil yang menurun).

Prosedur debat multi-agen sepenuhnya diimplementasikan pada tahap inferensi (inference) menggunakan prompt khusus untuk mengorganisasi dialog antara model-model yang sudah dilatih. Ini berarti metode ini tidak memerlukan fine-tuning LLM itu sendiri dan dapat diterapkan bahkan pada "kotak hitam" – cukup memiliki akses ke generasi teks model dan mengoordinasikan komunikasi mereka sesuai template yang telah ditentukan.

Untuk menentukan jawaban akhir setelah beberapa putaran, digunakan berbagai pendekatan. Salah satu mekanisme paling sederhana adalah pemungutan suara: agen dapat secara independen mengusulkan solusi akhir mereka, setelah itu dipilih varian yang didukung mayoritas dari mereka (atau, misalnya, jawaban yang paling sering muncul). Pendekatan lain adalah menuntut konsensus, yaitu melanjutkan diskusi sampai semua model mencapai jawaban yang sama. Akhirnya, dapat digunakan agen juri yang terpisah: baik jaringan saraf terpisah yang terlatih untuk mengevaluasi jawaban, maupun salah satu agen yang diberi fungsi arbiter. Juri mengamati jalannya diskusi dan memilih argumen siapa yang ternyata paling meyakinkan atau benar. Pilihan mekanisme pengambilan keputusan mempengaruhi karakteristik sistem: pemungutan suara atau konsensus sederhana dalam implementasi, tetapi dapat mengabadikan kesalahan kelompok, sedangkan penilai juri (terutama yang terlatih untuk mengidentifikasi jawaban yang benar) secara teoritis mampu mengidentifikasi solusi yang tepat bahkan jika ada kontradiksi antar agen. Namun pendekatan juri juga memiliki kesulitan – misalnya, jika model yang sama dengan peserta bertindak sebagai juri, ia mungkin secara tidak sengaja condong mendukung gaya argumentasi yang sudah dikenal dari salah satu agen.

Varian konfigurasi agen dan komunikasi

Sistem multi-agen dengan LLM dapat berbeda dalam komposisi dan cara interaksi agen. Konfigurasi homogen mengasumsikan bahwa semua agen adalah salinan dari model yang sama (atau model dengan tingkat serupa), sedangkan heterogen mencakup model dengan tipe atau ukuran yang berbeda. Dalam kasus homogen, semua peserta memiliki kemampuan yang sebanding, dan perbedaan pendapat mereka hanya akan muncul karena generasi jawaban yang stokastik atau kondisi awal yang berbeda (misalnya, perbedaan dalam prompt). Dalam pendekatan heterogen, model kuat dan lemah dapat dilibatkan secara bersamaan, yang berpotensi memungkinkan beberapa agen untuk mengkompensasi kekurangan agen lainnya. Penelitian menunjukkan bahwa interaksi berbagai LLM mengakibatkan model yang lebih lemah meningkatkan solusinya setelah menerima umpan balik dari yang lebih kuat. Contoh ilustratif adalah debat bersama antara model bahasa ChatGPT (GPT-4) dan Google Bard saat memecahkan soal matematika berteks: masing-masing model tersebut secara terpisah memberikan jawaban yang salah, namun dalam proses diskusi mereka berhasil menunjukkan kesalahan satu sama lain dan akhirnya menyepakati solusi yang benar, menggunakan kekuatan masing-masing. Namun heterogenitas juga membawa risiko: ketidakseimbangan kemampuan yang signifikan dapat menyebabkan dominasi satu model, dan jika sebagian besar agen memiliki kekeliruan atau bias yang sama, debat dapat dengan cepat menyatu ke jawaban tunggal yang salah – fenomena yang disebut efek "ruang gema". Analisis teoretis (Estornell & Liu, NeurIPS 2024) menunjukkan bahwa dengan model yang sangat mirip, debat dapat memudar menjadi dinamika statis di mana semua peserta mengulang pendapat mayoritas, bahkan jika didasarkan pada kesalahan bersama dalam data mereka. Oleh karena itu, dalam sistem heterogen, pemilihan agen yang cermat sangat penting – misalnya, model-model dengan tingkat pengetahuan yang sebanding dipilih agar tidak ada yang mendominasi atau menyesatkan yang lain.

Aspek lain adalah struktur komunikasi antar agen. Dalam implementasi dasar, digunakan topologi komunikasi sepenuhnya terhubung: pada setiap putaran setiap agen menerima jawaban semua agen lainnya. Pertukaran "semua-ke-semua" ini memaksimalkan informasi yang tersedia, tetapi menimbulkan biaya yang signifikan – volume konteks meningkat sebanding dengan jumlah agen, yang memperberat komputasi. Alternatifnya adalah topologi jarang, yang membatasi siapa yang secara langsung bertukar data dengan setiap agen. Misalnya, agen dapat disusun dalam bentuk grafik jaringan (cincin, pohon, dll.), di mana setiap agen hanya menerima jawaban dari tetangganya. Penelitian Google (Li et al., 2024) menemukan bahwa membatasi konektivitas jaringan agen dapat secara signifikan mengurangi biaya generasi tanpa menurunkan, dan kadang bahkan meningkatkan kualitas solusi dibandingkan diskusi yang sepenuhnya terhubung. Dalam eksperimen dengan model GPT-3.5 dan Mistral, skema diskusi "tetangga" yang jarang memberikan akurasi yang sama atau lebih tinggi pada tugas-tugas (termasuk matematika), sekaligus mengurangi rata-rata jumlah token konteks per langkah sebesar satu orde besarnya. Hasil ini menunjukkan bahwa pertukaran pesan yang berlebihan tidak selalu diperlukan – cukup mengorganisir interaksi kunci antar agen dengan benar agar mereka mencapai solusi yang tepat dengan biaya lebih rendah.

Selain topologi, dimungkinkan berbagai format pelaksanaan debat. Misalnya, agen individu dapat diberi peran yang berbeda: beberapa berperan sebagai "pembuat ide", yang lain sebagai "kritikus" atau "pemeriksa" solusi. Pendekatan berbasis peran ini bertujuan untuk mensimulasikan pembagian kerja, di mana setiap agen berspesialisasi pada tugas tertentu (misalnya, satu mengajukan hipotesis, yang kedua memeriksa fakta, yang ketiga mengevaluasi konsistensi logis). Varian lain adalah diskusi bergiliran (round-robin): agen berbicara bukan secara bersamaan, tetapi secara ketat bergantian, bergantian dalam peran pembicara dan penjawab dalam urutan tetap. Ini mirip dengan debat formal di mana kata diberikan kepada peserta sesuai prosedur, yang dapat memastikan partisipasi setara semua agen. Pendekatan lain adalah pengaturan ketidaksepakatan secara dinamis: sistem dapat secara khusus memperkuat atau melemahkan tingkat ketidaksepakatan antara jawaban agen pada setiap putaran. Misalnya, pada tahap awal jawaban dapat didorong untuk menyimpang sebesar mungkin (untuk mencakup berbagai hipotesis), sementara saat mendekati akhir semakin konvergen. Mekanisme seperti itu diusulkan dalam karya Chang (2024) untuk mencegah konsensus prematur: ia mempertahankan tingkat kontradiksi moderat antar agen, mendorong munculnya argumen baru dan diskusi yang lebih mendalam.

Keunggulan dan efektivitas pendekatan

Debat multi-agen menarik perhatian karena kemampuannya meningkatkan kinerja model bahasa pada tugas-tugas kompleks. Sejumlah penelitian independen selama 2023-2024 mengonfirmasi bahwa sekelompok LLM yang berinteraksi mampu melampaui kualitas jawaban model tunggal yang bekerja pada tugas yang sama. Khususnya, ditunjukkan peningkatan dalam domain yang memerlukan penalaran kompleks: dari komputasi matematika hingga pemrograman dan peringkasan teks. Yin dkk. (2023), Chan dkk. (2023), Chen dkk. (2024), dan lainnya mencatat bahwa sistem multi-agen secara konsisten mengungguli LLM tunggal dalam soal aritmatika, generasi kode, dan bahkan dalam membuat ringkasan dokumen. Alasannya adalah keragaman perspektif: setiap agen dapat memperhatikan detail atau kesalahan yang terlewatkan oleh yang lain, dan memberikan umpan balik kepada rekan-rekannya. Kritik bersama dan pertukaran hipotesis yang berbeda mengarah pada pertimbangan tugas yang lebih komprehensif, sehingga jawaban akhir menjadi lebih akurat dan dapat diandalkan.

Sebagai contoh, peneliti dari MIT dan Google Brain yang dipimpin oleh Yilun Du mempresentasikan pada ICML 2024 karya "Improving factuality and reasoning in language models through multiagent debate", yang mendemonstrasikan peningkatan kualitas solusi yang signifikan dengan menambahkan debat antara tiga instans model. Menurut hasilnya, prosedur diskusi multi-agen memungkinkan pencapaian indikator yang lebih tinggi pada sejumlah tugas dibandingkan penggunaan tunggal model yang sama: akurasi pemecahan soal matematika dan strategis meningkat, dan jumlah kesalahan faktual menurun. Khususnya, pendekatan multi-agen meningkatkan hasil model dalam uji penalaran matematika, pemeriksaan fakta, dan bahkan dalam tugas yang memerlukan perencanaan strategis. Para penulis mencatat bahwa "jawaban akhir yang dihasilkan setelah diskusi multi-putaran tersebut ternyata lebih akurat secara faktual dan lebih berhasil dalam memecahkan tugas penalaran". Di bawah ini adalah ilustrasi yang membandingkan akurasi pelaksanaan berbagai tugas oleh model secara tunggal dan menggunakan debat multi-agen.

Perbandingan akurasi pada beberapa tugas untuk generasi pengguna tunggal (warna biru) dan untuk mode debat multi-agen (warna merah). Pendekatan multi-agen (multi-agent debate) menunjukkan akurasi yang lebih tinggi di berbagai domain, termasuk pertanyaan faktual (biografi), uji pengetahuan MMLU, pemeriksaan kebenaran langkah catur, pemecahan ekspresi aritmatika, soal matematika berteks tingkat sekolah (GSM8K), dan penemuan langkah catur optimal. Berdasarkan data grafik, debat terutama memperkuat kemampuan model dalam tugas strategis yang kompleks (misalnya, mencari langkah optimal dalam catur) dan secara nyata mengurangi proporsi kesalahan dalam komputasi matematika dan pertanyaan pengetahuan faktual.

Keunggulan lain dari pendekatan multi-agen adalah mengatasi keterbatasan pengendalian diri model yang berjalan sendiri. LLM tunggal sering menggunakan teknik self-reflection (refleksi diri), di mana model itu sendiri mengevaluasi dan mengoreksi jawabannya yang awal. Namun ditemukan bahwa metode tersebut rentan terhadap masalah "degeneration-of-thought" – degenerasi pemikiran: jika model telah meyakini jawaban awalnya, saat pengecekan mandiri ia tidak menghasilkan ide-ide yang fundamentally baru, bahkan jika solusi awalnya salah. Dengan kata lain, model cenderung terjebak pada solusi pertama yang dipikirkannya, menolak alternatif. Debat multi-agen membantu mengatasi efek ini: beberapa agen yang setara pada awalnya dapat mengajukan hipotesis yang berbeda dan kemudian secara konsisten menantang argumen satu sama lain, yang mendorong pencarian jalur pemikiran non-standar. Tian Liang dan rekan-rekan (EMNLP 2024) menyebut skema multi-agen mereka MAD (Multi-Agent Debate) dan menunjukkan bahwa skema ini memang mendorong pemikiran divergen (beragam) dari model dan meningkatkan hasil pada tugas-tugas yang memerlukan pengerjaan mendalam. Dalam implementasi mereka, beberapa agen berdebat berdasarkan prinsip "gigi untuk gigi" (masing-masing secara bergantian menjadi lawan argumen yang lain), dan di atas proses tersebut terdapat juri pembantu yang mengelola diskusi dan memilih solusi akhir. Eksperimen Liang dkk. menunjukkan efektivitas pendekatan ini pada kumpulan uji yang kompleks – dalam tugas terjemahan akal sehat (menerjemahkan kalimat dengan mempertimbangkan akal sehat yang tersembunyi) dan aritmatika kontraintuitif (teka-teki matematika dengan kondisi yang tampaknya tidak logis), diskusi multi-agen memberikan jawaban yang lebih tepat daripada metode standar. Analisis juga mengungkapkan bahwa untuk hasil terbaik, debat harus dihentikan secara adaptif, tidak dibiarkan terlalu panjang, dan hanya mempertahankan tingkat konflik moderat antar agen – perilaku yang terlalu agresif atau, sebaliknya, terlalu setuju memperburuk hasil.

Pendekatan multi-agen ternyata berguna tidak hanya untuk tugas tanya-jawab yang khas. Ia menemukan aplikasi di bidang lain, misalnya untuk perilaku model yang lebih aman dan selaras. Sejumlah penelitian menggunakan debat agen dalam tugas moderasi dan pembuatan aturan: beberapa LLM dapat mendiskusikan apakah jawaban tertentu dapat diterima menurut norma etika, sehingga memberikan umpan balik satu sama lain selama pelatihan dengan penguatan. Dicatat bahwa debat mampu menghasilkan sinyal evaluasi yang lebih halus dan berdasar, yang membantu dalam menyetel model untuk keamanan dan kegunaan. Juga dilakukan upaya untuk memperluas ke tugas multimodal – misalnya, ketika beberapa agen mendeskripsikan gambar, sementara yang lain memeriksa kesesuaian deskripsi dengan gambar. Dalam karya Google (2024) ditunjukkan keberhasilan perluasan tersebut: pendekatan multimodal meningkatkan hasil baik dalam tugas teks murni maupun dalam pemahaman gambar multimodal, menunjukkan universalitas "masyarakat pikiran". Menariknya, interaksi dalam kerangka debat dapat meningkatkan level model yang lebih lemah, sebagaimana disebutkan sebelumnya. Misalnya, ketika LLM dengan kekuatan berbeda berpartisipasi dalam diskusi bersama, "model yang lebih lemah secara bertahap menguat, mengadopsi strategi sukses dari yang lebih kuat". Dengan demikian, sistem multi-agen tidak hanya memecahkan tugas yang ditetapkan, tetapi juga berfungsi sebagai mekanisme pembelajaran kolektif model dari satu sama lain.

Keterbatasan dan masalah terbuka

Meskipun memiliki keunggulan yang signifikan, debat multi-agen menghadapi sejumlah kesulitan dan keterbatasan. Salah satu yang utama adalah kebutuhan sumber daya yang tinggi dari pendekatan ini. Untuk mengorganisasi diskusi diperlukan pemanggilan generasi teks dari model besar berkali-kali: jika ada n agen dalam T putaran, maka total jumlah pemanggilan LLM meningkat n x T kali dibandingkan dengan satu jawaban. Selain itu, pada setiap putaran model harus memproses sebagai konteks bukan hanya pertanyaan awal, tetapi juga semua replika dari putaran sebelumnya (jawaban semua agen). Dengan demikian, dengan meningkatnya jumlah agen dan putaran, volume input kontekstual tumbuh secara eksponensial, yang menyebabkan efek context explosion – luapan jendela konteks dan peningkatan biaya pemrosesan. Dalam eksperimen dicatat bahwa penambahan hanya 2-3 putaran diskusi secara signifikan meningkatkan total jumlah token konteks yang harus dibaca model, dan karenanya waktu respons. Secara teoretis kualitas solusi meningkat dengan bertambahnya iterasi, tetapi secara praktis banyak karya mencatat imbal hasil yang menurun setelah beberapa putaran: seringkali efek maksimum tercapai pada putaran kedua atau ketiga, setelah itu diskusi lebih lanjut dapat menyebabkan pengulangan argumen yang sama atau bahkan penurunan akurasi karena kejenuhan konteks. Misalnya, Xi dkk. (2023) menunjukkan peningkatan akurasi hanya hingga putaran debat ke-2, kemudian terjadi penurunan, demikian pula Liu dan Li dengan rekan-rekan (2024) melaporkan puncak kualitas pada ~4 putaran, setelah itu siklus tambahan hanya mengganggu. Dengan demikian, penentuan durasi debat yang optimal adalah tugas yang tidak mudah: diskusi yang terlalu singkat mungkin tidak mengungkapkan seluruh potensi kecerdasan kolektif, sedangkan yang terlalu panjang dapat menyebabkan kebisingan informasi dan kelebihan beban konteks.

Masalah lain adalah risiko konsensus kelompok pada jawaban yang salah. Jika semua agen memiliki pengalaman serupa dan yakin secara keliru tentang suatu fakta, mereka mungkin saling memperkuat kesalahan satu sama lain. Terjadi efek ruang gema: dalam debat, model mencapai konsensus, tetapi bukan karena menemukan kebenaran, melainkan karena mengkonfirmasi bias awal yang sama. Hasil teoretis (Estornell & Liu, 2024) menunjukkan bahwa dengan model yang identik, debat dapat merosot menjadi stagnasi, mengulang pendapat mayoritas tanpa munculnya ide-ide baru. Sangat berbahaya ketika mayoritas ini berbagi kesalahan yang sama yang tertanam, misalnya, dalam data pelatihan – maka hasil keseluruhan diskusi akan salah. Untuk mengatasi masalah ini, diusulkan metode intervensi khusus (diversity-pruning): pada setiap putaran, jawaban yang terlalu mirip secara algoritmik dipotong, mendorong agen untuk menghasilkan berbagai varian dengan entropi informasi maksimum. Ini mengurangi kemungkinan bahwa semua jawaban akan menjadi variasi dari kesalahan yang sama. Teknik lain adalah deteksi dan sanggahan kesalahpahaman (misconception refutation): sistem mencoba secara otomatis mengidentifikasi asumsi bersama agen dan secara sengaja menantang asumsi-asumsi yang mungkin salah. Dalam karya Estornell & Liu diusulkan seperangkat tiga intervensi semacam itu – selain yang disebutkan, juga quality-pruning (pemilihan argumen yang paling relevan dan berkualitas pada setiap langkah) – dan ditunjukkan bahwa kombinasinya secara nyata meningkatkan efektivitas debat dan mencegah kecenderungan ruang gema.

Akhirnya, perlu dicatat bahwa stabilitas dan prediktabilitas diskusi multi-agen masih jauh dari ideal. Dalam beberapa eksperimen, debat menghasilkan hasil yang tidak stabil – berbagai proses diskusi yang sama dapat menyatu ke jawaban yang berbeda, atau jawaban kolektif ternyata lebih buruk daripada model tunggal tanpa debat. Wang dkk. (2024) dan Smit dkk. (2023) secara independen mencatat kasus di mana penambahan agen memperburuk kinerja, yang menunjukkan batas tipis antara kritik yang berguna dan perdebatan yang destruktif. Mengidentifikasi kondisi di mana pendekatan multi-agen dijamin bermanfaat masih menjadi subjek penelitian. Pertanyaan terbuka tetap ada: bagaimana secara otomatis memutuskan kapan menghentikan debat dan menetapkan jawaban, agar tidak kehilangan keunggulan dan tidak terperangkap dalam perdebatan tak berujung, dan bagaimana cara membuat keputusan kolektif – melalui pemungutan suara, konsensus, atau dengan bantuan juri eksternal – yang paling andal untuk berbagai jenis tugas. Juga ada masalah mendesak mengenai keamanan dan kontrol sistem multi-agen: perlu dipastikan bahwa agen tidak akan secara bersama-sama menghasilkan konten yang tidak diinginkan atau toksik dan tidak akan saling memperkuat kecenderungan berbahaya. Pertanyaan-pertanyaan ini, terutama yang berkaitan dengan keamanan dan skalabilitas, diakui sebagai aktual dan kompleks. Tinjauan modern mencatat bahwa diperlukan penelitian lebih lanjut yang didedikasikan untuk pengembangan aturan penghentian yang andal untuk diskusi, penilaian skalabilitas pendekatan dengan meningkatnya jumlah agen dan putaran, serta implementasi metode yang menjamin keandalan dan kebenaran jawaban yang diperoleh secara kolektif. Penyelesaian tugas-tugas ini akan memungkinkan debat multi-agen menjadi alat yang lebih kuat dan universal untuk menciptakan sistem kecerdasan buatan yang lebih cerdas dan aman.

Referensi

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — halaman proyek
• AI safety via debate — artikel asli OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — artikel tentang optimisasi komunikasi
• Literature Review Of Multi-Agent Debate For Problem-Solving — tinjauan literatur
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — artikel tentang MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — artikel NeurIPS 2024

Daftar Pustaka

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.