Multi-Agent Debate (NL)

Meervoudige agentendiscussie (Engels: multi-agent debate) – een aanpak op het gebied van grote taalmodellen (LLM), waarbij meerdere met elkaar interacterende agenten (instanties van een taalmodel) gezamenlijk de oplossing van een gegeven taak bespreken door argumenten en antwoordpogingen uit te wisselen. Het doel van dit proces is om collectief het meest correcte en onderbouwde antwoord op de gestelde vraag te formuleren. De aanpak is gebaseerd op het idee van een «samenleving van geesten», waarbij verschillende modellen elkaars conclusies controleren en aanvullen. Onderzoek heeft aangetoond dat meervoudige agentendiscussie de nauwkeurigheid en betrouwbaarheid van antwoorden aanzienlijk kan verbeteren ten opzichte van het genereren van een antwoord met één methode: het uiteindelijke antwoord na een agentendebat is doorgaans feitelijk betrouwbaarder en presteert beter bij taken die redenering vereisen. In het bijzonder wordt een afname van het aantal hallucinaties (niet-bestaande «feiten») en een toename van het succespercentage op complexe testtaken waargenomen bij gebruik van deze strategie.

Het idee om meerdere AI-systemen in een debat te laten deelnemen gaat terug op werk op het gebied van AI-veiligheid. In 2018 stelde een groep onderzoekers van OpenAI (G. Irving, P. Christiano, D. Amodei) het concept AI safety via debate voor – het trainen van agenten via competitieve debatten, waarbij twee modelopponenten beurtelings korte argumenten aanvoeren en een menselijke rechter beslist welke van hen meer waarheidsgetrouwe en nuttige informatie heeft gepresenteerd. De aanname was dat bij een optimale strategie dergelijke debatten AI in staat zouden stellen uiterst complexe vragen te beantwoorden, waarbij de rechter slechts de geloofwaardigheid van de argumenten hoeft te beoordelen. In de jaren daarna, met de opkomst van krachtige LLM's, begon het principe van debatten tussen modellen direct te worden toegepast om de kwaliteit van de antwoorden van de modellen zelf te verbeteren – nu zonder verplichte menselijke deelname, maar met geautomatiseerde selectie van de beste oplossing. Moderne meervoudige LLM-agentsystemen maken gebruik van dialoog tussen kopieën of verschillende modellen om elkaars fouten te corrigeren en gezamenlijk tot een beter onderbouwd resultaat te komen.

Procedure van meervoudige agentendiscussie

In een scenario van meervoudige agentendiscussie werken meerdere modelagenten parallel aan dezelfde taak. Doorgaans krijgt elke agent eerst de uitgangsvraag of -taak aangeboden, waarna elke agent zelfstandig een eigen antwoord genereert. Vervolgens volgt een reeks communicatieronden tussen de agenten: in elke ronde wisselen alle deelnemers hun huidige oplossingen uit en ontvangt elke agent de antwoorden van de anderen als extra context, op basis waarvan hij zijn antwoord verfijnt of verbetert in de volgende ronde. Deze cyclus wordt een aantal iteraties voortgezet (doorgaans is een vast aantal ronden ingesteld of tot er duidelijke overeenstemming is bereikt), waarna het proces stopt en een definitief antwoord wordt gegeven. De debatten imiteren menselijke discussie en stellen modellen in staat elkaars antwoorden te bekritiseren en hun redeneringsvermogen te combineren om de kwaliteit van de oplossing te verbeteren. Zo gebruikten Yilun Du en collega's (MIT en Google Brain) in hun experimenten 3 instanties van een taalmodel die het probleem gedurende 2 ronden bespraken (een groter aantal ronden werd beperkt vanwege tijd- en rekenkosten); aangetoond werd dat zelfs bij zo'n beperkte dialoog de uiteindelijke antwoorden merkbaar beter waren, en bij een toename van het aantal agenten of ronden de nauwkeurigheid bleef stijgen (zij het met afnemende meeropbrengst).

De procedure van meervoudige agentendiscussie wordt volledig gerealiseerd tijdens de inferentiefase via speciale prompts voor het organiseren van dialoog tussen reeds getrainde modellen. Dit betekent dat de methode geen fine-tuning vereist van de LLM's zelf en zelfs kan worden toegepast op «zwarte dozen» – het volstaat om toegang te hebben tot de tekstgeneratie van de modellen en hun communicatie te coördineren volgens een vooraf bepaald sjabloon.

Voor het bepalen van het definitieve antwoord na meerdere ronden worden verschillende benaderingen gebruikt. Een van de eenvoudigste mechanismen is stemmen: agenten kunnen aan het einde onafhankelijk hun definitieve oplossingen voorstellen, waarna de variant die door de meerderheid wordt gesteund wordt gekozen (of bijvoorbeeld het meest voorkomende antwoord). Een andere benadering is het vereisen van consensus, dat wil zeggen de discussie voortzetten totdat alle modellen tot hetzelfde antwoord zijn gekomen. Ten slotte kan een aparte rechter-agent worden ingezet: ofwel een apart neuraal netwerk getraind om antwoorden te beoordelen, ofwel een van de agenten die de functie van arbiter vervult. De rechter volgt het verloop van de discussie en kiest wiens argument het meest overtuigend of correct was. De keuze van het beslismechanisme beïnvloedt de kenmerken van het systeem: stemmen of consensus zijn eenvoudig te implementeren, maar kunnen groepsfouten vastleggen, terwijl een rechter-beoordelaar (met name een die is getraind om het juiste antwoord te herkennen) theoretisch gezien de correcte oplossing kan destilleren zelfs bij tegenstrijdigheden tussen agenten. Het rechtersysteem heeft echter ook zijn moeilijkheden – als het model dat als rechter optreedt hetzelfde is als de deelnemers, kan het onbedoeld bevooroordeeld zijn ten gunste van de vertrouwde argumentatiestijl van een van de agenten.

Varianten van agentconfiguratie en communicatie

Meervoudige agentsystemen met LLM's kunnen verschillen in samenstelling en wijze van interactie van de agenten. Een homogene configuratie houdt in dat alle agenten kopieën zijn van hetzelfde model (of van modellen van vergelijkbaar niveau), terwijl een heterogene configuratie modellen van verschillende typen of groottes omvat. In het homogene geval bezitten alle deelnemers vergelijkbare mogelijkheden en ontstaan meningsverschillen alleen door stochastische antwoordgeneratie of verschillende beginomstandigheden (bijvoorbeeld verschillen in prompts). Bij de heterogene aanpak kunnen sterke en zwakke modellen tegelijkertijd worden ingezet, waardoor bepaalde agenten potentieel de tekortkomingen van andere kunnen compenseren. Zo laat onderzoek zien dat interactie tussen verschillende LLM's ertoe leidt dat zwakkere modellen hun oplossingen verbeteren door feedback te ontvangen van sterkere. Een illustratief voorbeeld is een gezamenlijk debat tussen de taalmodellen ChatGPT (GPT-4) en Google Bard bij het oplossen van een wiskundig tekstprobleem: elk van deze modellen gaf afzonderlijk een onjuist antwoord, maar in het verloop van de discussie wisten ze elkaar op de fouten te wijzen en uiteindelijk de juiste oplossing overeen te komen, gebruikmakend van de sterke punten van elk. Tegelijkertijd brengt heterogeniteit ook risico's met zich mee: een aanzienlijke onbalans in mogelijkheden kan leiden tot dominantie van één model, en als de meerderheid van de agenten een gemeenschappelijke misconceptie of onjuiste bias deelt, kunnen de debatten snel convergeren naar een unaniem maar onjuist antwoord – een verschijnsel dat de naam «echokamer»-effect heeft gekregen. Theoretische analyse (Estornell & Liu, NeurIPS 2024) toonde aan dat bij zeer gelijkende modellen het debat kan stagneren in een statische dynamiek waarbij alle deelnemers de mening van de meerderheid herhalen, zelfs als die gebaseerd is op een gemeenschappelijke fout in hun gegevens. Daarom is in heterogene systemen een zorgvuldige selectie van agenten belangrijk – zo worden bijvoorbeeld modellen geselecteerd met een vergelijkbaar kennisniveau, zodat geen enkel model domineert of de anderen misleidt.

Een ander aspect is de communicatiestructuur tussen de agenten. In basisimplementaties wordt een volledig verbonden topologie voor communicatie gebruikt: in elke ronde ontvangt elke agent de antwoorden van alle anderen. Deze «iedereen-naar-iedereen»-uitwisseling maximaliseert de beschikbare informatie, maar brengt aanzienlijke kosten met zich mee – de contextomvang groeit evenredig met het aantal agenten, wat de berekeningen verzwaart. Een alternatief is een schaarse topologie, die beperkt met wie elke agent rechtstreeks gegevens uitwisselt. Zo kunnen agenten worden gerangschikt als een graafnetwerk (ring, boom, enz.), waarbij elke agent alleen de antwoorden van zijn buren ontvangt. Onderzoek van Google (Li et al., 2024) toonde aan dat het beperken van de netwerkconnectiviteit van agenten de generatiekosten aanzienlijk kan verlagen zonder verslechtering, en soms zelfs met verbetering van de kwaliteit van de oplossing in vergelijking met een volledig verbonden discussie. In experimenten met de modellen GPT-3.5 en Mistral leverde het schaarse schema van «buur»-discussies dezelfde of hogere nauwkeurigheid op bij taken (ook wiskundige), terwijl het gemiddelde aantal contexttokens per stap met een orde van grootte werd verminderd. Dit resultaat geeft aan dat overmatige berichtuitwisseling niet altijd noodzakelijk is – het volstaat de belangrijkste interacties tussen agenten correct te organiseren zodat ze tot de juiste oplossing komen met minder kosten.

Naast topologie zijn er ook verschillende debatformaten mogelijk. Zo kunnen bepaalde agenten verschillende rollen worden toegewezen: sommige treden op als «ideeëngeneratoren», anderen als «critici» of «oplossingenverificateurs». Deze rollenspelbenadering streeft ernaar een verdeling van arbeid na te bootsen, waarbij elke agent gespecialiseerd is in een bepaalde taak (bijvoorbeeld één doet een hypothese aan de hand, een tweede verifieert de feiten, een derde beoordeelt de logische consistentie). Een andere variant is een beurtelingse discussie (round-robin): agenten spreken niet gelijktijdig, maar strikt om de beurt, waarbij de rollen van spreker en reagerende partij wisselen in een vaste volgorde. Dit lijkt op formele debatten waarbij het woord aan deelnemers wordt gegeven volgens een reglement, wat gelijke deelname van alle agenten kan garanderen. Nog een andere aanpak is dynamische regulering van meningsverschillen: het systeem kan de mate van onenigheid tussen agentantwoorden per ronde bewust versterken of verzwakken. Zo kan men er bijvoorbeeld voor zorgen dat antwoorden in de vroege fasen maximaal uiteenlopen (om verschillende hypothesen te bestrijken), terwijl ze naarmate het einde nadert convergeren. Zo'n mechanisme werd voorgesteld in de studie van Chang (2024) om vroegtijdige overeenstemming te voorkomen: het handhaaft een matig niveau van tegenstrijdigheid tussen agenten, wat de introductie van nieuwe argumenten en diepere discussie stimuleert.

Voordelen en effectiviteit van de aanpak

Meervoudige agentendiscussie heeft aandacht getrokken vanwege het vermogen om de prestaties van taalmodellen bij complexe taken te verbeteren. Een reeks onafhankelijke onderzoeken uit 2023-2024 bevestigde dat een groep interacterende LLM's een individueel model kan overtreffen in antwoordkwaliteit bij dezelfde taak. In het bijzonder zijn verbeteringen aangetoond op domeinen die complexe redenering vereisen: van wiskundige berekeningen tot programmeren en samenvatten van tekst. Zo merken Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) en anderen op dat meervoudige agentsystemen enkelvoudige LLM's overtuigend verslaan op rekenkundige taken, codegeneratie en zelfs bij het maken van beknopte samenvattingen van documenten. De reden is de diversiteit aan perspectieven: elke agent kan details of fouten opmerken die door anderen zijn gemist en feedback geven aan collega's. Wederzijdse kritiek en uitwisseling van verschillende hypothesen leiden tot een grondigere behandeling van de taak, waardoor het uiteindelijke antwoord nauwkeuriger en betrouwbaarder is.

Zo presenteerden onderzoekers van MIT en Google Brain onder leiding van Yilun Du op ICML 2024 de paper «Improving factuality and reasoning in language models through multiagent debate», waarin een aanzienlijke verbetering van de oplossingsKwaliteit werd aangetoond door het toevoegen van debatten tussen drie instanties van het model. Volgens hun resultaten leidde de procedure van meervoudige agentendiscussie tot hogere scores op een aantal taken vergeleken met het enkelvoudige gebruik van hetzelfde model: de nauwkeurigheid bij het oplossen van wiskundige en strategische taken nam toe, en het aantal feitelijke fouten daalde. In het bijzonder verbeterde de meervoudige agentaanpak de resultaten van het model op tests voor wiskundig redeneren, feitencontrole en zelfs bij taken die strategische planning vereisen. De auteurs merken op dat «het definitieve antwoord dat wordt gegenereerd na zo'n merrondige discussie zowel feitelijk correcter als succesvoller is bij het oplossen van redeneertaken». Hieronder volgt een illustratie die de nauwkeurigheid van het model bij verschillende taken vergelijkt voor enkelvoudige generatie en bij gebruik van meervoudige agentendiscussie.

Vergelijking van de nauwkeurigheid op meerdere taken voor enkelvoudige generatie (blauw) en voor de modus van meervoudige agentendiscussie (rood). De meervoudige agentaanpak (multi-agent debate) laat een hogere nauwkeurigheid zien op verschillende domeinen, waaronder feitelijke vragen (biografieën), de kennistest MMLU, verificatie van correcte schaakzetten, het oplossen van rekenkundige uitdrukkingen, tekstuele wiskundige taken op schoolniveau (GSM8K) en het vinden van de optimale schaakzet. Volgens de grafiek versterkt het debat met name de vaardigheden van het model bij complexe strategische taken (zoals het vinden van de optimale zet in schaken) en vermindert het de foutpercentages bij wiskundige berekeningen en vragen over feitenkennis merkbaar.

Een ander voordeel van de meervoudige agentaanpak is het overwinnen van de beperkingen van enkelvoudige zelfcontrole van het model. Enkelvoudige LLM's passen vaak de techniek van self-reflection (zelfreflectie) toe, waarbij het model zijn eigen eerste antwoord beoordeelt en corrigeert. Er werd echter ontdekt dat deze methode gevoelig is voor het probleem van «degeneration-of-thought» – degeneratie van het denken: als het model vertrouwen heeft in het oorspronkelijke antwoord, genereert het bij zelfcontrole geen principieel nieuwe ideeën, zelfs als de oorspronkelijke oplossing onjuist is. Met andere woorden, het model heeft de neiging vast te lopen op de eerste oplossing die het heeft bedacht en alternatieven af te wijzen. Meervoudige agentendiscussie helpt dit effect te overwinnen: meerdere gelijkwaardige agenten kunnen aanvankelijk verschillende hypothesen aandragen en vervolgens consequent elkaars argumenten aanvechten, wat het zoeken naar niet-voor-de-hand-liggende denkrichtingen stimuleert. Tian Liang en collega's (EMNLP 2024) noemden hun meervoudige agentschema MAD (Multi-Agent Debate) en toonden aan dat het daadwerkelijk divergent (gevarieerd) denken van de modellen bevordert en de resultaten verbetert bij taken die diepgaande probleemanalyse vereisen. In hun implementatie debatteren meerdere agenten op basis van het «oog om oog»-principe (elke agent verdedigt beurtelings zijn standpunt tegenover dat van een andere), terwijl een hulprechter het proces begeleidt en de definitieve oplossing kiest. De experimenten van Liang et al. toonden de effectiviteit van deze aanpak op complexe testsets – bij taken voor common sense-vertaling (het vertalen van zinnen met inachtneming van verborgen gezond verstand) en contra-intuïtieve rekenkundige puzzels (wiskundige puzzels met op het eerste gezicht onlogische voorwaarden) gaf de meervoudige agentendiscussie correctere antwoorden dan standaardmethoden. De analyse toonde ook aan dat voor het beste resultaat de debatten adaptief moeten worden afgebroken, zonder ze te lang te laten doorlopen, en slechts een matig niveau van conflict tussen agenten moet worden gehandhaafd – te agressief of juist te meegaand gedrag verslechtert de uitkomsten.

De meervoudige agentaanpak bleek nuttig niet alleen voor typische vraag-en-antwoord-taken. Het vindt toepassing op andere gebieden, zoals voor veiliger en consistenter gedrag van modellen. Bepaalde onderzoeken gebruiken agentendiscussies bij taken van moderatie en regelontwikkeling: meerdere LLM's kunnen bespreken of een gegeven antwoord ethisch acceptabel is, waardoor ze feedback aan elkaar geven bij reinforcement learning. Opgemerkt is dat debatten genuanceerdere en beter onderbouwde beoordelingssignalen kunnen genereren, die helpen bij het afstemmen van modellen op veiligheid en bruikbaarheid. Er zijn ook pogingen gedaan om het gebruik uit te breiden naar multimodale taken – waarbij sommige agenten een afbeelding beschrijven terwijl anderen de overeenstemming van de beschrijving met de afbeelding controleren. In een studie van Google (2024) werd de succesvolheid van zo'n uitbreiding aangetoond: de multimodale aanpak verbeterde de resultaten zowel bij puur tekstuele taken als bij multimodaal beeldtekstbegrip, wat de universaliteit van de «samenleving van geesten» demonstreert. Interessant is dat interactie binnen debatten het niveau van zwakkere modellen kan verhogen, zoals eerder vermeld. Wanneer LLM's van verschillende kracht aan een gemeenschappelijke discussie deelnemen, «versterken zwakkere modellen zich geleidelijk door succesvolle strategieën over te nemen van sterkere». Een meervoudig agentsysteem lost dus niet alleen de gestelde taak op, maar fungeert ook als een soort mechanisme voor collectief leren van modellen van elkaar.

Beperkingen en open vraagstukken

Ondanks de aanzienlijke voordelen stuit meervoudige agentendiscussie op een aantal uitdagingen en beperkingen. Een van de voornaamste is de hoge resourcevereisten van deze aanpak. Voor het organiseren van een discussie moet meerdere malen tekst gegenereerd worden door grote modellen: als er n agenten deelnemen in T ronden, neemt het totale aantal aanroepen van de LLM toe met een factor n x T ten opzichte van één antwoord. Bovendien moet het model in elke ronde niet alleen de oorspronkelijke vraag verwerken als context, maar ook alle uitwisselingen uit vorige ronden (de antwoorden van alle agenten). Zo groeit met het toenemen van het aantal agenten en ronden de omvang van de contextinvoer exponentieel, wat leidt tot het effect van context explosion – overstroming van het contextvenster en toename van de verwerkingskosten. Experimenten registreren dat het toevoegen van zelfs 2-3 discussieronden het totale aantal contexttokens dat het model moet verwerken aanzienlijk verhoogt, en daarmee ook de responstijd. Theoretisch verbetert de kwaliteit van de oplossing bij meer iteraties, maar in de praktijk constateren veel studies afnemende meeropbrengsten na enkele ronden: vaak wordt het maximale effect bereikt na de tweede of derde ronde, waarna verdere discussie kan leiden tot herhaling van dezelfde argumenten of zelfs tot verminderde nauwkeurigheid door contextoverbelasting. Zo toonden He et al. (2023) nauwkeurigheidsverbetering slechts tot de 2e debattronde, gevolgd door een daling; evenzo melden Liu en Li met collega's (2024) een kwaliteitspiek bij ~4 ronden, waarna extra cycli alleen maar hinderlijk zijn. Zo is het bepalen van de optimale discussieduur geen eenvoudige taak: te korte discussie onthult mogelijk niet het volledige potentieel van de collectieve intelligentie, terwijl te lange discussie informatieruis en contextoverbelasting kan veroorzaken.

Een ander probleem zijn de risico's van groepsovereenstemming op een onjuist antwoord. Als alle agenten over vergelijkbare kennis beschikken en ten onrechte overtuigd zijn van een bepaald feit, kunnen ze elkaars misverstand versterken. Het echokamer-effect treedt op: in het verloop van de debatten komen de modellen tot consensus, maar niet omdat ze de waarheid hebben gevonden, maar door bevestiging van de oorspronkelijke gemeenschappelijke bias. Theoretische resultaten (Estornell & Liu, 2024) geven aan dat bij identieke modellen debatten kunnen afglijden naar stagnatie, waarbij de mening van de meerderheid wordt herhaald zonder dat nieuwe ideeën ontstaan. Dit is bijzonder gevaarlijk wanneer die meerderheid een gemeenschappelijke fout deelt die bijvoorbeeld is ingebed in de trainingsdata – dan zal de uitkomst van de gehele discussie onjuist zijn. Om dit probleem te overwinnen worden speciale interventiemethoden (diversity-pruning) voorgesteld: in elke ronde worden algoritmisch te gelijkende antwoorden afgesneden, waardoor agenten worden gestimuleerd verschillende varianten met maximale informatie-entropie te genereren. Dit verkleint de kans dat alle antwoorden variaties zijn op dezelfde fout. Een andere techniek is het opsporen en weerleggen van misvattingen (misconception refutation): het systeem probeert automatisch de gemeenschappelijke aannames van de agenten te identificeren en daagt die uit waarvan ze mogelijk onjuist zijn. In de studie van Estornell & Liu wordt een set van drie soortgelijke interventies voorgesteld – naast de genoemde ook quality-pruning (selectie van de meest relevante en kwalitatieve argumenten bij elke stap) – en aangetoond dat hun combinatie de effectiviteit van debatten aanzienlijk verhoogt en de neiging tot een echokamer voorkomt.

Ten slotte moet worden opgemerkt dat de stabiliteit en voorspelbaarheid van meervoudige agentendiscussies nog ver van ideaal zijn. In sommige experimenten leidden debatten tot onstabiele resultaten – verschillende uitvoeringen van dezelfde discussie konden convergeren naar verschillende antwoorden, of het gezamenlijke antwoord bleek slechter dan dat van een enkelvoudig model zonder debatten. Wang et al. (2024) en Smit et al. (2023) constateerden onafhankelijk van elkaar gevallen waarbij het toevoegen van agenten de prestaties verslechterde, wat duidt op een dunne grens tussen nuttige kritiek en destructieve meningsverschillen. Het vaststellen van de omstandigheden waaronder de meervoudige agentaanpak gegarandeerd nuttig is, blijft een onderwerp van onderzoek. Open vragen zijn: hoe automatisch te beslissen wanneer het debat te stoppen en het antwoord vast te leggen, zodat het voordeel niet verloren gaat en men niet in een eindeloze discussie terecht komt, en op welke wijze collectief een beslissing te nemen – via stemmen, consensus of met behulp van een externe rechter – het meest betrouwbaar voor verschillende typen taken. Ook het vraagstuk van de veiligheid en beheersbaarheid van meervoudige agentsystemen is urgent: men moet nagaan dat agenten niet samen ongewenste of toxische inhoud genereren en elkaars schadelijke tendensen niet versterken. Deze vraagstukken, met name die betreffende veiligheid en schaalbaarheid, worden erkend als actueel en complex. Actuele overzichten constateren dat verder onderzoek nodig is gewijd aan de ontwikkeling van betrouwbare stopregels voor discussies, beoordeling van de schaalbaarheid van de aanpak bij toenemend aantal agenten en ronden, en aan de implementatie van methoden die de betrouwbaarheid en juistheid van het collectief verkregen antwoord garanderen. Het oplossen van deze vraagstukken zal meervoudige agentendiscussie omvormen tot een nog krachtiger en universeler instrument voor het creëren van slimmere en veiligere systemen voor kunstmatige intelligentie.

Verwijzingen

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — projectpagina
• AI safety via debate — oorspronkelijk artikel van OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — artikel over communicatie-optimalisatie
• Literature Review Of Multi-Agent Debate For Problem-Solving — literatuuroverzicht
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — artikel over MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — artikel NeurIPS 2024

Literatuur

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.