Multi-Agent Debate (HU)

Többügynökös vita (angol. multi-agent debate) – a nagy nyelvi modellek (LLM) területén alkalmazott megközelítés, amelyben több együttműködő ügynök (a nyelvi modell példányai) közösen vitatja meg egy adott feladat megoldását, érveket és válaszkísérleteket cserélve. A folyamat célja, hogy kollektívan megtalálják a feltett kérdésre adható leghelyesebb és legjobban alátámasztott választ. A megközelítés az „elmék társadalma" gondolatán alapul, ahol különböző modellek ellenőrzik és kiegészítik egymás következtetéseit. A kutatások kimutatták, hogy a többügynökös megbeszélés jelentősen növeli a válaszok pontosságát és megbízhatóságát az egyetlen módszerrel generált válaszhoz képest: az ügynökök vitáját követően kapott végső válasz általában tényszerűen hitelesebb, és jobban teljesít az érvelést igénylő feladatokban. Különösen megfigyelhető a hallucinációk (nem létező „tények") számának csökkenése és a bonyolult tesztfeladatokon elért sikerek növekedése e stratégia alkalmazásakor.

A több mesterséges intelligencia vitára hívásának ötlete a mesterséges intelligencia biztonsági kutatásokig nyúlik vissza. 2018-ban az OpenAI kutatócsoportja (G. Irving, P. Christiano, D. Amodei) javasolta az AI safety via debate koncepcióját – ügynökök képzését versengő vitákon keresztül, amelyekben két modell-ellenfél felváltva rövidített érveket hoz fel, és egy emberi bíró dönti el, melyikük mutatott be hitelesebb és hasznosabb információt. Feltételezték, hogy optimális stratégia esetén az ilyen viták lehetővé teszik az MI számára, hogy rendkívül összetett kérdésekre válaszoljon, miközben a bírótól csupán az érvek hitelességének értékelését kérik. Az ezt követő években, a hatékony LLM-ek megjelenésével párhuzamosan, a modellek közötti vita elvét közvetlenül a modellek válaszminőségének javítására kezdték alkalmazni – immár emberi részvétel nélkül, automatizált legjobb megoldás-kiválasztással. A modern többügynökös LLM-rendszerek másolatok vagy különböző modellek közötti párbeszédet használnak arra, hogy kijavítsák egymás hibáit, és közösen jussanak el egy megalapozottabb eredményhez.

A többügynökös megbeszélés eljárása

A többügynökös vita forgatókönyvében több modell-ügynök dolgozik párhuzamosan ugyanazon a feladaton. Általában először minden ügynök megkapja a kiindulási kérdést vagy feladatot, majd minden ügynök önállóan generálja a saját válaszát. Ezután következik az ügynökök közötti kommunikáció több fordulója: minden fordulóban az összes résztvevő kicseréli jelenlegi megoldásait, és minden ügynök a többiek válaszait kiegészítő kontextusként kapja meg, amelynek alapján pontosítja vagy javítja a válaszát a következő fordulóban. Ez a ciklus több iteráción át folytatódik (általában rögzített számú forduló van meghatározva, vagy a folyamat az egyértelmű konszenzus eléréséig tart), majd a folyamat leáll, és megjelenik a végső válasz. A vita az emberi vitát utánozza, lehetővé téve a modellek számára, hogy bírálják egymás válaszait, és kombinálják az érvelési képességeiket a megoldás minőségének javítása érdekében. Például Yilun Du és kollégái (MIT és Google Brain) a kísérletekben a nyelvi modell 3 példányát alkalmazták, amelyek 2 fordulón át tárgyalták meg a problémát (a több forduló az idő- és számítási költségek miatt korlátozott volt); megmutatták, hogy még ilyen korlátozott párbeszéd esetén is észrevehetően jobb végső válaszok születtek, és az ügynökök vagy a fordulók számának növelésekor a pontosság tovább nőtt (bár egyre csökkenő hozammal).

A többügynökös vita eljárása teljes egészében a következtetési (inference) fázisban valósul meg, speciális promptok segítségével szervezi meg a párbeszédet a már betanított modellek között. Ez azt jelenti, hogy a módszer nem igényli maguknak az LLM-eknek a finomhangolását, és akár „fekete dobozokra" is alkalmazható – elegendő hozzáférni a modellek szöveggenerálásához, és a kommunikációjukat egy előre meghatározott sablon szerint koordinálni.

A végső válasz meghatározásához több forduló után különböző megközelítéseket alkalmaznak. Az egyik legegyszerűbb mechanizmus a szavazás: az ügynökök a végén önállóan javasolhatják végső megoldásaikat, majd a többségük által támogatott változatot választják ki (vagy például a leggyakrabban előforduló választ). Egy másik megközelítés a konszenzus megkövetelése, azaz a megbeszélés folytatása addig, amíg az összes modell azonos válaszra jut. Végül bevonható egy külön bíró-ügynök: akár egy külön neurális hálózat, amelyet válaszok értékelésére tanítottak, akár az egyik ügynök, amelyet döntőbírói funkcióval ruháznak fel. A bíró figyelemmel kíséri a vita menetét, és kiválasztja, hogy kinek az érve bizonyult a legmeggyőzőbbnek vagy leghelyesebbnek. A döntési mechanizmus megválasztása befolyásolja a rendszer jellemzőit: a szavazás vagy konszenzus egyszerű megvalósítani, de rögzíthet csoportos hibákat, míg a bírói értékelő (különösen ha a helyes válasz azonosítására képzett) elméletileg képes kiemelni a helyes megoldást még az ügynökök közötti ellentmondások esetén is. Azonban a bírói megközelítésnek is vannak nehézségei – például ha ugyanaz a modell tölt be bírói szerepet, mint a résztvevők, öntudatlanul is elfogulttá válhat az egyik ügynök számára ismerős érvelési stílus irányába.

Az ügynökök konfigurációjának és kommunikációjának változatai

A LLM-alapú többügynökös rendszerek különbözhetnek az ügynökök összetétele és interakciós módja szerint. A homogén konfiguráció azt jelenti, hogy az összes ügynök ugyanannak a modellnek (vagy hasonló szintű modelleknek) a másolata, míg a heterogén konfiguráció különböző típusú vagy méretű modelleket foglal magában. Homogén esetben az összes résztvevő összehasonlítható képességekkel rendelkezik, és nézeteltéréseik csupán a stochasztikus válaszgenerálásból vagy a különböző kiindulási feltételekből (például a promptok különbségeiből) adódnak. A heterogén megközelítésben egyszerre alkalmazhatók erős és gyenge modellek, ami potenciálisan lehetővé teszi, hogy egyes ügynökök kompenzálják mások hiányosságait. A kutatások azt mutatják, hogy a különböző LLM-ek interakciója során a gyengébb modellek javítják megoldásaikat, visszajelzést kapva az erősebbektől. Szemléletes példa – a ChatGPT (GPT-4) és a Google Bard közötti közös vita egy matematikai szöveges feladat megoldása során: ezek a modellek külön-külön mindkettő téves választ adtak, azonban a vita során képesek voltak egymásra mutatni a hibákra, és végül megállapodni a helyes megoldásban, felhasználva mindkettő erős oldalait. Ugyanakkor a heterogenitás kockázatokat is hordoz: a képességek jelentős egyensúlyhiánya az egyik modell dominanciájához vezethet, és ha az ügynökök többségének közös tévhite vagy téves elfogultsága van, a vita gyorsan egyetlen, de téves válaszra konvergálhat – ezt a jelenséget „visszhangkamra" effektusnak nevezik. Az elméleti elemzés (Estornell & Liu, NeurIPS 2024) kimutatta, hogy nagyon hasonló modellek esetén a vita statikus dinamikává süllyedhet, amelyben az összes résztvevő a többség véleményét ismétli, még akkor is, ha az az adataikban lévő közös hibán alapul. Ezért a heterogén rendszerekben fontos az ügynökök gondos kiválasztása – például olyan modelleket válogatnak össze, amelyek hasonló tudásszinttel rendelkeznek, hogy egyik se domináljon, és ne vezesse tévútra a többieket.

Egy másik szempont az ügynökök közötti kommunikáció struktúrája. Az alap megvalósításokban teljes összeköttetésű topológiát alkalmaznak: minden fordulóban minden ügynök megkapja az összes többi válaszát. Ez a „mindenki mindenkinek" csere maximalizálja az elérhető információt, de jelentős többletköltséget okoz – a kontextus terjedelme az ügynökök számával arányosan növekszik, ami megnehezíti a számításokat. Az alternatíva a ritka topológia, amely korlátozza, hogy az egyes ügynökök közvetlenül kivel cserélnek adatokat. Például az ügynökök elrendezhetők egy gráfhálózat (gyűrű, fa stb.) formájában, ahol mindenki csak a szomszédaitól kapja meg a válaszokat. A Google kutatása (Li et al., 2024) kimutatta, hogy az ügynökhálózat összeköttetésének korlátozása jelentősen csökkintheti a generálási költségeket a megoldás minőségének romlása nélkül, sőt olykor annak javításával a teljes összeköttetésű vitához képest. A GPT-3.5 és Mistral modellekkel végzett kísérletekben a ritka „szomszédsági" megbeszélési séma ugyanolyan vagy magasabb pontosságot adott a feladatokon (köztük matematikain is), miközben a lépésenkénti kontextus tokeneinek átlagos száma nagyságrendekkel csökkent. Ez az eredmény arra utal, hogy az üzenetek felesleges cseréje nem mindig szükséges – elegendő helyesen megszervezni az ügynökök közötti kulcsinterakciókat, hogy kisebb költséggel jussanak el a helyes megoldáshoz.

A topológia mellett különböző vitavezetési formátumok is lehetségesek. Például egyes ügynököknek különböző szerepeket lehet kiosztani: némelyek „ötletgenerátor" szerepét töltik be, mások „kritikusként" vagy „megoldásellenőrzőként" működnek. Ez a szerepalapú megközelítés a munkamegosztást kívánja utánozni, ahol minden ügynök egy meghatározott feladatra specializálódik (például az egyik hipotézist javasol, a második ellenőrzi a tényeket, a harmadik értékeli a logikai koherenciát). Egy másik változat a felváltva zajló vita (round-robin): az ügynökök nem egyszerre szólnak, hanem szigorúan felváltva, rögzített sorrendben váltva a szónok és a reagáló szerepét. Ez a formális vitákhoz hasonlít, ahol a résztvevők szóláshoz jutását szabályozza az eljárásrend, ami biztosíthatja az összes ügynök egyenlő részvételét. Egy másik megközelítés a nézeteltérések dinamikus szabályozása: a rendszer minden fordulóban szándékosan erősítheti vagy gyengítheti az ügynökök válaszai közötti egyet nem értés mértékét. Például ösztönözhető, hogy a korai szakaszban a válaszok maximálisan különbözzenek (a különböző hipotézisek lefedettsége érdekében), majd a finálé közeledtével közeledjenek egymáshoz. Ezt a mechanizmust Chang (2024) munkájában javasolják az idő előtti megegyezés megelőzésére: mérsékelt ellentmondás-szintet tart fenn az ügynökök között, ösztönözve az új érvek megjelenését és a mélyebb megbeszélést.

A megközelítés előnyei és hatékonysága

A többügynökös viták azáltal keltették fel a figyelmet, hogy képesek növelni a nyelvi modellek teljesítményét bonyolult feladatokon. Számos független kutatás a 2023–2024-es évekből megerősítette, hogy az egymással interakcióban lévő LLM-ek csoportja felülmúlhatja az egyedi modell válaszminőségét ugyanazon a feladaton. Különösen javulások mutatkoztak az összetett érvelést igénylő területeken: a matematikai számításoktól a programozásig és a szövegsűrítésig. Így Yin és munkatársai (2023), Chan és munkatársai (2023), Chen és munkatársai (2024) és mások megjegyzik, hogy a többügynökös rendszerek magabiztosan felülmúlják az egyes LLM-eket aritmetikai feladatokban, kódgenerálásban és még dokumentumok összefoglalóinak elkészítésében is. Az ok a nézőpontok sokfélesége: minden ügynök észreveheti azokat a részleteket vagy hibákat, amelyeket a többiek kihagytak, és visszajelzést adhat a társainak. A kölcsönös kritika és a különböző hipotézisek cseréje a feladat átfogóbb vizsgálatához vezet, aminek köszönhetően a végső válasz pontosabb és megbízhatóbb.

Például az MIT és a Google Brain kutatói Yilun Du vezette csoportban az ICML 2024-en bemutatták az „Improving factuality and reasoning in language models through multiagent debate" (A tényszerűség és az érvelés javítása nyelvi modellekben többügynökös vita segítségével) című munkát, amelyben három modellpéldány közötti vita hozzáadásával jelentős minőségjavulást demonstráltak. Eredményeik szerint a többügynökös megbeszélési eljárás lehetővé tette számos feladat esetén magasabb mutatók elérését az ugyanazon modell szokásos egyedi alkalmazásához képest: a matematikai és stratégiai feladatok megoldásának pontossága nőtt, a ténybeli hibák száma pedig csökkent. Különösen a többügynökös megközelítés javított a modell matematikai érvelési, tényellenőrzési és még stratégiai tervezést igénylő feladatokon elért eredményein. A szerzők megjegyzik, hogy „a többfordulós megbeszélés után generált végső válasz tényszerűen is helyesebb, és sikeresebbnek is bizonyul az érvelési feladatokban". Az alábbiakban egy illusztráció hasonlítja össze a modell különböző feladatokon elért pontosságát egyedüli és többügynökös vita módban.

Pontosság összehasonlítása több feladaton az egyfelhasználós generálás (kék szín) és a többügynökös vita (piros szín) esetén. A többügynökös megközelítés (multi-agent debate) magasabb pontosságot mutat különböző területeken, köztük tényszerű kérdésekben (életrajzok), a tudást mérő MMLU teszten, sakkos lépések helyességének ellenőrzésében, aritmetikai kifejezések megoldásában, iskolai szintű matematikai szöveges feladatokban (GSM8K) és az optimális sakklépés megtalálásában. A grafikon adatai szerint a vita különösen az összetett stratégiai feladatokban erősíti a modell képességeit (például az optimális sakklépés keresése), és érezhetően csökkenti a hibák arányát matematikai számításokban és ténybeli kérdésekben.

A többügynökös megközelítés egy másik előnye a modell egyedi önellenőrzési korlátainak leküzdése. Az egyedi LLM-ek gyakran alkalmazzák a self-reflection (önreflexió) technikát, amelyben a modell maga értékeli és javítja ki az eredeti válaszát. Azonban kiderült, hogy ez a módszer hajlamos az úgynevezett „degeneration-of-thought" – gondolatromlás – problémájára: ha a modell meggyőzte magát az eredeti válaszról, az önellenőrzés során alapvetően új ötleteket nem generál, még akkor sem, ha a kiindulási megoldás téves. Más szóval, a modell hajlamos beleragadni az első általa kitalált megoldásba, elutasítva az alternatívákat. A többügynökös viták segítenek ennek a hatásnak a feloldásában: több egyenrangú ügynök kezdetben különböző hipotéziseket javasolhat, majd következetesen vitathatja egymás érveit, ami serkenti a nem szokványos gondolkodásmódok keresését. Tian Liang és kollégái (EMNLP 2024) MAD (Multi-Agent Debate) névvel illették többügynökös sémájukat, és megmutatták, hogy az valóban ösztönzi a modellek divergens (sokszínű) gondolkodását és javítja a mélyreható problémamegoldást igénylő feladatok eredményeit. Az ő megvalósításukban több ügynök vitázik „szemet szemért" elv alapján (mindenki felváltva ellenzi a másik érveit), és az egész folyamat felett egy segédbíró áll, aki irányítja a vitát és kiválasztja a végső megoldást. Liang és munkatársai kísérletei ennek a megközelítésnek a hatékonyságát mutatták bonyolult tesztkészleteken – a köznyelvi fordítás (mondatok fordítása rejtett józan ész figyelembevételével) és a kontraintuitív aritmetika (első ránézésre illogikus feltételekkel rendelkező matematikai rejtvények) feladatain a többügynökös megbeszélés helyesebb válaszokat adott, mint a szokásos módszerek. Az elemzés azt is feltárta, hogy a legjobb eredmény eléréséhez a vitát adaptívan kell megszakítani, nem engedve, hogy túl hosszúvá váljon, és csak mérsékelt konfliktusszintet kell fenntartani az ügynökök között – a túl agresszív vagy éppen túl egyetértő viselkedés egyaránt rontja az eredményeket.

A többügynökös megközelítés nemcsak a tipikus kérdés-válasz feladatokban bizonyult hasznosnak. Más területeken is alkalmazásra talál, például a modellek biztonságosabb és összehangoltabb viselkedésének biztosítása érdekében. Egyes kutatások az ügynökök vitáját moderációs és szabályalkotási feladatokban alkalmazzák: több LLM megvitathatja, hogy egy adott válasz etikai normák szempontjából elfogadható-e, ezáltal visszajelzést adva egymásnak a megerősítéses tanulásos finomhangolás során. Megállapítást nyert, hogy a viták képesek árnyaltabb és megalapozottabb értékelési jeleket generálni, amelyek segítik a modellek biztonságos és hasznos irányú hangolását. Kísérleteket tettek a multimodális feladatok kiterjesztésére is – például amikor egyes ügynökök leírnak egy képet, mások pedig ellenőrzik a leírás és a kép egyezését. A Google (2024) munkája ilyen kiterjesztés sikerességét mutatta meg: a multimodális megközelítés javított az eredményeken mind a tisztán szöveges feladatokban, mind a multimodális képmegértésben, demonstrálva az „elmék társadalma" sokoldalúságát. Érdekes, hogy a vita keretein belüli interakció növelheti a gyengébb modellek szintjét, ahogy azt korábban is megemlítettük. Például amikor különböző teljesítményű LLM-ek vesznek részt a közös megbeszélésben, a „gyengébb modellek fokozatosan erősödnek, átvéve az erősebbek sikeres stratégiáit". Így a többügynökös rendszer nem csupán a kitűzött feladatot oldja meg, hanem egyfajta kollektív, egymástól való tanulási mechanizmusként is szolgál.

Korlátok és nyitott problémák

A jelentős előnyök ellenére a többügynökös viták számos nehézséggel és korláttal szembesülnek. Az egyik legfontosabb az ilyen megközelítés magas erőforrás-igénye. A vita megszervezéséhez nagy modelleknél többszöri szöveggenerálást kell végrehajtani: ha n ügynök vesz részt T fordulón, akkor az LLM-hez intézett hívások teljes száma n x T-szeresére nő egyetlen válaszhoz képest. Ráadásul minden fordulóban a modellnek kontextusként nem csak az eredeti kérdést, hanem az összes korábbi forduló replikáit (az összes ügynök válaszait) is fel kell dolgoznia. Így az ügynökök és fordulók számának növekedésével a kontextuális bemenet terjedelme exponenciálisan nő, ami context explosion – kontextusablak-túlcsordulás és a feldolgozási költségek növekedése – hatáshoz vezet. A kísérletekben megfigyelhető, hogy már 2-3 megbeszélési forduló hozzáadása is jelentősen növeli a modell által feldolgozandó kontextus tokeneinek összesített számát, és következésképpen a válaszidőt. Elméletileg a megoldás minősége az iterációk számának növekedésével javul, de a gyakorlatban sok munka jelent csökkenő hozamot néhány forduló után: az optimális hatás gyakran a második-harmadik fordulóban érhető el, ezután a további megbeszélések ugyanazon érvek ismétléséhez vagy akár a pontosság csökkenéséhez is vezethetnek a kontextus túltelítettsége miatt. Például He és munkatársai (2023) csak a 2. vitafordulóig mutattak ki pontosságnövekedést, majd visszaesést, hasonlóképpen Liu és Li kollégáikkal (2024) körülbelül 4 fordulónál mutatkozó minőségi csúcsról számolnak be, amelyet követően a további ciklusok csak akadályozzák a folyamatot. Így a vitaoptimális időtartamának meghatározása nem egyszerű feladat: a túl rövid megbeszélés nem aknázhatja ki a kollektív intelligencia teljes potenciálját, a túl hosszú pedig információs zajhoz és kontextustelítettséghez vezet.

Egy másik probléma – a csoportos megegyezés téves válaszon való kockázata. Ha az összes ügynök hasonló tapasztalattal rendelkezik és tévesen meg van győződve valamely tényről, felerősíthetik egymás tévhitét. Bekövetkezik a visszhangkamra effektus: a vita során a modellek konszenzusra jutnak, de nem azért, mert megtalálták az igazságot, hanem az eredeti közös elfogultság megerősítése folytán. Az elméleti eredmények (Estornell & Liu, 2024) azt mutatják, hogy azonos modellek esetén a viták stagnálásba fulladhatnak, a többség véleményét megismételve új ötletek nélkül. Különösen veszélyes, ha ez a többség közös hibát oszt, amely például a tanítási adatokban gyökerezik – ekkor az egész vita eredménye téves lesz. E probléma leküzdésére speciális intervenciós módszereket (diversity-pruning) javasolnak: minden fordulóban algoritmikusan kiküszöbölik a túlságosan hasonló válaszokat, ösztönözve az ügynököket, hogy maximális információs entrópiával eltérő változatokat generáljanak. Ez csökkenti annak valószínűségét, hogy az összes válasz ugyanannak a hibának a variációja legyen. Másik módszer a tévhitek felismerése és megcáfolása (misconception refutation): a rendszer megpróbálja automatikusan azonosítani az ügynökök közös feltételezéseit, és célzottan megtámadja azokat, amelyek esetleg hamisak lehetnek. Estornell & Liu munkájában három ilyen intervenció készletét javasolják – az említett módszereken túl a quality-pruning (a leglényegesebb és legjobb minőségű érvek kiválasztása minden lépésben) is szerepel – és megmutatják, hogy ezek kombinációja érezhetően javítja a viták hatékonyságát és megelőzi a visszhangkamra-tendenciát.

Végül meg kell jegyezni, hogy a többügynökös megbeszélések stabilitása és kiszámíthatósága még messze van az ideálistól. Egyes kísérletekben a viták instabil eredményekhez vezettek – ugyanannak a vitának különböző futtatásai eltérő válaszokhoz konvergálhattak, vagy az összesített válasz rosszabbnak bizonyult, mint az egyedi, vita nélküli modellé. Wang és munkatársai (2024) és Smit és munkatársai (2023) egymástól függetlenül feljegyeztek olyan eseteket, amikor az ügynökök hozzáadása rontotta a teljesítményt, ami a hasznos kritika és a destruktív vita közötti vékony határra mutat. Azoknak a feltételeknek az azonosítása, amelyek esetén a többügynökös megközelítés garantáltan hasznos, a kutatás tárgya marad. Nyitott kérdések: hogyan döntsük el automatikusan, mikor kell leállítani a vitát és rögzíteni a választ, hogy ne szalasszuk el az előnyt és ne keveredjünk végtelen vitába, és miként hozzuk meg kollektívan a döntést – szavazással, konszenzussal vagy külső bíró segítségével – a különböző feladattípusoknál a legelőnyösebben. Szintén égetően aktuális a többügynökös rendszerek biztonsága és irányíthatósága: biztosítani kell, hogy az ügynökök ne generáljanak közösen nemkívánatos vagy mérgező tartalmakat, és ne erősítsék egymás káros hajlamait. Ezek a kérdések, különösen a biztonságra és skálázhatóságra vonatkozók, elismerten aktuálisak és összetettek. A jelenlegi szakirodalmi áttekintések megállapítják, hogy további kutatásokra van szükség, amelyek a megbeszélések megbízható leállítási szabályainak kidolgozására, a megközelítés skálázhatóságának értékelésére az ügynökök és fordulók számának növekedésével, valamint a kollektívan kapott válasz megbízhatóságát és hűségét garantáló módszerek bevezetésére irányulnak. E feladatok megoldása a többügynökös vitákat még hatékonyabb és sokoldalúbb eszközzé teheti a okosabb és biztonságosabb mesterséges intelligencia rendszerek létrehozásához.

Hivatkozások

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — projektoldal
• AI safety via debate — az OpenAI eredeti cikke
• Improving Multi-Agent Debate with Sparse Communication Topology — cikk a kommunikáció optimalizálásáról
• Literature Review Of Multi-Agent Debate For Problem-Solving — szakirodalmi áttekintés
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — a MAD-ról szóló cikk
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — NeurIPS 2024 cikk

Irodalom

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.