Multi-Agent Debate (CS)

Mnohoagentní debata (angl. multi-agent debate) – přístup v oblasti velkých jazykových modelů (LLM), při němž několik vzájemně interagujících agentů (instancí jazykového modelu) společně diskutuje o řešení zadaného úkolu, přičemž si vyměňují argumenty a pokusy o odpovědi. Cílem tohoto procesu je kolektivně vytvořit nejsprávnější a nejlépe podloženou odpověď na položenou otázku. Přístup vychází z myšlenky „společnosti myslí", kde různé modely vzájemně ověřují a doplňují závěry druhých. Výzkumy ukázaly, že mnohoagentní diskuse umožňuje výrazně zvýšit přesnost a spolehlivost odpovědí ve srovnání s generováním odpovědi jedinou metodou: konečná odpověď získaná po debatě agentů je zpravidla fakticky přesnější a lépe zvládá úkoly vyžadující uvažování. Zejména bylo pozorováno snížení počtu halucinací (neexistujících „faktů") a nárůst úspěšnosti u složitých testovacích úloh při použití této strategie.

Myšlenka zapojit více umělých inteligencí do debaty vychází z prací v oblasti bezpečnosti umělé inteligence. V roce 2018 skupina výzkumníků OpenAI (G. Irving, P. Christiano, D. Amodei) navrhla koncept AI safety via debate – trénování agentů prostřednictvím soupeřivých debat, v nichž dva modeloví oponenti střídavě předkládají stručné argumenty a lidský rozhodčí rozhoduje, kdo z nich předložil přesnější a užitečnější informace. Předpokládalo se, že při optimální strategii takové debaty umožní umělé inteligenci odpovídat na velmi složité otázky a budou od rozhodčího vyžadovat pouze posouzení věrohodnosti argumentů. V následujících letech, jak se začaly objevovat výkonné LLM, začal být princip debat mezi modely využíván přímo ke zlepšení kvality odpovědí samotných modelů – již bez povinné účasti člověka, ale s automatizovaným výběrem nejlepšího řešení. Moderní mnohoagentní LLM systémy využívají dialog mezi kopiemi nebo různými modely, aby si vzájemně opravovaly chyby a společně docházely k lépe podloženým výsledkům.

Postup mnohoagentní diskuse

V scénáři mnohoagentních debat několik agentů-modelů paralelně pracuje na jednom úkolu. Zpravidla je nejprve každému agentovi předložena výchozí otázka nebo úkol, načež každý agent nezávisle generuje vlastní odpověď. Následuje série komunikačních kol mezi agenty: v každém kole si všichni účastníci vyměňují svá aktuální řešení a každý agent dostává odpovědi ostatních jako doplňující kontext, na jehož základě upřesňuje nebo vylepšuje svou odpověď v dalším kole. Tento cyklus pokračuje několik iterací (obvykle je stanovený pevný počet kol nebo se pokračuje do dosažení zjevné shody), poté se proces zastaví a je vydána výsledná odpověď. Debaty napodobují lidskou diskusi a umožňují modelům kritizovat odpovědi druhých a kombinovat své schopnosti uvažování za účelem zvýšení kvality řešení. Například Yilun Du a kolegové (MIT a Google Brain) použili v experimentech 3 instance jazykového modelu, které diskutovaly o problému po dobu 2 kol (vyšší počet kol byl omezen kvůli časovým a výpočetním nákladům); bylo prokázáno, že i při takovém omezeném dialogu se výsledné odpovědi výrazně zlepšily, a při zvýšení počtu agentů nebo kol přesnost nadále rostla (byť s klesající návratností).

Postup mnohoagentní debaty je plně realizován ve fázi inference prostřednictvím speciálních promptů pro organizaci dialogu mezi již natrénovanými modely. To znamená, že metoda nevyžaduje dotrénování samotných LLM a může být použita i na „černé skříňky" – stačí mít přístup ke generování textu modelů a koordinovat jejich komunikaci podle předem daného schématu.

Pro určení finální odpovědi po několika kolech se používají různé přístupy. Jedním z nejjednodušších mechanismů je hlasování: agenti mohou nakonec nezávisle navrhnout svá konečná řešení, načež je vybrána varianta podpořená jejich většinou (nebo například nejčastěji se vyskytující odpověď). Jiný přístup spočívá v požadavku konsenzu, tedy v pokračování diskuse, dokud všechny modely nedospějí ke stejné odpovědi. Nakonec může být zapojen samostatný agent-rozhodčí: buď samostatná neuronová síť natrénovaná k hodnocení odpovědí, nebo jeden z agentů vybavený funkcí arbitra. Rozhodčí sleduje průběh diskuse a vybírá, čí argument byl nejpřesvědčivější nebo nejsprávnější. Volba mechanismu rozhodování ovlivňuje charakteristiky systému: hlasování nebo konsenzus jsou jednoduché na implementaci, ale mohou upevnit skupinové chyby, zatímco rozhodčí hodnotitel (zejména natrénovaný k identifikaci správné odpovědi) je teoreticky schopen vybrat správné řešení i při rozporech mezi agenty. Avšak i rozhodčí přístup má svá úskalí – například pokud v roli rozhodčího vystupuje tentýž model jako účastníci, může nevědomky inklinovat ke známému stylu argumentace jednoho z agentů.

Varianty konfigurace agentů a komunikace

Mnohoagentní systémy s LLM se mohou lišit skladbou a způsobem interakce agentů. Homogenní konfigurace předpokládá, že všichni agenti jsou kopiemi téhož modelu (nebo modelů podobné úrovně), zatímco heterogenní zahrnuje modely různého typu nebo velikosti. V homogenním případě mají všichni účastníci srovnatelné schopnosti a jejich neshody budou vznikat pouze v důsledku stochastického generování odpovědí nebo různých počátečních podmínek (například rozdílů v promptech). V heterogenním přístupu lze zapojit silné i slabé modely současně, což potenciálně umožňuje jedněm agentům kompenzovat nedostatky druhých. Výzkumy například ukazují, že vzájemná interakce různých LLM vede k tomu, že slabší modely zlepšují svá řešení díky zpětné vazbě od silnějších. Ilustrativním příkladem je společná debata jazykových modelů ChatGPT (GPT-4) a Google Bard při řešení matematické slovní úlohy: každý z těchto modelů sám o sobě poskytl nesprávnou odpověď, avšak v průběhu diskuse dokázaly navzájem upozornit na chyby a nakonec sjednotit správné řešení s využitím silných stránek každého z nich. Heterogenita však přináší i rizika: výrazná nerovnováha schopností může vést k dominanci jednoho modelu, a pokud má většina agentů společné mylné přesvědčení nebo chybný bias, debaty mohou rychle konvergovat k jednotné, avšak nesprávné odpovědi – jev, který byl nazván efektem „ozvěnové komory". Teoretická analýza (Estornell & Liu, NeurIPS 2024) ukázala, že při velmi podobných modelech může debata uváznout v statické dynamice, kdy všichni účastníci opakují názor většiny, i když je založen na společné chybě v jejich datech. Proto je v heterogenních systémech důležitý pečlivý výběr agentů – například se vybírají modely se srovnatelnou úrovní znalostí, aby žádný nedominoval a neuváděl ostatní v omyl.

Dalším aspektem je struktura komunikace mezi agenty. V základních implementacích se používá plně propojená topologie komunikace: v každém kole dostává každý agent odpovědi všech ostatních. Taková výměna „každý se všemi" maximalizuje dostupné informace, ale přináší značné náklady – objem kontextu roste úměrně počtu agentů, což výpočty prodražuje. Alternativou je řídká topologie, která omezuje, s kým každý agent přímo komunikuje. Agenty lze například uspořádat do síťového grafu (kruh, strom atd.), kde každý dostává odpovědi pouze od svých sousedů. Výzkum společnosti Google (Li et al., 2024) zjistil, že omezení konektivity sítě agentů dokáže výrazně snížit náklady na generování bez zhoršení, a někdy dokonce se zlepšením kvality řešení ve srovnání s plně propojenou diskusí. V experimentech s modely GPT-3.5 a Mistral dosáhlo řídké schéma „sousedních" diskusí stejné nebo vyšší přesnosti na úlohách (včetně matematiky), přičemž snížilo průměrný počet tokenů kontextu na krok řádově. Tento výsledek naznačuje, že nadměrná výměna zpráv není vždy nutná – stačí správně zorganizovat klíčové interakce mezi agenty, aby došli ke správnému řešení s nižšími náklady.

Kromě topologie jsou možné různé formáty vedení debat. Například různým agentům lze přidělit různé role: někteří vystupují jako „generátoři nápadů", jiní jako „kritici" nebo „ověřovatelé" řešení. Tento přístup rolí se snaží napodobit dělbu práce, kde se každý agent specializuje na určitý úkol (například jeden navrhuje hypotézu, druhý ověřuje fakta, třetí hodnotí logickou konzistenci). Další variantou je střídavá diskuse (round-robin): agenti nemluví současně, ale přísně jeden po druhém, přičemž se střídají v roli přednášejícího a reagujícího ve stanoveném pořadí. To se podobá formálním debatám, kde je slovo udělováno účastníkům podle jednacího řádu, což může zajistit rovnoměrnou účast všech agentů. Dalším přístupem je dynamická regulace neshod: systém může záměrně posilovat nebo oslabovat míru nesouhlasu mezi odpověďmi agentů v každém kole. Lze například podněcovat, aby se odpovědi v počátečních fázích co nejvíce rozcházely (pro pokrytí různých hypotéz), a jak se blíží finále, aby se sbližovaly. Takový mechanismus navrhl Chang (2024) za účelem předcházení předčasné shodě: udržuje mírnou úroveň rozporů mezi agenty, stimuluje vznik nových argumentů a hlubší diskusi.

Výhody a efektivita přístupu

Mnohoagentní debaty přitáhly pozornost díky schopnosti zvyšovat výkonnost jazykových modelů na složitých úlohách. Celá řada nezávislých výzkumů za roky 2023–2024 potvrdila, že skupina vzájemně komunikujících LLM dokáže kvalitou odpovědi překonat jednotlivý model pracující na témže úkolu. Zlepšení bylo prokázáno zejména v oblastech vyžadujících složité uvažování: od matematických výpočtů přes programování až po sumarizaci textu. Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) a další uvádějí, že mnohoagentní systémy spolehlivě překonávají samostatné LLM v aritmetických úlohách, generování kódu a dokonce i při vytváření výpisků z dokumentů. Důvodem je rozmanitost perspektiv: každý agent může zaznamenat detaily nebo chyby přehlédnuté ostatními a poskytnout kolegům zpětnou vazbu. Vzájemná kritika a výměna různých hypotéz vedou k komplexnějšímu zvážení úkolu, díky čemuž je výsledná odpověď přesnější a spolehlivější.

Například výzkumníci z MIT a Google Brain v čele s Yilunem Du představili na ICML 2024 práci „Improving factuality and reasoning in language models through multiagent debate", v níž prokázali výrazné zlepšení kvality řešení po přidání debat mezi třemi instancemi modelu. Podle jejich výsledků umožnil postup mnohoagentní diskuse dosáhnout vyšších výsledků v řadě úloh ve srovnání s běžným samostatným použitím téhož modelu: přesnost řešení matematických a strategických úloh vzrostla, zatímco počet faktických chyb klesl. Mnohoagentní přístup zejména zlepšil výsledky modelu v testech matematického uvažování, ověřování faktů a dokonce i v úlohách vyžadujících strategické plánování. Autoři poznamenávají, že „konečná odpověď vygenerovaná po takové víceroundové diskusi je jak fakticky správnější, tak úspěšnější při řešení úloh vyžadujících uvažování". Níže je uveden graf porovnávající přesnost plnění různých úkolů modelem samostatně a s využitím mnohoagentních debat.

Porovnání přesnosti na několika úlohách pro samostatné generování (modrá barva) a pro režim mnohoagentních debat (červená barva). Mnohoagentní přístup (multi-agent debate) vykazuje vyšší přesnost v různých oblastech, včetně faktografických otázek (biografie), znalostního testu MMLU, ověřování správnosti šachových tahů, řešení aritmetických výrazů, textových matematických úloh na úrovni základní školy (GSM8K) a hledání optimálního šachového tahu. Podle grafu debaty zvláště posilují schopnosti modelu ve složitých strategických úlohách (například hledání optimálního tahu v šachu) a výrazně snižují podíl chyb v matematických výpočtech a otázkách vyžadujících znalost faktů.

Další výhodou mnohoagentního přístupu je překonání omezení samostatné sebekontroly modelu. Samostatné LLM často využívají techniku self-reflection (sebereflexe), kdy model sám hodnotí a opravuje svou původní odpověď. Bylo však zjištěno, že tato metoda náchylná k problému „degeneration-of-thought" – degenerace myšlení: pokud model uvěřil v původní odpověď, při sebekontrole negeneruje zásadně nové nápady, i když je výchozí řešení chybné. Jinými slovy, model má tendenci uvíznout na prvním vymyšleném řešení a odmítat alternativy. Mnohoagentní debaty pomáhají tento efekt odstranit: několik rovnocenných agentů může zpočátku navrhnout různé hypotézy a následně postupně zpochybňovat argumenty druhých, což stimuluje hledání nestandardních myšlenkových postupů. Tian Liang a kolegové (EMNLP 2024) nazvali své mnohoagentní schéma MAD (Multi-Agent Debate) a ukázali, že skutečně podporuje divergentní (různorodé) myšlení modelů a zlepšuje výsledky v úlohách vyžadujících hluboké zpracování problému. V jejich implementaci několik agentů diskutuje na principu „oko za oko" (každý střídavě oponuje argumentům druhého) a nad procesem stojí pomocný rozhodčí, který řídí diskusi a vybírá finální řešení. Experimenty Lianga et al. prokázaly účinnost tohoto přístupu na složitých testovacích sadách – v úlohách překladu s ohledem na zdravý rozum a v kontraintuitivní aritmetice (matematické hádanky s na první pohled nelogickými podmínkami) přinesla mnohoagentní diskuse správnější odpovědi než standardní metody. Analýza také odhalila, že pro nejlepší výsledek by měly být debaty ukončeny adaptivně, aniž by došlo k nadměrné délce, a měla by být udržována pouze mírná úroveň konfliktu mezi agenty – příliš agresivní nebo naopak příliš souhlasné chování výsledky zhoršuje.

Mnohoagentní přístup se ukázal být užitečný nejen pro typické úlohy otázek a odpovědí. Nachází uplatnění v dalších oblastech, například pro bezpečnější a konzistentnější chování modelů. Některé výzkumy využívají debaty agentů v úlohách moderování a tvorby pravidel: několik LLM může diskutovat o tom, zda je daná odpověď z etického hlediska přijatelná, a tím si navzájem poskytovat feedback při učení s odměnou. Bylo zaznamenáno, že debaty jsou schopny generovat jemnější a lépe podložené hodnotící signály, které napomáhají při ladění modelů na bezpečnost a užitečnost. Byly také učiněny pokusy rozšířit přístup na multimodální úlohy – například když jedni agenti popisují obrázek a jiní ověřují shodu popisu s obrázkem. Práce Google (2024) prokázala úspěšnost takového rozšíření: multimodální přístup zlepšil výsledky jak v čistě textových úlohách, tak v multimodálním porozumění obrázkům, čímž demonstroval univerzálnost „společnosti myslí". Je zajímavé, že interakce v rámci debat může zvyšovat úroveň slabších modelů, jak bylo zmíněno dříve. Například když se LLM různé výkonnosti účastní společné diskuse, „slabší modely se postupně posilují tím, že přebírají úspěšné strategie od silnějších". Mnohoagentní systém tak nejen řeší zadaný úkol, ale slouží i jako jakýsi mechanismus kolektivního učení modelů od sebe navzájem.

Omezení a otevřené problémy

Přes značné výhody čelí mnohoagentní debaty řadě obtíží a omezení. Jedním z hlavních je vysoká náročnost na zdroje tohoto přístupu. Organizace diskuse vyžaduje opakované volání generování textu u velkých modelů: pokud se účastní n agentů v T kolech, celkový počet volání LLM narůstá n × T krát ve srovnání s jednou odpovědí. Navíc musí model v každém kole zpracovávat jako kontext nejen výchozí otázku, ale také všechny repliky z předchozích kol (odpovědi všech agentů). S rostoucím počtem agentů a kol tak objem kontextového vstupu exponenciálně roste, což vede k efektu context explosion – přeplnění kontextového okna a nárůstu nákladů na zpracování. V experimentech bylo zjištěno, že přidání již 2–3 kol diskuse výrazně zvyšuje celkový počet tokenů kontextu, které musí model zpracovat, a tím i dobu odezvy. Teoreticky se kvalita řešení zlepšuje s rostoucím počtem iterací, ale prakticky řada prací zaznamenává klesající návratnost po několika kolech: maximální efekt je často dosažen ve druhém až třetím kole, poté mohou další diskuse vést k opakování stejných argumentů nebo dokonce ke snížení přesnosti v důsledku přesycení kontextu. Například He et al. (2023) ukázali nárůst přesnosti pouze do 2. kola debat, a poté pokles; obdobně Liu a Li s kolegy (2024) hlásí peak kvality přibližně na 4 kolech, po nichž další cykly již jen překáží. Určení optimální délky debat je tedy náročný úkol: příliš krátká diskuse nemusí naplno využít potenciál kolektivní inteligence, zatímco příliš dlouhá může způsobit informační šum a přetížení kontextu.

Dalším problémem jsou rizika skupinové shody na nesprávné odpovědi. Pokud mají všichni agenti podobné zkušenosti a chybně věří v určitý fakt, mohou si navzájem posilovat toto mylné přesvědčení. Nastává efekt ozvěnové komory: v průběhu debat modely dospějí ke konsenzu, nikoli však proto, že nalezly pravdu, ale v důsledku potvrzení původního společného biasu. Teoretické výsledky (Estornell & Liu, 2024) naznačují, že při shodných modelech mohou debaty uváznout ve stagnaci, opakujíce názor většiny bez vzniku nových myšlenek. Obzvláště nebezpečné je, když tato většina sdílí společnou chybu zakotvenou například v trénovacích datech – pak bude výsledek celé diskuse nesprávný. K překonání tohoto problému jsou navrhována speciální intervenční opatření (diversity-pruning): v každém kole jsou algoritmicky odstraňovány příliš podobné odpovědi, čímž jsou agenti motivováni generovat různé varianty s maximální informační entropií. To snižuje pravděpodobnost, že všechny odpovědi budou variace téže chyby. Dalším postupem je odhalování a vyvracení mylných přesvědčení (misconception refutation): systém se pokouší automaticky identifikovat společné předpoklady agentů a cíleně zpochybňovat ty, které mohou být nepravdivé. V práci Estornell & Liu byl navržen soubor tří takových intervencí – kromě zmíněných také quality-pruning (výběr nejrelevantnějších a nejkvalitnějších argumentů v každém kroku) – a bylo prokázáno, že jejich kombinace výrazně zvyšuje efektivitu debat a brání sklonu k ozvěnové komoře.

Nakonec je třeba poznamenat, že stabilita a předvídatelnost mnohoagentních diskusí jsou zatím daleko od ideálu. V některých experimentech vedly debaty k nestabilním výsledkům – různé průběhy téže diskuse mohly konvergovat k různým odpovědím, nebo byl společný výsledek horší než u jednotlivého modelu bez debat. Wang et al. (2024) a Smit et al. (2023) nezávisle na sobě zaznamenali případy, kdy přidání agentů zhoršilo výkon, což poukazuje na tenkou hranici mezi užitečnou kritikou a destruktivními spory. Identifikace podmínek, za nichž je mnohoagentní přístup zaručeně přínosný, zůstává předmětem výzkumu. Otevřenými otázkami jsou: jak automaticky rozhodnout, kdy ukončit debaty a zaznamenat odpověď, aby nebyly promrhány výhody a nedošlo k nekonečnému sporu, a jakým způsobem kolektivně přijímat rozhodnutí – zda prostřednictvím hlasování, konsenzu nebo s pomocí externího rozhodčího – je nejspolehlivější pro různé typy úloh. Rovněž naléhavě stojí otázka bezpečnosti a ovladatelnosti mnohoagentních systémů: je třeba zajistit, aby agenti společně negenerovali nežádoucí nebo toxický obsah a neposilovali si navzájem škodlivé sklony. Tyto otázky, zejména ty týkající se bezpečnosti a škálování, jsou uznávány jako aktuální a obtížné. Moderní přehledy poznamenávají, že jsou zapotřebí další výzkumy věnované vývoji spolehlivých pravidel ukončení diskusí, hodnocení škálovatelnosti přístupu při zvyšování počtu agentů a kol, jakož i zavádění metod zaručujících spolehlivost a správnost kolektivně získané odpovědi. Řešení těchto úkolů umožní proměnit mnohoagentní debaty v ještě mocnější a univerzálnější nástroj pro vytváření chytřejších a bezpečnějších systémů umělé inteligence.

Odkazy

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — stránka projektu
• AI safety via debate — původní článek OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — článek o optimalizaci komunikace
• Literature Review Of Multi-Agent Debate For Problem-Solving — přehled literatury
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — článek o MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — článek NeurIPS 2024

Literatura

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.