Multi-Agent Debate (RO)

Dezbaterile multi-agent (engl. multi-agent debate) – o abordare în domeniul modelelor lingvistice de mari dimensiuni (LLM), în care mai mulți agenți interacționanți (instanțe ale modelului lingvistic) discută în comun soluția unei sarcini date, schimbând argumente și tentative de răspuns. Scopul unui astfel de proces este de a elabora colectiv cel mai corect și mai bine fundamentat răspuns la întrebarea pusă. Abordarea se bazează pe ideea „societății mințților", în care diferite modele verifică și completează concluziile reciproce. Cercetările au arătat că dezbaterea multi-agent permite să se crească semnificativ acuratețea și fiabilitatea răspunsurilor față de generarea unui răspuns printr-o singură metodă: răspunsul final obținut după dezbaterile agenților este, de regulă, mai fidel faptic și se descurcă mai bine cu sarcinile care necesită raționament. În special, se observă o reducere a numărului de halucinații (\"fapte\" inexistente) și o creștere a succeselor la sarcini de testare complexe atunci când se utilizează această strategie.

Ideea de a implica mai mulți agenți AI în dezbateri datează din lucrările despre siguranța inteligenței artificiale. În 2018, un grup de cercetători OpenAI (G. Irving, P. Christiano, D. Amodei) a propus conceptul de AI safety via debate – antrenarea agenților prin dezbateri de tip competitiv, în care doi oponenți-modele prezintă pe rând argumente scurte, iar un judecător uman decide care dintre ei a prezentat informații mai veridice și mai utile. Se presupunea că, cu o strategie optimă, astfel de dezbateri vor permite AI să răspundă la întrebări extrem de complexe, cerând judecătorului doar să evalueze credibilitatea argumentelor. În anii următori, pe măsura apariției LLM puternice, principiul dezbaterilor dintre modele a început să fie aplicat direct pentru îmbunătățirea calității răspunsurilor modelelor înseși – fără participarea obligatorie a unui om, ci cu o selecție automatizată a celei mai bune soluții. Sistemele LLM multi-agent moderne folosesc dialogul dintre copii sau modele diferite pentru a-și corecta reciproc erorile și a ajunge împreună la un rezultat mai bine fundamentat.

Procedura dezbaterii multi-agent

În scenariul dezbaterilor multi-agent, mai mulți agenți-modele lucrează în paralel la aceeași sarcină. De regulă, la început fiecărui agent i se furnizează întrebarea sau sarcina inițială, după care fiecare agent generează independent propriul răspuns. Urmează o serie de runde de comunicare între agenți: în fiecare rundă, toți participanții își schimbă soluțiile curente, iar fiecare agent primește răspunsurile celorlalți ca un context suplimentar, pe baza căruia precizează sau îmbunătățește răspunsul său în runda următoare. Un astfel de ciclu continuă mai multe iterații (de obicei este stabilit un număr fix de runde sau până la atingerea unui consens explicit), după care procesul se oprește și se emite răspunsul final. Dezbaterile imită discuția umană, permițând modelelor să critice răspunsurile reciproce și să-și combine abilitățile de raționament pentru a îmbunătăți calitatea soluției. De exemplu, Yilun Du și colegii (MIT și Google Brain) au folosit în experimente 3 instanțe ale modelului lingvistic, care au discutat problema timp de 2 runde (un număr mai mare de runde era limitat din cauza costurilor de timp și calcul); s-a demonstrat că, chiar și cu un dialog atât de limitat, răspunsurile finale au devenit vizibil mai bune, iar odată cu creșterea numărului de agenți sau runde, acuratețea a continuat să crească (deși cu randamente descrescătoare).

Procedura dezbaterii multi-agent este implementată în întregime la etapa de inferență (inference) cu ajutorul unor prompt-uri speciale pentru organizarea dialogului între modele deja antrenate. Aceasta înseamnă că metoda nu necesită reantrenarea LLM-urilor înseși și poate fi aplicată chiar și la „cutii negre" – este suficient să se aibă acces la generarea textului de către modele și să se coordoneze comunicarea lor conform unui șablon prestabilit.

Pentru determinarea răspunsului final după mai multe runde se folosesc abordări diferite. Unul dintre cele mai simple mecanisme este votul: la final, agenții pot propune independent soluțiile lor definitive, după care se alege varianta susținută de majoritate (sau, de exemplu, răspunsul cel mai frecvent întâlnit). O altă abordare constă în a solicita consensul, adică a continua discuția până când toate modelele ajung la același răspuns. În fine, poate fi implicat un agent-judecător separat: fie o rețea neuronală separată, antrenată să evalueze răspunsurile, fie unul dintre agenți, învestit cu funcția de arbitru. Judecătorul urmărește desfășurarea discuției și alege argumentul cel mai convingător sau corect. Alegerea mecanismului de luare a deciziei influențează caracteristicile sistemului: astfel, votul sau consensul sunt simple de implementat, dar pot consolida erorile colective, în timp ce judecătorul-evaluator (mai ales dacă este antrenat să identifice răspunsul corect) este teoretic capabil să extragă soluția corectă chiar și în prezența contradițiilor între agenți. Totuși, abordarea cu judecător are și dificultăți – de exemplu, dacă în rolul de judecător se află același model ca și participanții, acesta poate deveni involuntar părtinitor față de stilul familiar de argumentare al unuia dintre agenți.

Variante de configurare a agenților și comunicare

Sistemele multi-agent cu LLM pot diferi prin componența și modul de interacțiune al agenților. Configurarea omogenă presupune că toți agenții sunt copii ale aceluiași model (sau modele de nivel similar), în timp ce cea heterogenă include modele de tipuri sau dimensiuni diferite. În cazul omogen, toți participanții au capabilități comparabile, iar dezacordurile lor vor apărea doar din cauza generării stocastice a răspunsurilor sau a condițiilor inițiale diferite (de exemplu, diferențe în prompt-uri). În abordarea heterogenă, pot fi utilizate simultan modele puternice și slabe, ceea ce permite potențial unor agenți să compenseze deficiențele altora. Astfel, cercetările arată că interacțiunea diferitelor LLM duce la faptul că modelele mai slabe își îmbunătățesc soluțiile, primind feedback de la cele mai puternice. Un exemplu ilustrativ îl constituie dezbaterea comună între modelele lingvistice ChatGPT (GPT-4) și Google Bard la rezolvarea unei probleme matematice textuale: fiecare dintre aceste modele luate separat a dat un răspuns greșit, însă în cursul discuției au reușit să-și indice reciproc erorile și să ajungă în final la soluția corectă, valorificând punctele forte ale fiecăruia. Totodată, heterogenitatea prezintă și riscuri: un dezechilibru semnificativ în capabilități poate duce la dominarea unui singur model, iar dacă la majoritatea agenților există o confuzie sau o eroare (bias) comună, dezbaterile pot converge rapid spre un răspuns unic, dar greșit – fenomen denumit efectul „camerei de ecou". Analiza teoretică (Estornell & Liu, NeurIPS 2024) a arătat că, în cazul modelelor foarte similare, dezbaterea poate degenera într-o dinamică statică, în care toți participanții repetă opinia majorității, chiar dacă aceasta se bazează pe o eroare comună din datele lor. De aceea, în sistemele heterogene este importantă selecția atentă a agenților – de exemplu, se aleg modele cu un nivel comparabil de cunoștințe, pentru ca niciuna să nu domine sau să îi inducă în eroare pe ceilalți.

Un alt aspect îl reprezintă structura comunicării dintre agenți. În implementările de bază se folosește o topologie complet conectată a comunicării: în fiecare rundă, fiecare agent primește răspunsurile tuturor celorlalți. Un astfel de schimb „fiecare-cu-toți" maximizează informațiile disponibile, dar generează costuri semnificative – volumul contextului crește proporțional cu numărul de agenți, ceea ce îngreunează calculele. O alternativă o reprezintă topologia rară, care limitează cu cine schimbă date direct fiecare agent. De exemplu, agenții pot fi dispuși sub forma unui graf-rețea (inel, arbore etc.), unde fiecare primește răspunsurile doar de la vecinii săi. Cercetarea companiei Google (Li et al., 2024) a constatat că limitarea conectivității rețelei de agenți poate reduce semnificativ costurile de generare fără a deteriora, și uneori chiar îmbunătățind calitatea soluției față de discuția complet conectată. În experimente cu modelele GPT-3.5 și Mistral, schema rară a discuțiilor „vecine" oferea o acuratețe egală sau mai mare la sarcini (inclusiv matematice), reducând în același timp numărul mediu de token-uri de context per pas cu un ordin de mărime. Acest rezultat indică faptul că schimbul excesiv de mesaje nu este întotdeauna necesar – este suficient să se organizeze corect interacțiunile-cheie dintre agenți pentru ca aceștia să ajungă la soluția corectă cu costuri mai mici.

Pe lângă topologie, sunt posibile diferite formate de desfășurare a dezbaterilor. De exemplu, unor agenți li se pot atribui diferite roluri: unii acționează în rolul de „generatori de idei", alții – de „critici" sau „verificatori" ai soluțiilor. O astfel de abordare bazată pe roluri urmărește să imite diviziunea muncii, unde fiecare agent se specializează pe o anumită sarcină (de exemplu, unul propune o ipoteză, al doilea verifică faptele, al treilea evaluează consistența logică). O altă variantă este discuția pe rând (round-robin): agenții nu vorbesc simultan, ci strict pe rând, alternând în rolul de vorbitor și respondent într-o ordine fixă. Aceasta seamănă cu dezbaterile formale, în care cuvântul se acordă participanților conform regulamentului, ceea ce poate asigura o participare egală a tuturor agenților. O altă abordare constă în reglementarea dinamică a dezacordurilor: sistemul poate amplifica sau diminua în mod special gradul de dezacord dintre răspunsurile agenților în fiecare rundă. De exemplu, se poate încuraja ca în primele etape răspunsurile să divergă maximal (pentru a acoperi ipoteze diferite), iar pe măsura apropierii de final să conveargă. Un astfel de mecanism a fost propus în lucrarea lui Chang (2024) pentru prevenirea consensului prematur: acesta menține un nivel moderat de contradicții între agenți, stimulând apariția de noi argumente și o dezbatere mai aprofundată.

Avantajele și eficiența abordării

Dezbaterile multi-agent au atras atenția datorită capacității de a crește performanța modelelor lingvistice la sarcini complexe. O serie de cercetări independente din 2023-2024 au confirmat că un grup de LLM-uri interacționante poate depăși ca și calitate a răspunsului un model singular, lucrând la aceeași sarcină. În special, au fost demonstrate îmbunătățiri în domenii care necesită raționamente complexe: de la calcule matematice la programare și sumarizare de text. Astfel, Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) și alții remarcă faptul că sistemele multi-agent depășesc cu siguranță LLM-urile individuale la sarcini aritmetice, generare de cod și chiar la crearea de rezumate ale documentelor. Motivul îl constituie diversitatea perspectivelor: fiecare agent poate observa detalii sau erori scăpate de ceilalți și poate oferi feedback colegilor. Critica reciprocă și schimbul de ipoteze diferite duc la o examinare mai cuprinzătoare a sarcinii, datorită căreia răspunsul final se dovedește a fi mai precis și mai fiabil.

De exemplu, cercetătorii de la MIT și Google Brain în frunte cu Yilun Du au prezentat la ICML 2024 lucrarea „Improving factuality and reasoning in language models through multiagent debate", în care au demonstrat o îmbunătățire semnificativă a calității soluțiilor prin adăugarea dezbaterilor între trei instanțe ale modelului. Conform rezultatelor lor, procedura de discuție multi-agent a permis obținerea unor indicatori mai înalți la o serie de sarcini față de utilizarea unică obișnuită a aceluiași model: acuratețea rezolvării sarcinilor matematice și strategice a crescut, iar numărul erorilor faptice a scăzut. În particular, abordarea multi-agent a îmbunătățit rezultatele modelului la testele de raționament matematic, verificare a faptelor și chiar la sarcini care necesită planificare strategică. Autorii notează că „răspunsul final generat după o astfel de discuție în mai multe runde este atât mai fidel faptic, cât și mai reușit în rezolvarea sarcinilor de raționament". Mai jos este prezentată o ilustrație care compară acuratețea executării diferitelor sarcini de către model în regim singular și cu utilizarea dezbaterilor multi-agent.

Compararea acurateței la mai multe sarcini pentru generarea individuală (culoarea albastră) și pentru regimul dezbaterilor multi-agent (culoarea roșie). Abordarea multi-agent (multi-agent debate) demonstrează o acuratețe mai ridicată în diverse domenii, inclusiv întrebări faptice (biografii), testul de cunoștințe MMLU, verificarea corectitudinii mutărilor de șah, rezolvarea expresiilor aritmetice, probleme matematice textuale de nivel școlar (GSM8K) și găsirea mutării optime de șah. Conform datelor graficului, dezbaterile consolidează în special capacitățile modelului la sarcini strategice complexe (de exemplu, găsirea mutării optime la șah) și reduc vizibil ponderea erorilor în calcule matematice și întrebări de cunoaștere a faptelor.

Un alt avantaj al abordării multi-agent constă în depășirea limitărilor autocontrolului singular al modelului. LLM-urile individuale aplică adesea tehnica self-reflection (autoreflecție), când modelul evaluează și corectează el însuși răspunsul său inițial. Totuși, s-a descoperit că o astfel de metodă este predispusă la problema „degeneration-of-thought" – degenerarea gândirii: dacă modelul s-a convins de răspunsul inițial, în cursul autoverificării acesta nu generează idei principial noi, chiar dacă soluția inițială este greșită. Cu alte cuvinte, modelul tinde să se blocheze pe prima soluție pe care a imaginat-o, respingând alternativele. Dezbaterile multi-agent ajută la eliminarea acestui efect: mai mulți agenți egali pot propune inițial ipoteze diferite și apoi să conteste consecutiv argumentele celuilalt, ceea ce stimulează căutarea unor căi de gândire neconvenționale. Tian Liang și colegii (EMNLP 2024) au denumit schema lor multi-agent MAD (Multi-Agent Debate) și au demonstrat că aceasta încurajează cu adevărat gândirea divergentă (diversificată) a modelelor și îmbunătățește rezultatele la sarcini care necesită o elaborare aprofundată a problemei. În implementarea lor, mai mulți agenți se dispută conform principiului „răspuns pentru răspuns" (fiecare pe rând contrazice argumentele celuilalt), iar deasupra procesului se află un judecător auxiliar care gestionează discuția și alege soluția finală. Experimentele lui Liang et al. au demonstrat eficiența acestei abordări pe seturi de testare complexe – la sarcini de traducere cu bun-simț (traducerea propozițiilor ținând cont de bunul-simț implicit) și la aritmetică contraintuitivă (puzzle-uri matematice cu condiții aparent ilogice), discuția multi-agent a oferit răspunsuri mai corecte decât metodele standard. Analiza a evidențiat, de asemenea, că pentru cel mai bun rezultat dezbaterile trebuie întrerupte adaptiv, fără a le lăsa să fie prea lungi, și trebuie menținut un nivel moderat de conflict între agenți – un comportament prea agresiv sau, dimpotrivă, prea conciliant înrăutățește rezultatele.

Abordarea multi-agent s-a dovedit utilă nu numai pentru sarcinile tipice de întrebări-răspunsuri. Ea găsește aplicații în alte domenii, de exemplu, pentru un comportament mai sigur și mai aliniat al modelelor. Unele cercetări utilizează dezbaterile agenților în sarcini de moderare și elaborare a regulilor: mai multe LLM pot discuta dacă un răspuns dat este acceptabil din punct de vedere etic, asigurând astfel feedback reciproc în cadrul antrenamentului prin Reinforcement Learning. S-a remarcat că dezbaterile pot genera semnale de evaluare mai nuanțate și mai bine fundamentate, care ajută la reglarea modelelor pentru siguranță și utilitate. De asemenea, au fost făcute încercări de a extinde abordarea la sarcini multimodale – de exemplu, când unii agenți descriu o imagine, iar alții verifică corespunderea descrierii cu imaginea. Într-o lucrare Google (2024) este demonstrat succesul unei astfel de extinderi: abordarea multimodală a îmbunătățit rezultatele atât la sarcini pur textuale, cât și în înțelegerea multimodală a imaginilor, demonstrând universalitatea „societății mințților". Este interesant că interacțiunea în cadrul dezbaterilor poate ridica nivelul modelelor mai slabe, după cum s-a menționat anterior. De exemplu, atunci când LLM-uri de puteri diferite participă la o discuție comună, „modelele mai slabe se întăresc treptat, preluând strategiile de succes de la cele mai puternice". Astfel, sistemul multi-agent nu doar rezolvă sarcina pusă, ci servește și ca un mecanism de învățare colectivă a modelelor unele de la altele.

Limitări și probleme deschise

În ciuda avantajelor semnificative, dezbaterile multi-agent se confruntă cu o serie de dificultăți și limitări. Una dintre principale este consumul ridicat de resurse al acestei abordări. Pentru organizarea discuției este necesar să se apeleze de mai multe ori la generarea textului de către modele mari: dacă participă n agenți în T runde, numărul total de apeluri la LLM crește de n × T ori față de un singur răspuns. Mai mult, în fiecare rundă modelul trebuie să proceseze ca și context nu numai întrebarea inițială, ci și toate replicile din rundele anterioare (răspunsurile tuturor agenților). Astfel, odată cu creșterea numărului de agenți și runde, volumul intrării contextuale crește exponențial, ducând la efectul de context explosion – depășirea ferestrei contextuale și creșterea costurilor de procesare. În experimente se constată că adăugarea a chiar 2-3 runde de discuție crește substanțial numărul total de token-uri de context pe care trebuie să le proceseze modelul, și deci și timpul de răspuns. Teoretic, calitatea soluției se îmbunătățește odată cu creșterea numărului de iterații, dar practic multe lucrări remarcă randamente descrescătoare după câteva runde: adesea efectul maximal este atins la a doua-a treia rundă, după care discuțiile ulterioare pot duce la repetarea acelorași argumente sau chiar la scăderea acurateței din cauza suprasaturării contextului. De exemplu, He et al. (2023) au arătat o creștere a acurateței doar până la runda a 2-a de dezbateri, urmată de un declin, în mod similar Liu și Li cu colegii (2024) raportând un vârf de calitate la ~4 runde, după care ciclurile suplimentare doar obstrucționează. Astfel, determinarea duratei optime a dezbaterilor este o sarcină dificilă: o discuție prea scurtă poate să nu dezvăluie întregul potențial al inteligenței colective, iar una prea lungă poate genera zgomot informațional și supraîncărcare a contextului.

O altă problemă o reprezintă riscurile consensului colectiv pe un răspuns greșit. Dacă toți agenții au o experiență similară și sunt eronat convinși de un anumit fapt, ei pot consolida reciproc concepția greșită. Are loc efectul camerei de ecou: în cursul dezbaterilor, modelele ajung la un consens, dar nu pentru că au găsit adevărul, ci ca urmare a confirmării bias-ului comun inițial. Rezultatele teoretice (Estornell & Liu, 2024) indică faptul că, în cazul modelelor identice, dezbaterile pot aluneca în stagnare, repetând opinia majorității fără apariția de idei noi. Este deosebit de periculos când această majoritate împarte o eroare comună, introdusă, de exemplu, în datele de antrenament – atunci rezultatul întregii discuții va fi greșit. Pentru depășirea acestei probleme sunt propuse metode speciale de intervenție (diversity-pruning): în fiecare rundă, răspunsurile prea similare sunt eliminate algoritmic, stimulând agenții să genereze variante diferite cu entropie informațională maximă. Aceasta reduce probabilitatea ca toate răspunsurile să fie variații ale aceleiași erori. O altă tehnică este detectarea și respingerea concepțiilor greșite (misconception refutation): sistemul încearcă să identifice automat presupunerile comune ale agenților și le contestă în mod direcționat pe cele care pot fi false. În lucrarea lui Estornell & Liu este propus un set de trei astfel de intervenții – pe lângă cele menționate, și quality-pruning (selectarea celor mai relevante și de calitate argumente la fiecare pas) – și se demonstrează că combinarea lor îmbunătățește vizibil eficiența dezbaterilor și previne tendința spre camera de ecou.

În fine, trebuie remarcat că stabilitatea și predictibilitatea discuțiilor multi-agent sunt încă departe de ideal. În unele experimente, dezbaterile au dus la rezultate instabile – diferite rulări ale aceleiași discuții puteau converge la răspunsuri diferite, sau răspunsul colectiv se dovedea mai slab decât cel al modelului singular fără dezbateri. Wang et al. (2024) și Smit et al. (2023) au remarcat independent cazuri în care adăugarea agenților înrăutățea performanța, indicând granița fină dintre critica utilă și disputele distructive. Identificarea condițiilor în care abordarea multi-agent este garantat benefică rămâne un subiect de cercetare. Sunt deschise întrebările: cum să se decidă automat când să se oprească dezbaterile și să se fixeze răspunsul, pentru a nu rata avantajul și a nu intra într-o dispută infinită, și cum să se ia decizia colectiv – prin vot, consens sau cu ajutorul unui judecător extern – cel mai fiabil pentru diferite tipuri de sarcini. De asemenea, se ridică acut problema securității și controlabilității sistemelor multi-agent: este necesar să se se asigure că agenții nu vor genera în comun conținut nedorit sau toxic și nu-și vor amplifica reciproc tendințele dăunătoare. Aceste probleme, în special cele legate de siguranță și scalabilitate, sunt recunoscute ca actuale și dificile. Recenziile actuale remarcă faptul că sunt necesare cercetări suplimentare dedicate elaborării de reguli robuste de oprire a discuțiilor, evaluării scalabilității abordării cu creșterea numărului de agenți și runde, precum și implementării metodelor care garantează fiabilitatea și corectitudinea răspunsului obținut colectiv. Rezolvarea acestor probleme va permite transformarea dezbaterilor multi-agent într-un instrument și mai puternic și mai universal pentru crearea unor sisteme de inteligență artificială mai inteligente și mai sigure.

Referințe

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — pagina proiectului
• AI safety via debate — articolul original OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — articol despre optimizarea comunicării
• Literature Review Of Multi-Agent Debate For Problem-Solving — recenzie a literaturii
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — articol despre MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — articol NeurIPS 2024

Bibliografie

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.