Multi-Agent Debate (SV)

Multiagentdebatt (eng. multi-agent debate) – ett tillvägagångssätt inom området stora språkmodeller (LLM), där flera interagerande agenter (instanser av en språkmodell) gemensamt diskuterar lösningen på en given uppgift och utbyter argument och svarförsök. Målet med denna process är att kollektivt ta fram det mest korrekta och välgrundade svaret på den ställda frågan. Tillvägagångssättet bygger på idén om ett «samfund av förstånd», där olika modeller kontrollerar och kompletterar varandras slutsatser. Forskning har visat att multiagentdiskussion avsevärt ökar noggrannheten och tillförlitligheten hos svar jämfört med att generera ett svar med en enda metod: det slutgiltiga svaret som erhålls efter agentdebatter är i regel mer faktamässigt tillförlitligt och klarar sig bättre på uppgifter som kräver resonemang. I synnerhet observeras en minskning av antalet hallucinationer (icke-existerande «fakta») och ökade framgångar på komplexa testuppgifter vid användning av denna strategi.

Idén att engagera flera AI-system i debatter går tillbaka till arbeten inom AI-säkerhet. År 2018 föreslog en grupp forskare vid OpenAI (G. Irving, P. Christiano, D. Amodei) konceptet AI safety via debate – träning av agenter genom tävlingsinriktade debatter, där två modellopponenter omväxlande lägger fram korta argument och en mänsklig domare avgör vem av dem som presenterat den mest sanna och användbara informationen. Antagandet var att vid optimal strategi skulle sådana debatter göra det möjligt för AI att besvara extremt svåra frågor, och enbart kräva att domaren bedömer argumentens trovärdighet. Under de följande åren, i takt med framväxten av kraftfulla LLM, började principen om debatter mellan modeller tillämpas direkt för att förbättra kvaliteten på modellernas svar – utan obligatorisk mänsklig medverkan, utan med ett automatiserat urval av den bästa lösningen. Moderna multiagent-LLM-system använder dialog mellan kopior eller olika modeller för att rätta varandras fel och gemensamt nå ett mer välgrundat resultat.

Förfarandet för multiagentdiskussion

I ett scenario med multiagentdebatter arbetar flera modellagenter parallellt med samma uppgift. Vanligtvis ges varje agent den ursprungliga frågan eller uppgiften i början, varefter varje agent oberoende genererar sitt eget svar. Därefter följer en serie kommunikationsrundor mellan agenterna: i varje runda utbyter alla deltagare sina aktuella lösningar, och varje agent tar emot de andras svar som ytterligare kontext, utifrån vilken den förfinar eller förbättrar sitt svar i nästa runda. Denna cykel fortsätter i flera iterationer (vanligtvis ett fast antal rundor eller tills ett tydligt samförstånd nåtts), varefter processen stoppas och ett slutgiltigt svar presenteras. Debatterna efterliknar en mänsklig diskussion och låter modellerna kritisera varandras svar och kombinera sina resoneringsförmågor för att förbättra lösningens kvalitet. Till exempel använde Yilun Du och kollegor (MIT och Google Brain) i sina experiment 3 instanser av en språkmodell som diskuterade ett problem under 2 rundor (ett större antal rundor begränsades på grund av tids- och beräkningskostnader); det visades att även med denna begränsade dialog förbättrades de slutgiltiga svaren märkbart, och vid ökning av antalet agenter eller rundor fortsatte noggrannheten att öka (om än med avtagande avkastning).

Förfarandet för multiagentdebatt realiseras helt och hållet vid inferensfasen med hjälp av speciella prompts för att organisera dialog mellan redan tränade modeller. Detta innebär att metoden inte kräver fine-tuning av LLM:erna och kan tillämpas även på «svarta lådor» – det räcker att ha tillgång till modellernas textgenerering och koordinera deras kommunikation enligt en förutbestämd mall.

För att bestämma det slutgiltiga svaret efter flera rundor används olika tillvägagångssätt. En av de enklaste mekanismerna är omröstning: agenterna kan i slutet självständigt föreslå sina slutgiltiga lösningar, varefter det alternativ väljs som stöds av majoriteten av dem (eller exempelvis det vanligast förekommande svaret). Ett annat tillvägagångssätt är att kräva konsensus, det vill säga att fortsätta diskussionen tills alla modeller kommit fram till samma svar. Slutligen kan en separat domagent anlitas: antingen ett separat neuralt nätverk tränat att utvärdera svar, eller en av agenterna med domarfunktion. Domaren observerar diskussionens gång och väljer vars argument som visade sig vara mest övertygande eller korrekt. Valet av beslutsfattandemekanismen påverkar systemets egenskaper: omröstning eller konsensus är enkla att implementera men kan befästa gruppfel, medan en domargranskare (särskilt en tränad att identifiera rätt svar) teoretiskt kan peka ut den korrekta lösningen även vid motsägelser mellan agenter. Dock har domarmetoden också svårigheter – till exempel, om samma modell som deltagarna agerar domare, kan den oavsiktligt gynna den välbekanta argumentationsstilen hos en av agenterna.

Varianter av agentkonfiguration och kommunikation

Multiagentsystem med LLM kan skilja sig åt när det gäller sammansättning och interaktionssätt hos agenterna. En homogen konfiguration innebär att alla agenter är kopior av samma modell (eller modeller av liknande nivå), medan en heterogen inkluderar modeller av olika typ eller storlek. I det homogena fallet besitter alla deltagare jämförbara förmågor, och deras meningsskiljaktigheter uppstår enbart på grund av stokastisk svargenerering eller olika startförhållanden (till exempel skillnader i prompts). I det heterogena tillvägagångssättet kan starka och svaga modeller användas samtidigt, vilket potentiellt gör att vissa agenter kan kompensera för andras brister. Forskning visar till exempel att interaktion mellan olika LLM leder till att svagare modeller förbättrar sina lösningar när de får återkoppling från starkare. Ett belysande exempel är en gemensam debatt mellan språkmodellerna ChatGPT (GPT-4) och Google Bard vid lösning av en matematisk textuppgift: var och en av dessa modeller gav ett felaktigt svar separat, men under diskussionen lyckades de påpeka varandras fel och slutligen enas om den rätta lösningen, med hjälp av varje modells starka sidor. Samtidigt medför heterogenitet också risker: en väsentlig obalans i förmågor kan leda till att en modell dominerar, och om majoriteten av agenterna har en gemensam villfarelse eller felaktig bias kan debatterna snabbt konvergera mot ett samlat men felaktigt svar – ett fenomen som kallas «ekokammare»-effekten. Teoretisk analys (Estornell & Liu, NeurIPS 2024) visade att vid mycket likartade modeller kan debatten stagnera i en statisk dynamik där alla deltagare upprepar majoritetens åsikt, även om den baseras på ett gemensamt fel i deras data. Därför är ett noggrant urval av agenter viktigt i heterogena system – till exempel väljs modeller med jämförbar kunskapsnivå, så att ingen dominerar och vilseleder de övriga.

Ett annat aspekt är kommunikationsstrukturen mellan agenterna. I grundläggande implementeringar används en fullständigt kopplad topologi för kommunikation: i varje runda tar varje agent emot svar från alla övriga. Detta «alla-till-alla»-utbyte maximerar den tillgängliga informationen men genererar betydande kostnader – kontextvolymen växer proportionellt med antalet agenter, vilket tynger beräkningarna. Ett alternativ är en gles topologi som begränsar vem varje agent direkt utbyter data med. Till exempel kan agenter arrangeras i ett nätverksdiagram (ring, träd, etc.), där varje agent enbart tar emot svar från sina grannar. En undersökning av Google (Li et al., 2024) visade att begränsning av agenternas nätverkskonnektivitet avsevärt kan minska genereringskostnaderna utan att försämra – och ibland med förbättring av – lösningens kvalitet jämfört med en fullt sammankopplad diskussion. I experiment med GPT-3.5 och Mistral gav det glesa «grann»-diskussionsschemat samma eller högre noggrannhet på uppgifter (inklusive matematik), samtidigt som det genomsnittliga antalet kontexttokens per steg minskades med en storleksordning. Detta resultat tyder på att överdrivet meddelandeutbyte inte alltid är nödvändigt – det räcker att organisera nyckelinteraktionerna mellan agenter på rätt sätt för att de ska nå rätt lösning med lägre kostnader.

Utöver topologin är olika debattformat möjliga. Till exempel kan olika agenter tilldelas olika roller: vissa agerar «idégeneratorer», andra – «kritiker» eller «lösningsgranskare». Detta rollbaserade tillvägagångssätt strävar efter att efterlikna arbetsfördelning, där varje agent specialiserar sig på en viss uppgift (till exempel föreslår en hypotes, en annan verifierar fakta, en tredje bedömer logisk konsistens). Ett annat alternativ är en omväxlande diskussion (round-robin): agenter talar inte samtidigt utan strikt i tur och ordning, med en fast växling av rollerna som talare och respondent. Detta liknar formella debatter där ordet ges till deltagarna enligt reglementet, vilket kan säkerställa lika deltagande för alla agenter. Ytterligare ett tillvägagångssätt är dynamisk reglering av meningsskiljaktigheter: systemet kan medvetet förstärka eller försvaga graden av oenighet mellan agenternas svar i varje runda. Man kan till exempel uppmuntra att svaren maximalt divergerar i de tidiga faserna (för att täcka olika hypoteser) och sedan konvergerar i takt med att finalen närmar sig. En sådan mekanism föreslogs i Chang (2024) för att förhindra för tidig konsensus: den upprätthåller en måttlig nivå av motsättningar mellan agenterna och stimulerar framkomsten av nya argument och en djupare diskussion.

Fördelar och effektivitet med tillvägagångssättet

Multiagentdebatter har väckt uppmärksamhet tack vare förmågan att öka resultaten hos språkmodeller på svåra uppgifter. Ett antal oberoende undersökningar under 2023–2024 har bekräftat att en grupp interagerande LLM kan överträffa en enskild modell i svarskvalitet när de arbetar med samma uppgift. Förbättringar har i synnerhet påvisats inom domäner som kräver komplexa resonemang: från matematiska beräkningar till programmering och textsammanfattning. Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) och andra konstaterar att multiagentsystem konsekvent slår enskilda LLM i aritmetiska uppgifter, kodgenerering och till och med i att skapa sammanfattande referat av dokument. Orsaken är mångfald av perspektiv: varje agent kan uppmärksamma detaljer eller fel som andra missat och ge kollegorna återkoppling. Ömsesidig kritik och utbyte av olika hypoteser leder till en mer allsidig granskning av uppgiften, varigenom det slutgiltiga svaret blir mer exakt och tillförlitligt.

Till exempel presenterade forskare från MIT och Google Brain under ledning av Yilun Du vid ICML 2024 arbetet «Improving factuality and reasoning in language models through multiagent debate», där de demonstrerade en väsentlig förbättring av lösningarnas kvalitet vid tillägg av debatter mellan tre instanser av modellen. Enligt deras resultat möjliggjorde proceduren för multiagentdiskussion högre prestanda på ett antal uppgifter jämfört med vanlig enkel användning av samma modell: noggrannheten vid lösning av matematiska och strategiska uppgifter ökade och antalet faktafel minskade. Framför allt förbättrade det multiagentbaserade tillvägagångssättet modellens resultat i tester om matematiska resonemang, faktakontroll och till och med i uppgifter som kräver strategisk planering. Författarna noterar att «det slutgiltiga svaret som genereras efter en sådan flerrundsdiskussion är både mer faktamässigt korrekt och mer framgångsrikt vid lösning av resoneringsuppgifter». Nedan visas en illustration som jämför noggrannheten i utförandet av olika uppgifter av modellen ensam och med användning av multiagentdebatter.

Jämförelse av noggrannhet på flera uppgifter för enkel generering (blå färg) och för läget med multiagentdebatter (röd färg). Det multiagentbaserade tillvägagångssättet (multi-agent debate) uppvisar högre noggrannhet inom olika domäner, inklusive faktafrågor (biografier), kunskapstest MMLU, kontroll av korrektheten hos schackdrag, lösning av aritmetiska uttryck, matematiska textuppgifter på skolnivå (GSM8K) och att hitta det optimala schackdraget. Enligt diagrammets data förstärker debatterna i synnerhet modellens förmåga i komplexa strategiska uppgifter (till exempel att hitta det optimala draget i schack) och minskar märkbart andelen fel i matematiska beräkningar och faktafrågor.

En annan fördel med det multiagentbaserade tillvägagångssättet är att övervinna begränsningarna hos en enskild modells självkontroll. Enskilda LLM tillämpar ofta tekniken self-reflection (självreflektion), där modellen själv utvärderar och korrigerar sitt ursprungliga svar. Det har dock visat sig att denna metod är benägen för problemet «degeneration-of-thought» – tankens degeneration: om modellen har övertygats om det ursprungliga svaret, genererar den inga principiellt nya idéer vid självkontroll, även om den ursprungliga lösningen är felaktig. Med andra ord tenderar modellen att fastna i den första lösning den kom på och avvisa alternativ. Multiagentdebatter hjälper till att upphäva denna effekt: flera jämlika agenter kan från början föreslå olika hypoteser och sedan successivt ifrågasätta varandras argument, vilket stimulerar sökandet efter okonventionella tankegångar. Tian Liang och kollegor (EMNLP 2024) kallade sitt multiagentschema MAD (Multi-Agent Debate) och visade att det verkligen uppmuntrar divergerande (varierat) tänkande hos modellerna och förbättrar resultaten i uppgifter som kräver djupgående problembearbetning. I deras implementering argumenterar flera agenter enligt principen «öga för öga» (var och en opponerar sig omväxlande mot den andras argument), och över processen finns en hjälpsam domare som styr diskussionen och väljer det slutgiltiga svaret. Experiment av Liang et al. demonstrerade effektiviteten hos detta tillvägagångssätt på svåra testuppsättningar – i uppgifter om commonsense-översättning (översättning av meningar med hänsyn till dolt sunt förnuft) och i kontraintuitiv aritmetik (matematiska pussel med till synes ologiska villkor) gav multiagentdiskussionen mer korrekta svar än standardmetoder. Analysen visade också att för bästa resultat bör debatterna avbrytas adaptivt, utan att dras ut alltför länge, och att enbart en måttlig konfliktnivå mellan agenterna bör upprätthållas – alltför aggressivt eller omvänt alltför samstämmigt beteende försämrar resultaten.

Det multiagentbaserade tillvägagångssättet visade sig vara användbart inte bara för typiska fråga-och-svar-uppgifter. Det finner tillämpning inom andra områden, till exempel för mer säkert och harmoniserat beteende hos modeller. Vissa undersökningar använder agentdebatter i uppgifter om moderering och regelutformning: flera LLM kan diskutera huruvida ett givet svar är acceptabelt enligt etiska normer, och därigenom ge varandra feedback vid förstärkningsinlärning. Det har noterats att debatter kan generera mer nyanserade och välgrundade utvärderingssignaler som hjälper till att finjustera modeller för säkerhet och användarnytta. Det har också gjorts försök att utvidga till multimodala uppgifter – till exempel när vissa agenter beskriver en bild och andra kontrollerar om beskrivningen stämmer överens med bilden. I Googles arbete (2024) visas framgången med en sådan utvidgning: det multimodala tillvägagångssättet förbättrade resultaten både i rent textbaserade uppgifter och i multimodal bildförståelse, och demonstrerade «samfundet av förstånds» mångsidighet. Intressant nog kan interaktion inom ramen för debatter höja nivån hos svagare modeller, som nämnts tidigare. Till exempel, när LLM av olika styrka deltar i en gemensam diskussion, «förstärks de svagare modellerna gradvis genom att ta över framgångsrika strategier från de starkare». Således löser ett multiagentsystem inte bara den ställda uppgiften utan fungerar också som en slags mekanism för kollektivt ömsesidigt lärande mellan modeller.

Begränsningar och öppna problem

Trots de betydande fördelarna stöter multiagentdebatter på ett antal svårigheter och begränsningar. En av de viktigaste är den höga resursintensiteten hos detta tillvägagångssätt. För att organisera diskussionen krävs att textgenerering hos stora modeller aktiveras upprepade gånger: om n agenter deltar i T rundor ökar det totala antalet anrop till LLM med n x T gånger jämfört med ett enda svar. Dessutom måste modellen i varje runda bearbeta inte bara den ursprungliga frågan som kontext, utan även alla repliker från föregående rundor (svar från alla agenter). Således växer volymen av kontextindata exponentiellt med ökat antal agenter och rundor, vilket leder till effekten av context explosion – kontextfönstrets överfyllnad och ökade bearbetningskostnader. I experiment konstateras att tillägg av även 2–3 diskussionsrundor avsevärt ökar det totala antalet kontexttokens som modellen måste läsa, och följaktligen också svarstiden. Teoretiskt förbättras lösningens kvalitet vid ökat antal iterationer, men i praktiken noterar många arbeten avtagande avkastning efter ett fåtal rundor: ofta nås maximal effekt under den andra eller tredje rundan, varefter ytterligare diskussioner kan leda till upprepning av samma argument eller till och med till minskad noggrannhet på grund av kontextövermättnad. Till exempel visade Xi et al. (2023) ökad noggrannhet enbart fram till den 2:a debatrunden och därefter en nedgång; på liknande sätt rapporterar Liu och Li med kollegor (2024) om en kvalitetspik vid ~4 rundor, varefter ytterligare cykler bara stör. Således är fastställandet av den optimala debattlängden en icke-trivial uppgift: en alltför kort diskussion kanske inte utnyttjar hela potentialen hos det kollektiva förståndet, medan en alltför lång kan orsaka informationsbrus och kontextöverbelastning.

Ett annat problem är riskerna för gruppconsensus kring ett felaktigt svar. Om alla agenter har liknande erfarenhet och är felaktigt övertygade om ett visst faktum kan de förstärka varandras villfarelse. Effekten av ekokammaren uppstår: under debatterna når modellerna konsensus, men inte för att de funnit sanningen, utan till följd av bekräftelse av den ursprungliga gemensamma biasen. Teoretiska resultat (Estornell & Liu, 2024) indikerar att vid identiska modeller kan debatter falla in i stagnation och upprepa majoritetens åsikt utan att nya idéer framkommer. Det är särskilt farligt när denna majoritet delar ett gemensamt fel som är inbyggt, till exempel i träningsdata – då blir utfallet av hela diskussionen felaktigt. För att övervinna detta problem föreslås speciella interventionsmetoder (diversity-pruning): i varje runda klipps algoritmiskt alltför liknande svar bort, vilket stimulerar agenterna att generera olika varianter med maximal informationsentropin. Detta minskar sannolikheten att alla svar är variationer av samma fel. En annan teknik är identifiering och vederläggning av villfarelser (misconception refutation): systemet försöker automatiskt identifiera agenternas gemensamma antaganden och utmanar målmedvetet de av dem som kan vara falska. I Estornell & Lius arbete föreslås en uppsättning av tre sådana interventioner – förutom de nämnda även quality-pruning (urval av de mest relevanta och kvalitativa argumenten vid varje steg) – och det visas att deras kombination märkbart ökar debatternas effektivitet och förhindrar tendensen till ekokammare.

Slutligen bör det noteras att stabiliteten och förutsägbarheten hos multiagentdiskussioner ännu är långt ifrån ideal. I vissa experiment ledde debatterna till instabila resultat – olika körningar av samma diskussion kunde konvergera mot olika svar, eller så visade sig det samlade svaret vara sämre än en enskild modells svar utan debatter. Wang et al. (2024) och Smit et al. (2023) noterade oberoende av varandra fall där tillägg av agenter försämrade prestandan, vilket pekar på den tunna gränsen mellan konstruktiv kritik och destruktiva tvister. Att identifiera de förhållanden under vilka det multiagentbaserade tillvägagångssättet garanterat är fördelaktigt förblir ett forskningsämne. Öppna frågor kvarstår: hur man automatiskt avgör när debatterna ska stoppas och svaret fastställas, för att inte missa fördelen och inte hamna i en oändlig tvist, och hur man kollektivt fattar beslut – via omröstning, konsensus eller med hjälp av en extern domare – på det mest tillförlitliga sättet för olika typer av uppgifter. Även problemet med säkerhet och kontrollerbarhet hos multiagentsystem är akut: man måste försäkra sig om att agenterna inte gemensamt genererar oönskat eller toxiskt innehåll och inte förstärker varandras skadliga tendenser. Dessa frågor, särskilt rörande säkerhet och skalning, erkänns som aktuella och komplexa. Aktuella översikter konstaterar att ytterligare forskning behövs om utveckling av tillförlitliga stoppregler för diskussioner, utvärdering av skalbarhet hos tillvägagångssättet vid ökning av antalet agenter och rundor, samt implementering av metoder som garanterar tillförlitligheten och riktigheten hos det kollektivt erhållna svaret. Att lösa dessa uppgifter kommer att göra multiagentdebatter till ett ännu kraftfullare och mer mångsidigt verktyg för att skapa mer intelligenta och säkra system för artificiell intelligens.

Referenser

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — projektsida
• AI safety via debate — original artikel från OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — artikel om kommunikationsoptimering
• Literature Review Of Multi-Agent Debate For Problem-Solving — litteraturöversikt
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — artikel om MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — artikel NeurIPS 2024

Litteratur

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.