Multi-Agent Debate (IT)

Il dibattito multi-agente (in inglese multi-agent debate) è un approccio nel campo dei grandi modelli linguistici (LLM), in cui più agenti interagenti (istanze di un modello linguistico) discutono collettivamente la soluzione di un dato compito, scambiandosi argomenti e proposte di risposta. L'obiettivo di tale processo è elaborare collettivamente la risposta più corretta e motivata alla domanda posta. L'approccio si basa sull'idea di una «società delle menti», in cui diversi modelli verificano e completano reciprocamente le proprie conclusioni. Le ricerche hanno dimostrato che la discussione multi-agente consente di aumentare significativamente la precisione e l'affidabilità delle risposte rispetto alla generazione con un unico metodo: la risposta finale ottenuta dopo il dibattito degli agenti è generalmente più fattualmente attendibile e gestisce meglio i compiti che richiedono ragionamento. In particolare, si osserva una riduzione delle allucinazioni ("fatti" inesistenti) e un aumento dei successi su test complessi quando si utilizza questa strategia.

L'idea di coinvolgere più IA in un dibattito risale ai lavori sulla sicurezza dell'intelligenza artificiale. Nel 2018, un gruppo di ricercatori di OpenAI (G. Irving, P. Christiano, D. Amodei) propose il concetto di AI safety via debate – l'addestramento di agenti tramite dibattiti competitivi, in cui due modelli avversari presentano a turno brevi argomenti, mentre un giudice umano decide quale dei due ha fornito informazioni più veritiere e utili. Si ipotizzava che, con una strategia ottimale, tali dibattiti avrebbero permesso all'IA di rispondere a domande estremamente complesse, richiedendo al giudice soltanto di valutare l'attendibilità degli argomenti. Negli anni successivi, con l'emergere di potenti LLM, il principio del dibattito tra modelli è stato applicato direttamente per migliorare la qualità delle risposte dei modelli stessi – senza la necessaria partecipazione umana, ma con una selezione automatizzata della soluzione migliore. I moderni sistemi LLM multi-agente utilizzano il dialogo tra copie o tra modelli diversi per correggere reciprocamente gli errori e giungere insieme a un risultato più fondato.

Procedura di discussione multi-agente

In uno scenario di dibattito multi-agente, più agenti-modello lavorano in parallelo su un unico compito. Di norma, all'inizio a ciascun agente viene fornita la domanda o il compito originale, dopodiché ogni agente genera autonomamente la propria risposta. Segue quindi una serie di round di comunicazione tra gli agenti: in ogni round tutti i partecipanti si scambiano le proprie soluzioni correnti, e ciascun agente riceve le risposte degli altri come contesto aggiuntivo, sulla base del quale affina o migliora la propria risposta nel round successivo. Tale ciclo si ripete per diverse iterazioni (di solito con un numero fisso di round o fino al raggiungimento di un accordo esplicito), dopodiché il processo si interrompe e viene fornita la risposta finale. Il dibattito imita la discussione umana, permettendo ai modelli di criticare le risposte altrui e di combinare le proprie capacità di ragionamento per migliorare la qualità della soluzione. Ad esempio, Yilun Du e colleghi (MIT e Google Brain) hanno utilizzato negli esperimenti 3 istanze di un modello linguistico che discutevano il problema per 2 round (un numero maggiore di round era limitato a causa dei costi in termini di tempo e calcolo); è stato dimostrato che anche con questo dialogo limitato le risposte finali miglioravano sensibilmente, e con l'aumentare del numero di agenti o di round la precisione continuava a crescere (sebbene con rendimenti decrescenti).

La procedura del dibattito multi-agente viene realizzata interamente nella fase di inferenza (inference) tramite prompt specifici per organizzare il dialogo tra modelli già addestrati. Ciò significa che il metodo non richiede il fine-tuning degli LLM stessi e può essere applicato anche a sistemi «black-box» — è sufficiente avere accesso alla generazione di testo dei modelli e coordinarne la comunicazione secondo uno schema predefinito.

Per determinare la risposta finale dopo diversi round vengono utilizzati approcci differenti. Uno dei meccanismi più semplici è la votazione: alla fine, gli agenti possono proporre indipendentemente le proprie soluzioni definitive, dopodiché viene selezionata la variante sostenuta dalla maggioranza (o, ad esempio, la risposta più frequente). Un altro approccio consiste nel richiedere il consenso, ovvero continuare la discussione finché tutti i modelli non convergono sulla stessa risposta. Infine, può essere coinvolto un agente giudice separato: una rete neurale apposita addestrata a valutare le risposte, oppure uno degli agenti al quale viene assegnata la funzione di arbitro. Il giudice osserva lo svolgimento della discussione e sceglie quale argomento si è rivelato più convincente o corretto. La scelta del meccanismo decisionale influenza le caratteristiche del sistema: votazione e consenso sono semplici da implementare, ma possono consolidare errori collettivi, mentre un valutatore-giudice (in particolare se addestrato a individuare la risposta corretta) può teoricamente estrarre la soluzione giusta anche in presenza di contraddizioni tra gli agenti. Tuttavia anche l'approccio del giudice presenta difficoltà — ad esempio, se nella funzione di giudice opera lo stesso modello dei partecipanti, esso potrebbe involontariamente favorire lo stile argomentativo a esso più familiare.

Varianti di configurazione degli agenti e della comunicazione

I sistemi multi-agente con LLM possono differire per composizione e modalità di interazione degli agenti. La configurazione omogenea prevede che tutti gli agenti siano copie dello stesso modello (o di modelli di livello analogo), mentre quella eterogenea include modelli di tipo o dimensione diversi. Nel caso omogeneo, tutti i partecipanti possiedono capacità comparabili e i loro disaccordi emergeranno solo a causa della generazione stocastica delle risposte o di condizioni iniziali diverse (ad esempio, differenze nei prompt). Nell'approccio eterogeneo è possibile impiegare contemporaneamente modelli forti e deboli, consentendo potenzialmente ad alcuni agenti di compensare le lacune degli altri. Le ricerche mostrano che l'interazione tra LLM diversi porta i modelli più deboli a migliorare le proprie soluzioni ricevendo feedback dai modelli più forti. Un esempio emblematico è il dibattito congiunto tra i modelli linguistici ChatGPT (GPT-4) e Google Bard nella risoluzione di un problema matematico testuale: ciascuno di questi modelli, preso singolarmente, aveva fornito una risposta errata, ma nel corso della discussione sono riusciti a segnalarsi reciprocamente gli errori e alla fine a concordare sulla soluzione corretta, sfruttando i punti di forza di ciascuno. Al tempo stesso, l'eterogeneità comporta anche rischi: uno squilibrio notevole nelle capacità può portare al dominio di un modello, e se la maggior parte degli agenti condivide un pregiudizio o un errore comune, il dibattito può convergere rapidamente su una risposta unica ma sbagliata — un fenomeno denominato effetto «camera d'eco». L'analisi teorica (Estornell & Liu, NeurIPS 2024) ha mostrato che, con modelli molto simili, il dibattito può degenerare in una dinamica statica in cui tutti i partecipanti ripetono l'opinione della maggioranza, anche se essa si basa su un errore comune nei loro dati. Per questo motivo, nei sistemi eterogenei è fondamentale una selezione accurata degli agenti — ad esempio, si scelgono modelli con un livello di conoscenze comparabile, affinché nessuno domini o fuorvii gli altri.

Un altro aspetto riguarda la struttura della comunicazione tra gli agenti. Nelle implementazioni di base viene utilizzata una topologia completamente connessa: in ogni round, ciascun agente riceve le risposte di tutti gli altri. Tale scambio «tutti-verso-tutti» massimizza le informazioni disponibili, ma genera costi significativi — il volume del contesto cresce proporzionalmente al numero di agenti, appesantendo i calcoli. Un'alternativa è la topologia sparsa, che limita con chi ogni agente scambia direttamente i dati. Ad esempio, gli agenti possono essere disposti come un grafo-rete (anello, albero, ecc.), in cui ciascuno riceve le risposte solo dai propri vicini. Una ricerca di Google (Li et al., 2024) ha rilevato che limitare la connettività della rete di agenti può ridurre significativamente i costi di generazione senza peggiorare, e talvolta migliorando, la qualità della soluzione rispetto a una discussione completamente connessa. Negli esperimenti con i modelli GPT-3.5 e Mistral, lo schema sparso di discussioni «tra vicini» forniva una precisione uguale o superiore nei compiti (inclusi quelli matematici), riducendo al contempo il numero medio di token di contesto per passo di un ordine di grandezza. Questo risultato indica che uno scambio eccessivo di messaggi non è sempre necessario — è sufficiente organizzare correttamente le interazioni chiave tra gli agenti affinché giungano alla soluzione corretta con costi minori.

Oltre alla topologia, sono possibili diversi formati di conduzione del dibattito. Ad esempio, ad alcuni agenti possono essere assegnati differenti ruoli: alcuni fungono da «generatori di idee», altri da «critici» o «verificatori» delle soluzioni. Tale approccio basato sui ruoli mira a imitare la divisione del lavoro, in cui ogni agente si specializza in un determinato compito (ad esempio, uno propone un'ipotesi, un secondo verifica i fatti, un terzo valuta la coerenza logica). Un'altra variante è la discussione a turni (round-robin): gli agenti non parlano simultaneamente, ma strettamente a turno, alternandosi nel ruolo di oratore e di chi risponde in un ordine fisso. Questo ricorda i dibattiti formali in cui la parola viene concessa ai partecipanti secondo un regolamento, il che può garantire una partecipazione equa di tutti gli agenti. Un ulteriore approccio è la regolazione dinamica del disaccordo: il sistema può deliberatamente amplificare o attenuare il grado di disaccordo tra le risposte degli agenti in ogni round. Ad esempio, si può incentivare che nelle prime fasi le risposte divergano al massimo (per esplorare diverse ipotesi), mentre man mano che ci si avvicina alla fase finale si avvicinino. Tale meccanismo è stato proposto nel lavoro di Chang (2024) per prevenire una convergenza prematura: mantiene un livello moderato di contraddizioni tra gli agenti, stimolando la comparsa di nuovi argomenti e una discussione più approfondita.

Vantaggi ed efficacia dell'approccio

I dibattiti multi-agente hanno attirato attenzione grazie alla capacità di migliorare le prestazioni dei modelli linguistici su compiti complessi. Numerose ricerche indipendenti degli anni 2023-2024 hanno confermato che un gruppo di LLM interagenti può superare in qualità di risposta un singolo modello che lavora sullo stesso compito. In particolare, sono stati dimostrati miglioramenti in domini che richiedono ragionamenti complessi: dal calcolo matematico alla programmazione e alla sintesi di testi. Così, Yin et al. (2023), Chan et al. (2023), Chen et al. (2024) e altri rilevano che i sistemi multi-agente superano nettamente i singoli LLM nei problemi aritmetici, nella generazione di codice e persino nella creazione di riassunti di documenti. La ragione è la diversità delle prospettive: ogni agente può individuare dettagli o errori trascurati dagli altri e fornire feedback ai colleghi. La critica reciproca e lo scambio di diverse ipotesi portano a un esame più approfondito del compito, grazie a cui la risposta finale risulta più precisa e affidabile.

Ad esempio, i ricercatori del MIT e di Google Brain guidati da Yilun Du hanno presentato all'ICML 2024 il lavoro «Improving factuality and reasoning in language models through multiagent debate», in cui viene dimostrato un significativo miglioramento della qualità delle soluzioni aggiungendo il dibattito tra tre istanze del modello. Secondo i loro risultati, la procedura di discussione multi-agente ha consentito di ottenere punteggi più elevati su una serie di compiti rispetto all'utilizzo singolo dello stesso modello: la precisione nella risoluzione di problemi matematici e strategici è aumentata e il numero di errori fattuali è diminuito. In particolare, l'approccio multi-agente ha migliorato i risultati del modello nei test di ragionamento matematico, verifica dei fatti e persino in compiti che richiedono pianificazione strategica. Gli autori osservano che «la risposta finale generata dopo tale discussione multi-round risulta sia più fattualmente corretta sia più efficace nella risoluzione di compiti di ragionamento». Di seguito è riportata un'illustrazione che confronta la precisione nell'esecuzione di vari compiti da parte del modello da solo e con l'utilizzo del dibattito multi-agente.

Confronto della precisione su diversi compiti per la generazione con un singolo modello (colore blu) e per la modalità di dibattito multi-agente (colore rosso). L'approccio multi-agente (multi-agent debate) dimostra una maggiore precisione in vari domini, incluse le domande fattuali (biografie), il test di conoscenza MMLU, la verifica della correttezza delle mosse negli scacchi, la risoluzione di espressioni aritmetiche, i problemi matematici testuali di livello scolastico (GSM8K) e la ricerca della mossa ottimale negli scacchi. In base al grafico, i dibattiti rafforzano particolarmente le capacità del modello nei compiti strategici complessi (ad esempio, la ricerca della mossa ottimale negli scacchi) e riducono sensibilmente la quota di errori nei calcoli matematici e nelle domande di conoscenza fattuale.

Un altro vantaggio dell'approccio multi-agente è il superamento dei limiti dell'auto-controllo del singolo modello. I singoli LLM utilizzano spesso la tecnica della self-reflection (auto-riflessione), in cui il modello valuta e corregge autonomamente la propria risposta iniziale. Tuttavia è stato riscontrato che tale metodo è soggetto al problema della «degeneration-of-thought» — degenerazione del pensiero: se il modello ha acquisito fiducia nella risposta iniziale, durante l'auto-verifica non genera idee fondamentalmente nuove, anche se la soluzione originale è errata. In altre parole, il modello tende a bloccarsi sulla prima soluzione che ha elaborato, rifiutando le alternative. I dibattiti multi-agente aiutano ad eliminare questo effetto: diversi agenti alla pari possono inizialmente proporre ipotesi differenti e poi contestare sistematicamente gli argomenti altrui, stimolando la ricerca di percorsi di pensiero non convenzionali. Tian Liang e colleghi (EMNLP 2024) hanno denominato il proprio schema multi-agente MAD (Multi-Agent Debate) e hanno dimostrato che esso favorisce effettivamente il pensiero divergente (diversificato) dei modelli e migliora i risultati nei compiti che richiedono un'elaborazione approfondita del problema. Nella loro implementazione, diversi agenti si confrontano secondo il principio «occhio per occhio» (ognuno si oppone a turno agli argomenti dell'altro), mentre sopra il processo si trova un giudice ausiliario che gestisce la discussione e seleziona la decisione finale. Gli esperimenti di Liang et al. hanno dimostrato l'efficacia di questo approccio su set di test complessi — nei compiti di traduzione commonsense (traduzione di frasi tenendo conto del buon senso implicito) e nell'aritmetica controintuitiva (rompicapo matematici con condizioni apparentemente illogiche) la discussione multi-agente ha fornito risposte più corrette rispetto ai metodi standard. L'analisi ha anche rilevato che per ottenere il miglior risultato i dibattiti devono essere interrotti in modo adattivo, senza prolungarli eccessivamente, e bisogna mantenere solo un livello moderato di conflitto tra gli agenti — un comportamento eccessivamente aggressivo o, al contrario, eccessivamente conciliante peggiora i risultati.

L'approccio multi-agente si è rivelato utile non solo per i tipici compiti di domanda-risposta. Trova applicazione in altri ambiti, ad esempio per garantire un comportamento più sicuro e allineato dei modelli. Alcune ricerche utilizzano il dibattito tra agenti in compiti di moderazione e formulazione di regole: diversi LLM possono discutere se una determinata risposta sia accettabile secondo i criteri etici, fornendo così feedback reciproco nell'addestramento con rinforzo. È stato osservato che i dibattiti sono in grado di generare segnali di valutazione più sfumati e motivati, che aiutano nella configurazione dei modelli per la sicurezza e l'utilità. Sono stati anche compiuti tentativi di estendere l'approccio ai compiti multimodali — ad esempio, quando alcuni agenti descrivono un'immagine e altri verificano la corrispondenza della descrizione con l'immagine stessa. Un lavoro di Google (2024) ha dimostrato il successo di tale estensione: l'approccio multimodale ha migliorato i risultati sia nei compiti puramente testuali sia nella comprensione multimodale delle immagini, dimostrando l'universalità della «società delle menti». È interessante notare che l'interazione nel contesto del dibattito può elevare il livello dei modelli più deboli, come menzionato in precedenza. Ad esempio, quando LLM di potenza diversa partecipano a una discussione comune, i «modelli più deboli si rafforzano progressivamente, acquisendo le strategie di successo dai modelli più forti». In questo modo, il sistema multi-agente non solo risolve il compito assegnato, ma funge anche da meccanismo di apprendimento collettivo dei modelli gli uni dagli altri.

Limitazioni e problemi aperti

Nonostante i significativi vantaggi, i dibattiti multi-agente si scontrano con una serie di difficoltà e limitazioni. Una delle principali è l'elevato consumo di risorse di tale approccio. Per organizzare la discussione è necessario invocare più volte la generazione di testo da parte di modelli di grandi dimensioni: se partecipano n agenti in T round, il numero totale di chiamate all'LLM aumenta di n × T volte rispetto a una singola risposta. Inoltre, in ogni round il modello deve elaborare come contesto non solo la domanda originale, ma anche tutte le repliche dei round precedenti (le risposte di tutti gli agenti). Pertanto, con l'aumentare del numero di agenti e di round, il volume dell'input di contesto cresce esponenzialmente, portando all'effetto di context explosion — saturazione della finestra di contesto e aumento dei costi di elaborazione. Negli esperimenti si registra che l'aggiunta di anche solo 2-3 round di discussione aumenta sostanzialmente il numero totale di token di contesto che il modello deve leggere, e di conseguenza anche il tempo di risposta. Teoricamente la qualità della soluzione migliora con l'aumentare del numero di iterazioni, ma in pratica molti lavori evidenziano rendimenti decrescenti dopo pochi round: spesso l'effetto massimo si raggiunge al secondo o terzo round, dopodiché ulteriori discussioni possono portare alla ripetizione degli stessi argomenti o addirittura a una diminuzione della precisione a causa della saturazione del contesto. Ad esempio, He et al. (2023) hanno mostrato una crescita della precisione solo fino al 2° round di dibattito, seguita da un calo; analogamente Liu e Li con colleghi (2024) riportano un picco di qualità intorno ai 4 round, dopodiché i cicli aggiuntivi sono solo di ostacolo. Pertanto, determinare la durata ottimale del dibattito è un compito non banale: una discussione troppo breve potrebbe non sfruttare appieno il potenziale dell'intelligenza collettiva, mentre una troppo lunga può generare rumore informativo e sovraccarico di contesto.

Un altro problema sono i rischi di consenso collettivo su una risposta errata. Se tutti gli agenti condividono un'esperienza simile e credono erroneamente in un certo fatto, possono rafforzarsi reciprocamente nel pregiudizio. Si produce l'effetto camera d'eco: nel corso del dibattito i modelli raggiungono un consenso, ma non perché abbiano trovato la verità, bensì a causa della conferma del bias comune iniziale. I risultati teorici (Estornell & Liu, 2024) indicano che con modelli identici i dibattiti possono scivolare nella stagnazione, ripetendo l'opinione della maggioranza senza far emergere nuove idee. È particolarmente pericoloso quando tale maggioranza condivide un errore comune incorporato, ad esempio, nei dati di addestramento — in tal caso l'esito dell'intera discussione risulterà errato. Per superare questo problema vengono proposti speciali metodi di intervento (diversity-pruning): in ogni round vengono algoritmicamente eliminate le risposte troppo simili, stimolando gli agenti a generare varianti diverse con la massima entropia informativa. Ciò riduce la probabilità che tutte le risposte siano variazioni dello stesso errore. Un'altra tecnica è la confutazione dei preconcetti (misconception refutation): il sistema cerca di identificare automaticamente le assunzioni comuni degli agenti e sfida deliberatamente quelle che potrebbero essere false. Nel lavoro di Estornell & Liu viene proposto un insieme di tre simili interventi — oltre a quelli citati, anche il quality-pruning (selezione degli argomenti più rilevanti e di qualità a ogni passo) — e viene dimostrato che la loro combinazione aumenta sensibilmente l'efficacia dei dibattiti e previene la tendenza alla camera d'eco.

Infine, va rilevato che la stabilità e la prevedibilità delle discussioni multi-agente sono ancora lontane dall'ideale. In alcuni esperimenti i dibattiti hanno portato a risultati instabili — diverse esecuzioni della stessa discussione potevano convergere su risposte diverse, oppure la risposta complessiva risultava peggiore di quella di un singolo modello senza dibattito. Wang et al. (2024) e Smit et al. (2023) hanno segnalato indipendentemente casi in cui l'aggiunta di agenti peggiorava le prestazioni, il che indica il sottile confine tra critica utile e dispute distruttive. Identificare le condizioni in cui l'approccio multi-agente è garantito come vantaggioso rimane oggetto di ricerca. Restano aperte le domande su come decidere automaticamente quando interrompere il dibattito e registrare la risposta per non perdere il vantaggio e non cadere in una disputa infinita, e su come prendere una decisione collettiva — tramite votazione, consenso o con l'ausilio di un giudice esterno — nel modo più affidabile per diversi tipi di compiti. È altresì urgente il problema della sicurezza e della controllabilità dei sistemi multi-agente: bisogna assicurarsi che gli agenti non generino collettivamente contenuti indesiderati o tossici e non si rafforzino reciprocamente nelle tendenze dannose. Queste questioni, in particolare quelle relative alla sicurezza e alla scalabilità, sono riconosciute come attuali e complesse. Le rassegne attuali rilevano che sono necessarie ulteriori ricerche dedicate allo sviluppo di regole di arresto affidabili per le discussioni, alla valutazione della scalabilità dell'approccio all'aumentare del numero di agenti e di round, nonché all'implementazione di metodi che garantiscano laffidabilità e la correttezza della risposta ottenuta collettivamente. La soluzione di questi problemi permetterà di trasformare i dibattiti multi-agente in uno strumento ancora più potente e versatile per la creazione di sistemi di intelligenza artificiale più intelligenti e sicuri.

Riferimenti

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — pagina del progetto
• AI safety via debate — articolo originale di OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — articolo sull'ottimizzazione della comunicazione
• Literature Review Of Multi-Agent Debate For Problem-Solving — rassegna della letteratura
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — articolo su MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — articolo NeurIPS 2024

Bibliografia

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.