Multi-Agent Debate (PL)

Wieloagentowa debata (ang. multi-agent debate) – podejście w dziedzinie dużych modeli językowych (LLM), w którym kilka współdziałających agentów (instancji modelu językowego) wspólnie omawia rozwiązanie zadanego problemu, wymieniając argumenty i próby odpowiedzi. Celem tego procesu jest zbiorowe wypracowanie jak najbardziej poprawnej i uzasadnionej odpowiedzi na postawione pytanie. Podejście opiera się na idei „społeczeństwa umysłów", gdzie różne modele weryfikują i uzupełniają wnioski siebie nawzajem. Badania wykazały, że wieloagentowa dyskusja pozwala istotnie zwiększyć dokładność i niezawodność odpowiedzi w porównaniu z generowaniem odpowiedzi przez jeden model: ostateczna odpowiedź uzyskana po debacie agentów jest na ogół bardziej wiarygodna pod względem faktycznym i lepiej radzi sobie z zadaniami wymagającymi rozumowania. W szczególności obserwuje się zmniejszenie liczby halucynacji (nieistniejących „faktów") oraz wzrost skuteczności w trudnych zadaniach testowych przy zastosowaniu tej strategii.

Idea angażowania kilku systemów AI do debat sięga korzeniami prac dotyczących bezpieczeństwa sztucznej inteligencji. W 2018 roku grupa badaczy OpenAI (G. Irving, P. Christiano, D. Amodei) zaproponowała koncepcję AI safety via debate – uczenia agentów poprzez debaty, w których dwóch modelowych oponentów na przemian wysuwało krótkie argumenty, a ludzki sędzia rozstrzygał, który z nich przedstawił bardziej prawdziwe i użyteczne informacje. Zakładano, że przy optymalnej strategii takie debaty pozwolą AI odpowiadać na niezwykle trudne pytania, wymagając od sędziego jedynie oceny wiarygodności argumentów. W kolejnych latach, wraz z pojawieniem się potężnych LLM, zasada debat między modelami zaczęła być stosowana bezpośrednio w celu poprawy jakości odpowiedzi samych modeli – już bez obowiązkowego udziału człowieka, lecz z zautomatyzowanym wyborem najlepszego rozwiązania. Nowoczesne wieloagentowe systemy LLM wykorzystują dialog między kopiami lub różnymi modelami, aby korygować wzajemne błędy i wspólnie dochodzić do bardziej uzasadnionego wyniku.

Procedura wieloagentowej dyskusji

W scenariuszu wieloagentowej debaty kilka agentów-modeli pracuje równolegle nad jednym zadaniem. Z reguły na początku każdemu agentowi przedstawiane jest wyjściowe pytanie lub zadanie, po czym każdy agent niezależnie generuje własną odpowiedź. Następuje seria rund komunikacji między agentami: w każdej rundzie wszyscy uczestnicy wymieniają się swoimi bieżącymi rozwiązaniami, a każdy agent otrzymuje odpowiedzi pozostałych jako dodatkowy kontekst, na podstawie którego doprecyzowuje lub ulepsza swoją odpowiedź w kolejnej rundzie. Taki cykl trwa przez kilka iteracji (zazwyczaj ustaloną liczbę rund lub do osiągnięcia wyraźnego konsensusu), po czym proces się zatrzymuje i wyświetlana jest ostateczna odpowiedź. Debaty naśladują ludzką dyskusję, pozwalając modelom krytykować odpowiedzi siebie nawzajem i łączyć swoje zdolności rozumowania w celu poprawy jakości rozwiązania. Na przykład Yilun Du i współpracownicy (MIT i Google Brain) w eksperymentach wykorzystali 3 instancje modelu językowego, które dyskutowały nad problemem przez 2 rundy (większa liczba rund była ograniczana ze względu na koszty czasowe i obliczeniowe); wykazano, że nawet przy tak ograniczonym dialogu ostateczne odpowiedzi stały się zauważalnie lepsze, a przy zwiększeniu liczby agentów lub rund dokładność nadal rosła (choć z malejącym zwrotem).

Procedura wieloagentowej debaty jest w pełni realizowana na etapie wnioskowania (inference) za pomocą specjalnych promptów służących do organizacji dialogu między już wytrenowanymi modelami. Oznacza to, że metoda nie wymaga doszkalania samych LLM i może być zastosowana nawet do „czarnych skrzynek" – wystarczy mieć dostęp do generowania tekstu przez modele i koordynować ich komunikację według z góry ustalonego szablonu.

Do wyznaczenia ostatecznej odpowiedzi po kilku rundach stosuje się różne podejścia. Jednym z najprostszych mechanizmów jest głosowanie: agenci mogą na końcu niezależnie zaproponować swoje ostateczne rozwiązania, po czym wybierany jest wariant popierany przez większość z nich (lub na przykład najczęściej pojawiająca się odpowiedź). Inne podejście to wymóg konsensusu, czyli kontynuowanie dyskusji dopóty, dopóki wszystkie modele nie dojdą do tej samej odpowiedzi. Wreszcie może zostać zaangażowany osobny agent-sędzia: albo osobna sieć neuronowa wytrenowana do oceniania odpowiedzi, albo jeden z agentów wyposażony w funkcję arbitra. Sędzia obserwuje przebieg dyskusji i wybiera, czyj argument okazał się najbardziej przekonujący lub poprawny. Wybór mechanizmu podejmowania decyzji wpływa na charakterystykę systemu: głosowanie lub konsensus są proste w implementacji, ale mogą utrwalić błędy grupowe, podczas gdy sędzia-oceniający (szczególnie wytrenowany do wykrywania poprawnych odpowiedzi) jest teoretycznie w stanie wyłonić właściwe rozwiązanie nawet przy sprzecznościach między agentami. Jednak i podejście sędziowskie ma swoje trudności – na przykład, jeśli w roli sędziego występuje ten sam model co uczestnicy, może on nieświadomie faworyzować znajomy styl argumentacji jednego z agentów.

Warianty konfiguracji agentów i komunikacji

Wieloagentowe systemy z LLM mogą się różnić składem i sposobem interakcji agentów. Konfiguracja jednorodna zakłada, że wszyscy agenci są kopiami tego samego modelu (lub modeli podobnego poziomu), podczas gdy heterogeniczna obejmuje modele różnego typu lub rozmiaru. W przypadku jednorodnym wszyscy uczestnicy mają porównywalne możliwości, a ich rozbieżności wynikają jedynie ze stochastycznej generacji odpowiedzi lub różnych warunków początkowych (na przykład różnic w promptach). W podejściu heterogenicznym można jednocześnie wykorzystywać modele silne i słabe, co potencjalnie pozwala jednym agentom kompensować słabości innych. Badania wskazują, że interakcja różnych LLM prowadzi do tego, że słabsze modele poprawiają swoje rozwiązania, otrzymując informacje zwrotne od silniejszych. Wymownym przykładem jest wspólna debata między modelami językowymi ChatGPT (GPT-4) i Google Bard przy rozwiązywaniu matematycznego zadania tekstowego: każdy z tych modeli z osobna podał błędną odpowiedź, jednak w trakcie dyskusji zdołały one wskazać sobie wzajemnie błędy i ostatecznie uzgodnić poprawne rozwiązanie, wykorzystując mocne strony każdego z nich. Jednocześnie heterogeniczność niesie też ryzyko: znaczna dysproporcja w możliwościach może prowadzić do dominacji jednego modelu, a jeśli większość agentów podziela wspólne złudzenie lub błędny bias, debaty mogą szybko zbiec do jednej, lecz błędnej odpowiedzi – zjawisko to określa się mianem efektu „echo chamber". Analiza teoretyczna (Estornell & Liu, NeurIPS 2024) wykazała, że przy bardzo podobnych modelach debata może zanikać w statycznej dynamice, gdy wszyscy uczestnicy powtarzają opinię większości, nawet jeśli opiera się ona na wspólnym błędzie w ich danych. Dlatego w systemach heterogenicznych istotny jest staranny dobór agentów – na przykład wybiera się modele o porównywalnym poziomie wiedzy, aby żaden nie dominował i nie wprowadzał pozostałych w błąd.

Kolejny aspekt to struktura komunikacji między agentami. W podstawowych implementacjach stosuje się topologię w pełni połączoną: w każdej rundzie każdy agent otrzymuje odpowiedzi wszystkich pozostałych. Taka wymiana „każdy do wszystkich" maksymalizuje dostępną informację, lecz generuje znaczne koszty – objętość kontekstu rośnie proporcjonalnie do liczby agentów, co obciąża obliczenia. Alternatywą jest topologia rzadka, ograniczająca, z kim bezpośrednio wymienia dane każdy agent. Na przykład agentów można rozmieścić w formie grafu-sieci (pierścień, drzewo itp.), gdzie każdy otrzymuje odpowiedzi jedynie od swoich sąsiadów. Badanie firmy Google (Li et al., 2024) wykazało, że ograniczenie spójności sieci agentów może istotnie obniżyć koszty generowania bez pogorszenia, a niekiedy z poprawą jakości rozwiązania w porównaniu z w pełni połączoną dyskusją. W eksperymentach z modelami GPT-3.5 i Mistral rzadka schemat dyskusji „sąsiedzkich" dawał taką samą lub wyższą dokładność w zadaniach (w tym matematycznych), redukując przy tym średnią liczbę tokenów kontekstu na kroku o rząd wielkości. Wynik ten wskazuje, że nadmiarowa wymiana komunikatów nie zawsze jest konieczna – wystarczy właściwie zorganizować kluczowe interakcje między agentami, aby doszły do właściwego rozwiązania przy niższych kosztach.

Poza topologią możliwe są różne formaty prowadzenia debat. Na przykład poszczególnym agentom można przypisać różne role: jedni pełnią funkcję „generatorów pomysłów", inni – „krytyków" lub „weryfikatorów" rozwiązań. Takie podejście rolowe stara się naśladować podział pracy, gdzie każdy agent specjalizuje się w określonym zadaniu (na przykład jeden proponuje hipotezę, drugi weryfikuje fakty, trzeci ocenia logiczną spójność). Innym wariantem jest dyskusja na zmianę (round-robin): agenci nie mówią jednocześnie, lecz ściśle po kolei, zmieniając się w roli mówcy i reagującego w ustalonym porządku. Przypomina to formalne debaty, gdzie głos jest udzielany uczestnikom zgodnie z regulaminem, co może zapewnić równy udział wszystkich agentów. Jeszcze inne podejście to dynamiczne regulowanie rozbieżności: system może celowo wzmacniać lub osłabiać stopień niezgodności między odpowiedziami agentów w każdej rundzie. Na przykład można zachęcać, aby na pierwszych etapach odpowiedzi maksymalnie się różniły (w celu objęcia różnych hipotez), a w miarę zbliżania się do finału – zbliżały. Taki mechanizm zaproponowano w pracy Chang (2024) w celu zapobiegania przedwczesnemu konsensusowi: utrzymuje on umiarkowany poziom sprzeczności między agentami, stymulując pojawianie się nowych argumentów i głębszą dyskusję.

Zalety i efektywność podejścia

Wieloagentowe debaty zwróciły uwagę dzięki zdolności do poprawy wyników modeli językowych w trudnych zadaniach. Cały szereg niezależnych badań z lat 2023–2024 potwierdził, że grupa współdziałających LLM jest w stanie przewyższyć jakością odpowiedzi pojedynczy model pracujący nad tym samym zadaniem. W szczególności wykazano poprawę w dziedzinach wymagających złożonego rozumowania: od obliczeń matematycznych po programowanie i streszczanie tekstów. Yin i współautorzy (2023), Chan i współautorzy (2023), Chen i współautorzy (2024) oraz inni odnotowują, że wieloagentowe systemy pewnie wygrywają z pojedynczymi LLM w zadaniach arytmetycznych, generowaniu kodu, a nawet tworzeniu zwięzłych streszczeń dokumentów. Przyczyną jest różnorodność perspektyw: każdy agent może dostrzec szczegóły lub błędy pominięte przez innych i przekazać informację zwrotną kolegom. Wzajemna krytyka i wymiana różnych hipotez prowadzą do bardziej wszechstronnego rozpatrzenia zadania, dzięki czemu ostateczna odpowiedź jest dokładniejsza i bardziej niezawodna.

Na przykład badacze z MIT i Google Brain pod kierownictwem Yilun Du zaprezentowali na ICML 2024 pracę „Improving factuality and reasoning in language models through multiagent debate", w której zademonstrowano znaczną poprawę jakości rozwiązań po dodaniu debat między trzema instancjami modelu. Według ich wyników procedura wieloagentowej dyskusji pozwoliła osiągnąć wyższe wskaźniki w szeregu zadań w porównaniu ze zwykłym pojedynczym użyciem tego samego modelu: dokładność rozwiązywania zadań matematycznych i strategicznych wzrosła, a liczba błędów faktycznych zmalała. W szczególności podejście wieloagentowe poprawiło wyniki modelu w testach rozumowania matematycznego, weryfikacji faktów, a nawet w zadaniach wymagających planowania strategicznego. Autorzy zauważają, że „ostateczna odpowiedź wygenerowana po takiej wielorundowej dyskusji jest zarówno bardziej poprawna faktycznie, jak i skuteczniejsza w zadaniach wymagających rozumowania". Poniżej przedstawiono ilustrację porównującą dokładność wykonania różnych zadań przez model działający samodzielnie i z zastosowaniem wieloagentowych debat.

Porównanie dokładności w kilku zadaniach dla generowania przez pojedynczy model (kolor niebieski) i w trybie wieloagentowych debat (kolor czerwony). Podejście wieloagentowe (multi-agent debate) wykazuje wyższą dokładność w różnych dziedzinach, w tym w pytaniach faktograficznych (biografie), teście wiedzy MMLU, weryfikacji poprawności ruchów szachowych, rozwiązywaniu wyrażeń arytmetycznych, tekstowych zadaniach matematycznych na poziomie szkolnym (GSM8K) oraz znajdowaniu optymalnego ruchu szachowego. Według danych wykresu debaty szczególnie wzmacniają zdolności modelu w złożonych zadaniach strategicznych (na przykład wyszukiwanie optymalnego ruchu w szachach) i zauważalnie zmniejszają odsetek błędów w obliczeniach matematycznych i pytaniach dotyczących wiedzy faktograficznej.

Kolejną zaletą podejścia wieloagentowego jest przezwyciężenie ograniczeń indywidualnej samokontroli modelu. Pojedyncze LLM często stosują technikę self-reflection (samorefleksji), kiedy model sam ocenia i koryguje swoją wstępną odpowiedź. Okazało się jednak, że metoda ta jest podatna na problem „degeneration-of-thought" – degradacji myślenia: jeśli model uwierzył w pierwotną odpowiedź, podczas samokontroli nie generuje zasadniczo nowych pomysłów, nawet gdy wyjściowe rozwiązanie jest błędne. Innymi słowy, model skłonny jest utknąć na pierwszym wymyślonym przez siebie rozwiązaniu, odrzucając alternatywy. Wieloagentowe debaty pomagają znieść ten efekt: kilku równoprawnych agentów może początkowo zaproponować różne hipotezy, a następnie kolejno kwestionować argumenty siebie nawzajem, co stymuluje poszukiwanie niestandardowych kierunków myślenia. Tian Liang i współpracownicy (EMNLP 2024) nazwali swój schemat wieloagentowy MAD (Multi-Agent Debate) i wykazali, że rzeczywiście zachęca on do dywergentnego (zróżnicowanego) myślenia modeli i poprawia wyniki w zadaniach wymagających głębokiego opracowania problemu. W ich implementacji kilku agentów spiera się na zasadzie „oko za oko" (każdy po kolei kontruje argumenty innego), a nad procesem czuwa pomocniczy sędzia zarządzający dyskusją i wybierający ostateczne rozwiązanie. Eksperymenty Liang i współautorów wykazały skuteczność tego podejścia na trudnych zestawach testowych – w zadaniach tłumaczenia z uwzględnieniem zdrowego rozsądku (przekład zdań uwzględniający ukryty sens) oraz w kontraintuicyjnej arytmetyce (łamigłówki matematyczne z pozornie nielogicznymi warunkami) wieloagentowa dyskusja dała bardziej poprawne odpowiedzi niż metody standardowe. Analiza wykazała również, że dla uzyskania najlepszego wyniku debaty należy przerywać adaptywnie, nie dopuszczając do nadmiernej długości, i utrzymywać jedynie umiarkowany poziom konfliktu między agentami – zbyt agresywne lub przeciwnie zbyt zgodne zachowanie pogarsza wyniki.

Podejście wieloagentowe okazało się przydatne nie tylko w typowych zadaniach pytań i odpowiedzi. Znajduje zastosowanie w innych obszarach, na przykład dla bardziej bezpiecznego i spójnego zachowania modeli. Odrębne badania wykorzystują debaty agentów w zadaniach moderacji i wypracowywania zasad: kilka LLM może dyskutować, czy dana odpowiedź jest dopuszczalna pod względem norm etycznych, dostarczając sobie nawzajem informacji zwrotnych przy uczeniu ze wzmocnieniem. Odnotowano, że debaty mogą generować bardziej subtelne i uzasadnione sygnały oceny, które pomagają w dostrajaniu modeli pod kątem bezpieczeństwa i użyteczności. Podjęto też próby rozszerzenia na zadania multimodalne – na przykład gdy jedni agenci opisują obraz, a inni weryfikują zgodność opisu z obrazkiem. W pracy Google (2024) wykazano powodzenie takiego rozszerzenia: podejście multimodalne poprawiło wyniki zarówno w zadaniach czysto tekstowych, jak i w multimodalnym rozumieniu obrazów, demonstrując wszechstronność „społeczeństwa umysłów". Co ciekawe, interakcja w ramach debat może podnosić poziom słabszych modeli, jak wcześniej wspomniano. Na przykład gdy LLM różniące się mocą uczestniczą we wspólnej dyskusji, „słabsze modele stopniowo się wzmacniają, przejmując skuteczne strategie od silniejszych". Tym samym system wieloagentowy nie tylko rozwiązuje postawione zadanie, ale służy też jako swoisty mechanizm zbiorowego uczenia się modeli od siebie nawzajem.

Ograniczenia i otwarte problemy

Pomimo znaczących zalet wieloagentowe debaty napotykają szereg trudności i ograniczeń. Jednym z głównych jest wysoka zasobochłonność tego podejścia. Organizacja dyskusji wymaga wielokrotnego wywoływania generowania tekstu przez duże modele: jeśli uczestniczy n agentów w T rundach, łączna liczba wywołań LLM rośnie n x T razy w porównaniu z jedną odpowiedzią. Co więcej, w każdej rundzie model musi przetwarzać jako kontekst nie tylko wyjściowe pytanie, ale i wszystkie wypowiedzi z poprzednich rund (odpowiedzi wszystkich agentów). Tym samym wraz ze wzrostem liczby agentów i rund objętość kontekstu wejściowego rośnie wykładniczo, prowadząc do efektu context explosion – przepełnienia okna kontekstu i wzrostu kosztów przetwarzania. W eksperymentach odnotowuje się, że dodanie nawet 2–3 rund dyskusji istotnie zwiększa łączną liczbę tokenów kontekstu, które model musi przetworzyć, a co za tym idzie – czas odpowiedzi. Teoretycznie jakość rozwiązania poprawia się przy zwiększaniu liczby iteracji, lecz w praktyce wiele prac odnotowuje malejący zwrot po kilku rundach: często maksymalny efekt osiągany jest w drugiej–trzeciej rundzie, po czym dalsze dyskusje mogą prowadzić do powtarzania tych samych argumentów lub nawet do obniżenia dokładności z powodu nasycenia kontekstem. Na przykład He i współautorzy (2023) wykazali wzrost dokładności jedynie do 2. rundy debat, a następnie jej spadek; podobnie Liu i Li ze współpracownikami (2024) odnotowują szczyt jakości przy ok. 4 rundach, po czym dodatkowe cykle jedynie przeszkadzają. Tym samym wyznaczenie optymalnego czasu trwania debat jest niebanalnym zadaniem: zbyt krótka dyskusja może nie ujawnić pełnego potencjału zbiorowej inteligencji, zaś zbyt długa – wywołać szum informacyjny i przeciążenie kontekstu.

Kolejnym problemem jest ryzyko grupowego konsensusu na błędną odpowiedź. Jeśli wszyscy agenci mają podobne doświadczenia i mylnie są przekonani o jakimś fakcie, mogą wzajemnie wzmacniać swoje złudzenie. Dochodzi do efektu echo chamber: w trakcie debat modele osiągają konsensus, lecz nie dlatego, że znalazły prawdę, lecz wskutek potwierdzenia wyjściowego wspólnego biasu. Wyniki teoretyczne (Estornell & Liu, 2024) wskazują, że przy identycznych modelach debaty mogą pogrążać się w stagnacji, powtarzając opinię większości bez pojawiania się nowych pomysłów. Szczególnie niebezpieczne jest, gdy ta większość podziela wspólny błąd zakorzeniony na przykład w danych treningowych – wtedy wynik całej dyskusji okaże się niepoprawny. Aby przezwyciężyć ten problem, proponuje się specjalne metody interwencji (diversity-pruning): w każdej rundzie algorytmicznie odcina się zbyt podobne odpowiedzi, zachęcając agentów do generowania różnych wariantów o maksymalnej entropii informacyjnej. Zmniejsza to prawdopodobieństwo, że wszystkie odpowiedzi będą wariacjami tego samego błędu. Inną techniką jest wykrywanie i obalanie błędnych przekonań (misconception refutation): system próbuje automatycznie wykryć wspólne założenia agentów i celowo kwestionuje te z nich, które mogą być fałszywe. W pracy Estornell & Liu zaproponowano zestaw trzech takich interwencji – poza wymienionymi, także quality-pruning (selekcja najbardziej trafnych i wartościowych argumentów na każdym kroku) – i wykazano, że ich kombinacja zauważalnie zwiększa efektywność debat i zapobiega tendencji do efektu echo chamber.

Na koniec należy zaznaczyć, że stabilność i przewidywalność wieloagentowych dyskusji pozostawiają wiele do życzenia. W niektórych eksperymentach debaty prowadziły do niestabilnych wyników – różne przebiegi tej samej dyskusji mogły zbiegać do różnych odpowiedzi, albo zbiorcza odpowiedź okazywała się gorsza niż odpowiedź pojedynczego modelu bez debat. Wang i współautorzy (2024) oraz Smit i współautorzy (2023) niezależnie odnotowywali przypadki, gdy dodanie agentów pogarszało wydajność, co wskazuje na cienką granicę między pożyteczną krytyką a destruktywnym sporem. Ustalenie warunków, przy których podejście wieloagentowe jest gwarantowanie użyteczne, pozostaje przedmiotem badań. Otwarte pozostają pytania: jak automatycznie decydować, kiedy zatrzymać debaty i zarejestrować odpowiedź, aby nie utracić korzyści i nie wpaść w nieskończony spór, oraz w jaki sposób podejmować decyzję zbiorowo – czy przez głosowanie, konsensus, czy za pomocą zewnętrznego sędziego – w sposób najbardziej niezawodny dla różnych typów zadań. Poważnym problemem pozostaje też bezpieczeństwo i sterowalność systemów wieloagentowych: należy upewnić się, że agenci nie będą wspólnie generować niepożądanych lub toksycznych treści i nie będą wzajemnie wzmacniać szkodliwych skłonności. Kwestie te, dotyczące w szczególności bezpieczeństwa i skalowalności, uznawane są za aktualne i trudne. Współczesne przeglądy wskazują, że potrzebne są dalsze badania poświęcone opracowaniu niezawodnych reguł zatrzymania dyskusji, ocenie skalowalności podejścia przy zwiększaniu liczby agentów i rund, a także wdrożeniu metod gwarantujących rzetelność i trafność zbiorowo uzyskanej odpowiedzi. Rozwiązanie tych problemów pozwoli przekształcić wieloagentowe debaty w jeszcze potężniejsze i bardziej wszechstronne narzędzie do tworzenia bardziej inteligentnych i bezpiecznych systemów sztucznej inteligencji.

Odnośniki

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — strona projektu
• AI safety via debate — oryginalna publikacja OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — artykuł o optymalizacji komunikacji
• Literature Review Of Multi-Agent Debate For Problem-Solving — przegląd literatury
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — artykuł o MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — artykuł NeurIPS 2024

Literatura

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.