Multi-Agent Debate (BG)

Многоагентни дебати (англ. multi-agent debate) – подход в областта на големите езикови модели (LLM), при който няколко взаимодействащи агента (екземпляри на езиков модел) съвместно обсъждат решението на зададена задача, като си обменят аргументи и опити за отговори. Целта на такъв процес е колективно да се изработи най-коректният и обоснован отговор на поставения въпрос. Подходът се основава на идеята за „общество на умовете", където различни модели проверяват и допълват изводите си един на друг. Изследванията показват, че многоагентното обсъждане позволява значително да се повиши точността и надеждността на отговорите в сравнение с генерирането на отговор по единичен метод: финалният отговор, получен след дебатите на агентите, като правило е по-фактически достоверен и се справя по-добре със задачи, изискващи разсъждения. По-специално се наблюдава намаляване на броя на халюцинациите (несъществуващи „факти") и нарастване на успехите при сложни тестови задания при използване на тази стратегия.

Идеята за привличане на няколко ИИ за дебати води началото си от работи в областта на безопасността на изкуствения интелект. През 2018 година група изследователи от OpenAI (Г. Ървинг, П. Кристиано, Д. Амодей) предложиха концепцията AI safety via debate – обучение на агенти чрез състезателни дебати, в които двама модели-опоненти последователно излагат кратки аргументи, а човек-съдия решава кой от тях е представил по-достоверна и полезна информация. Предполагало се, че при оптимална стратегия такива дебати ще позволят на ИИ да отговаря на изключително сложни въпроси, като изисква от съдията само оценка на достоверността на аргументите. През следващите години, с появата на мощни LLM, принципът на дебати между модели започна да се прилага непосредствено за подобряване на качеството на отговорите на самите модели – вече без задължително участие на човек, а с автоматизиран избор на най-доброто решение. Съвременните многоагентни LLM-системи използват диалог между копия или различни модели, за да коригират грешките си взаимно и съвместно да достигат до по-обосновани резултати.

Процедура на многоагентното обсъждане

В сценария на многоагентните дебати няколко агента-модели работят паралелно по една задача. По правило първоначално на всеки агент се предоставя изходният въпрос или задача, след което всеки агент независимо генерира свой собствен отговор. След това следва серия от раунди на общуване между агентите: на всеки раунд всички участници обменят своите текущи решения, и всеки агент получава отговорите на останалите като допълнителен контекст, въз основа на който прецизира или подобрява своя отговор в следващия раунд. Такъв цикъл продължава няколко итерации (обикновено е зададен фиксиран брой раунди или до постигане на явно съгласие), след което процесът спира и се издава финален отговор. Дебатите имитират човешката дискусия, като позволяват на моделите да критикуват отговорите си взаимно и да комбинират уменията си за разсъждение с цел повишаване на качеството на решението. Например, Yilun Du и колеги (MIT и Google Brain) в експериментите използваха 3 екземпляра на езиков модел, които обсъждаха проблема в продължение на 2 раунда (по-голям брой раунди бе ограничаван поради разходи за време и изчисления); беше показано, че дори при такъв ограничен диалог финалните отговори се подобриха забележимо, а при увеличаване на броя на агентите или раундите точността продължаваше да расте (макар и с намаляваща възвращаемост).

Процедурата на многоагентния дебат се реализира изцяло на етапа на извод (inference) с помощта на специални prompt-и за организиране на диалог между вече обучени модели. Това означава, че методът не изисква допълнително обучение на самите LLM и може да се приложи дори към „черни кутии" – достатъчно е да се разполага с достъп до генерирането на текст от моделите и да се координира тяхното общуване по предварително зададен шаблон.

За определяне на финалния отговор след няколко раунда се използват различни подходи. Един от най-простите механизми е гласуването: агентите могат в края независимо да предложат своите окончателни решения, след което се избира вариантът, подкрепен от мнозинството (или например най-често срещаният отговор). Друг подход е изискването за консенсус, тоест продължаване на обсъждането докато всички модели не достигнат до еднакъв отговор. Накрая може да бъде задействан отделен агент-съдия: или отделна невронна мрежа, обучена да оценява отговори, или един от агентите, натоварен с функцията на арбитър. Съдията наблюдава хода на дискусията и избира чийто аргумент се е оказал най-убедителен или коректен. Изборът на механизъм за вземане на решение влияе на характеристиките на системата: гласуването или консенсусът са прости за изпълнение, но могат да фиксират групови грешки, докато съдийският оценител (особено обучен да открива верния отговор) теоретически е способен да разграничи правилното решение дори при наличие на противоречия между агентите. Въпреки това и съдийският подход има трудности – например, ако в ролята на съдия участва същият модел като участниците, той може неволно да се накланя в полза на познатия стил на аргументиране на един от агентите.

Варианти на конфигурация на агентите и комуникацията

Многоагентните системи с LLM могат да се различават по състав и начин на взаимодействие на агентите. Хомогенната конфигурация предполага, че всички агенти са копия на един и същ модел (или модели от сходно ниво), докато хетерогенната включва модели от различен тип или размер. В хомогенния случай всички участници притежават съпоставими възможности и техните разногласия ще възникват само поради стохастичното генериране на отговори или различни начални условия (например разлики в prompt-ите). При хетерогенния подход могат да се задействат едновременно силни и слаби модели, което потенциално позволява на едни агенти да компенсират недостатъците на други. Така изследванията показват, че взаимодействието между различни LLM води до това, че по-слабите модели подобряват решенията си, получавайки обратна връзка от по-силните. Показателен пример е съвместният дебат между езиковите модели ChatGPT (GPT-4) и Google Bard при решаване на математическа текстова задача: всеки от тези модели поотделно е дал грешен отговор, но в процеса на дискусията те успяха да посочат грешките си взаимно и в крайна сметка да договорят правилното решение, използвайки силните страни на всеки. В същото време хетерогенността носи и рискове: съществен дисбаланс в способностите може да доведе до доминиране на един модел, а ако мнозинството от агентите споделят общо заблуждение или грешен bias, дебатите могат бързо да се насочат към единен, но неверен отговор – явление, наречено ефект на „ехо-камерата". Теоретичният анализ (Estornell & Liu, NeurIPS 2024) показа, че при много сходни модели дебатът може да замре в статична динамика, при която всички участници повтарят мнението на мнозинството, дори ако то се основава на обща грешка в техните данни. Затова в хетерогенните системи е важен внимателният подбор на агентите – например, избират се модели с съпоставимо ниво на знания, така че нито един да не доминира и да не въвежда останалите в заблуждение.

Още един аспект е структурата на комуникацията между агентите. В базовите реализации се използва пълносвързана топология на общуването: на всеки раунд всеки агент получава отговорите на всички останали. Такъв обмен „всеки-към-всички" максимизира достъпната информация, но поражда значителни разходи – обемът на контекста нараства пропорционално на броя на агентите, което утежнява изчисленията. Алтернатива е разредената топология, ограничаваща с кого непосредствено обменя данни всеки агент. Например, агентите могат да бъдат наредени като граф-мрежа (пръстен, дърво и т.н.), при което всеки получава отговорите само от своите съседи. Изследване на Google (Li et al., 2024) установи, че ограничаването на свързаността на мрежата от агенти може съществено да намали разходите за генериране без влошаване, а понякога и с подобряване на качеството на решението в сравнение с напълно свързаната дискусия. В експериментите с модели GPT-3.5 и Mistral разредената схема на „съседски" обсъждания давала същата или по-висока точност при задачите (включително по математика), като средният брой токени в контекста на стъпка е бил намален с порядък. Този резултат показва, че прекомерният обмен на съобщения невинаги е необходим – достатъчно е правилно да се организират ключовите взаимодействия между агентите, за да достигнат до верното решение с по-малки разходи.

Освен топологията, са възможни различни формати на водене на дебати. Например, на различни агенти може да се поверят различни роли: едни изпълняват ролята на „генератори на идеи", други – на „критици" или „проверяващи" решенията. Такъв ролеви подход се стреми да имитира разпределението на труда, при което всеки агент се специализира в определена задача (например един предлага хипотеза, вторият проверява факти, третият оценява логическата непротиворечивост). Друг вариант е поредна дискусия (round-robin): агентите не говорят едновременно, а строго на свой ред, сменяйки ролята на говорещ и реагиращ в фиксиран порядък. Това прилича на официални дебати, при които думата се дава на участниците по регламент, което може да осигури равно участие на всички агенти. Още един подход е динамичното регулиране на разногласията: системата може специално да усилва или отслабва степента на несъгласие между отговорите на агентите на всеки раунд. Например, може да се насърчи максималното разминаване на отговорите в началните етапи (за обхващане на различни хипотези), а с приближаването към финала те да се сближават. Такъв механизъм е предложен в работата на Chang (2024) за предотвратяване на преждевременното съгласие: той поддържа умерено ниво на противоречия между агентите, стимулирайки появата на нови аргументи и по-задълбочено обсъждане.

Предимства и ефективност на подхода

Многоагентните дебати привлякоха внимание благодарение на способността си да повишават резултатността на езиковите модели при сложни задачи. Редица независими изследвания за 2023-2024 година потвърдиха, че група от взаимодействащи LLM е способна да надмине по качество на отговора отделен модел, работейки върху същата задача. По-специално са показани подобрения в домени, изискващи сложни разсъждения: от математически изчисления до програмиране и резюмиране на текст. Така Yin и съавт. (2023), Chan и съавт. (2023), Chen и съавт. (2024) и други отбелязват, че многоагентните системи уверено надминават единичните LLM в аритметични задачи, генериране на код и дори в създаване на резюмета на документи. Причината е разнообразието на перспективите: всеки агент може да забележи детайли или грешки, пропуснати от другите, и да предостави обратна връзка на колегите. Взаимната критика и обменът на различни хипотези водят до по-всестранно разглеждане на задачата, благодарение на което финалният отговор се оказва по-точен и надежден.

Например, изследователи от MIT и Google Brain начело с Yilun Du представиха на ICML 2024 работата „Improving factuality and reasoning in language models through multiagent debate", в която демонстрираха значително подобряване на качеството на решенията при добавяне на дебати между три екземпляра на модела. Според техните резултати процедурата на многоагентно обсъждане позволи да се постигнат по-високи показатели при редица задачи в сравнение с обичайното единично използване на същия модел: точността на решаване на математически и стратегически задачи нарасна, а броят на фактическите грешки намаля. По-специално, многоагентният подход подобри резултатите на модела в тестове за математически разсъждения, проверка на факти и дори в задачи, изискващи стратегическо планиране. Авторите отбелязват, че „финалният отговор, генериран след такова многораундово обсъждане, се оказва и по-фактически коректен, и по-успешен при решаване на задачи за разсъждение". По-долу е представена илюстрация, сравняваща точността на изпълнение на различни задания от модела самостоятелно и с използване на многоагентни дебати.

Сравнение на точността при няколко задачи за единично генериране (синьо) и за режим на многоагентни дебати (червено). Многоагентният подход (multi-agent debate) демонстрира по-висока точност в различни домени, включително фактологични въпроси (биографии), знаниев тест MMLU, проверка на коректността на шахматни ходове, решаване на аритметични изрази, текстови математически задачи на ниво училище (GSM8K) и намиране на оптимален шахматен ход. Според данните от графиката дебатите особено засилват способностите на модела при сложни стратегически задачи (например намиране на оптимален ход в шах) и забележимо намаляват дела на грешките в математическите изчисления и въпросите за знание на факти.

Още едно предимство на многоагентния подход е преодоляването на ограниченията на единичния самоконтрол на модела. Единичните LLM нерядко прилагат техниката self-reflection (самоотразяване), при която моделът сам оценява и коригира първоначалния си отговор. Установено е обаче, че такъв метод е склонен към проблема „degeneration-of-thought" – деградация на мисленето: ако моделът е повярвал в началния отговор, при самопроверката той не генерира принципно нови идеи, дори ако изходното решение е грешно. С други думи, моделът е склонен да зацикли върху първото измислено от него решение, отхвърляйки алтернативи. Многоагентните дебати помагат да се преодолее този ефект: няколко равноправни агента изначално могат да предложат различни хипотези и след това последователно да оспорват аргументите си взаимно, което стимулира търсенето на нестандартни идеи. Tian Liang и колеги (EMNLP 2024) нарекоха своята многоагентна схема MAD (Multi-Agent Debate) и показаха, че тя действително насърчава дивергентното (разнообразното) мислене на моделите и подобрява резултатите при задачи, изискващи задълбочена разработка на проблема. В тяхната реализация няколко агента спорят по принципа „аргумент срещу аргумент" (всеки по ред оппонира доводите на другия), а над процеса стои спомагателен съдия, управляващ дискусията и избиращ финалното решение. Експериментите на Liang и съавт. демонстрираха ефективността на този подход при сложни тестови набори – при задачи за превод с common sense (превод на изречения с отчитане на скрит здрав разум) и при контраинтуитивна аритметика (математически пъзели с на пръв поглед нелогични условия) многоагентната дискусия даде по-коректни отговори от стандартните методи. Анализът също разкри, че за най-добър резултат дебатите трябва да се прекъсват адаптивно, без да се довеждат до прекомерна дължина, и да се поддържа само умерено ниво на конфликт между агентите – твърде агресивното или, обратно, твърде съгласното поведение влошава изходите.

Многоагентният подход се оказа полезен не само за типични задачи с въпроси и отговори. Той намира приложение и в други области, например за по-безопасно и съгласувано поведение на моделите. Отделни изследвания използват дебатите на агентите при задачи за модериране и изработване на правила: няколко LLM могат да обсъждат дали даден отговор е приемлив от етична гледна точка, като по този начин осигуряват взаимна обратна връзка при обучение с подкрепление. Отбелязано е, че дебатите могат да генерират по-нюансирани и обосновани оценъчни сигнали, които помагат при настройката на моделите за безопасност и полезност. Също така са направени опити за разширяване към мултимодални задачи – например когато едни агенти описват изображение, а други проверяват съответствието на описанието с картинката. В работата на Google (2024) е показан успехът на такова разширение: мултимодалният подход подобри резултатите както при чисто текстови задачи, така и при мултимодално разбиране на изображения, демонстрирайки универсалността на „обществото на умовете". Интересно е, че взаимодействието в рамките на дебатите може да повишава нивото на по-слабите модели, както бе споменато по-рано. Например, когато LLM с различна мощност участват в общо обсъждане, „по-слабите модели постепенно се усилват, възприемайки успешните стратегии на по-силните". По този начин многоагентната система не само решава поставената задача, но и служи като своеобразен механизъм за колективно учене на моделите един от друг.

Ограничения и открити проблеми

Въпреки значителните предимства, многоагентните дебати се сблъскват с редица трудности и ограничения. Едно от главните е високата ресурсоемкост на такъв подход. За организиране на дискусията е необходимо многократно да се извиква генерирането на текст при големи модели: ако участват n агента в T раунди, то общият брой обръщения към LLM нараства n x T пъти в сравнение с един отговор. Освен това на всеки раунд моделът трябва да обработва като контекст не само изходния въпрос, но и всички реплики от предишните раунди (отговорите на всички агенти). По този начин с нарастването на броя на агентите и раундите обемът на контекстния вход нараства експоненциално, водейки до ефекта context explosion – препълване на контекстния прозорец и увеличаване на разходите за обработка. В експериментите се констатира, че добавянето дори на 2-3 раунда обсъждане съществено увеличава общия брой токени в контекста, който моделът трябва да прочете, и следователно – времето за отговор. Теоретично качеството на решението се подобрява при увеличаване на броя на итерациите, но практически много работи отбелязват намаляваща възвращаемост след няколко раунда: често максималният ефект се постига на втория-третия раунд, след което допълнителните обсъждания могат да доведат до повтаряне на едни и същи аргументи или дори до намаляване на точността поради пренасищане на контекста. Например, Хи и съавт. (2023) показаха нарастване на точността само до 2-ри раунд на дебатите, а след това – спад; аналогично Liu и Li с колеги (2024) съобщават за пик на качеството при ~4 раунда, след което допълнителните цикли само пречат. По този начин определянето на оптималната продължителност на дебатите е нетривиална задача: твърде кратко обсъждане може да не разкрие целия потенциал на колективния разум, а твърде дългото – да предизвика информационен шум и претоварване на контекста.

Още един проблем е рискът от групово съгласие върху грешен отговор. Ако всички агенти притежават сходен опит и грешно са убедени в някакъв факт, те могат да усилват заблуждението си взаимно. Настъпва ефектът на ехо-камерата: в хода на дебатите моделите достигат до консенсус, но не защото са намерили истината, а вследствие на потвърждение на изначалния общ bias. Теоретичните резултати (Estornell & Liu, 2024) показват, че при еднакви модели дебатите могат да се плъзнат в стагнация, повтаряйки мнението на мнозинството без появата на нови идеи. Особено опасно е когато това мнозинство споделя обща грешка, заложена например в обучаващите данни – тогава изходът от цялата дискусия ще бъде неверен. За преодоляване на този проблем се предлагат специални методи за интервенция (diversity-pruning): на всеки раунд алгоритмично се отсичат твърде сходните отговори, като се стимулират агентите да генерират различни варианти с максимална информационна ентропия. Това намалява вероятността всички отговори да бъдат вариации на една и съща грешка. Друга техника е разкриване и опровергаване на заблуждения (misconception refutation): системата се опитва автоматично да открие общите допускания на агентите и целенасочено оспорва тези от тях, които могат да бъдат неверни. В работата на Estornell & Liu е предложен набор от три подобни интервенции – освен споменатите, и quality-pruning (подбор на най-релевантните и качествени аргументи на всяка стъпка) – и е показано, че тяхната комбинация забележимо повишава ефективността на дебатите и предотвратява склонността към ехо-камера.

Накрая следва да се отбележи, че стабилността и предвидимостта на многоагентните дискусии все още са далеч от идеалното. В някои експерименти дебатите водеха до нестабилни резултати – различни прогони на една и съща дискусия можеха да се насочват към различни отговори, или пък съвкупният отговор се оказваше по-лош от този на единичен модел без дебати. Wang и съавт. (2024) и Smit и съавт. (2023) независимо отбелязваха случаи, при които добавянето на агенти влошаваше производителността, което указва на тънката граница между полезна критика и деструктивни спорове. Установяването на условията, при които многоагентният подход е гарантирано полезен, остава предмет на изследвания. Открити са въпросите: как автоматично да се реши кога да се спрат дебатите и да се фиксира отговорът, за да не се изпусне предимството и да не се влезе в безкраен спор, и по какъв начин да се взема колективно решение – чрез гласуване, консенсус или с помощта на външен съдия – което е най-надеждно за различни типове задачи. Остро стои и проблемът за безопасността и контролируемостта на многоагентните системи: необходимо е да се гарантира, че агентите няма да генерират съвместно нежелано или токсично съдържание и няма да усилват вредните си склонности взаимно. Тези въпроси, особено касаещи безопасността и мащабирането, са признати за актуални и сложни. Съвременните прегледи отбелязват, че са необходими допълнителни изследвания, посветени на разработването на надеждни правила за спиране на дискусиите, оценката на мащабируемостта на подхода при увеличаване на броя на агентите и раундите, а също и на внедряването на методи, гарантиращи надеждността и верността на колективно получения отговор. Решаването на тези задачи ще позволи да се превърнат многоагентните дебати в още по-мощен и универсален инструмент за създаване на по-умни и безопасни системи за изкуствен интелект.

Препратки

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — страница на проекта
• AI safety via debate — оригинална статия на OpenAI
• Improving Multi-Agent Debate with Sparse Communication Topology — статия за оптимизация на комуникацията
• Literature Review Of Multi-Agent Debate For Problem-Solving — преглед на литературата
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — статия за MAD
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — статия NeurIPS 2024

Литература

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.