Multi-Agent Debate (KO)

다중 에이전트 토론 (영어: multi-agent debate) – 대형 언어 모델 (LLM) 분야의 접근법으로, 여러 상호작용하는 에이전트 (언어 모델 인스턴스)가 주어진 과제의 해결책을 공동으로 논의하며 논거와 답변 시도를 교환하는 방식이다. 이러한 과정의 목적은 제시된 질문에 대해 가장 정확하고 근거 있는 답변을 집단적으로 도출하는 것이다. 이 접근법은 서로 다른 모델들이 각자의 결론을 검증하고 보완하는 「마음의 사회」 개념에 기반한다. 연구에 따르면, 다중 에이전트 토론은 단일 방식으로 답변을 생성하는 것에 비해 답변의 정확성과 신뢰성을 크게 향상시킬 수 있다: 에이전트 간 토론 이후에 도출된 최종 답변은 일반적으로 사실적으로 더 신뢰할 수 있으며 추론을 요구하는 과제를 더 잘 처리한다. 특히, 이 전략을 사용하면 환각 (존재하지 않는 「사실」)의 수가 감소하고 복잡한 테스트 과제에서의 성공률이 향상됨이 관찰된다.

여러 AI를 토론에 참여시키는 아이디어는 인공지능 안전성 연구로 거슬러 올라간다. 2018년 OpenAI 연구팀(G. 어빙, P. 크리스티아노, D. 아모데이)은 AI safety via debate 개념을 제안했는데, 이는 두 모델 상대방이 번갈아 가며 간략한 논거를 제시하고 인간 심판이 누가 더 진실하고 유용한 정보를 제시했는지 판단하는 경쟁적 토론을 통해 에이전트를 훈련하는 방식이다. 최적의 전략 하에서 이러한 토론은 심판에게 논거의 신뢰성 평가만을 요구하면서도 AI가 극도로 복잡한 질문에 답할 수 있게 해줄 것으로 기대되었다. 이후 강력한 LLM이 등장하면서, 모델 간 토론의 원칙은 인간의 의무적 참여 없이 자동화된 최적 해결책 선택과 함께 모델 자체의 답변 품질 향상에 직접 적용되기 시작했다. 현대의 다중 에이전트 LLM 시스템은 복사본 또는 서로 다른 모델 간의 대화를 활용하여 서로의 오류를 수정하고 더 근거 있는 결과에 함께 도달한다.

다중 에이전트 토론 절차

다중 에이전트 토론 시나리오에서는 여러 모델 에이전트가 하나의 과제를 병렬로 처리한다. 일반적으로, 먼저 각 에이전트에게 원래의 질문이나 과제가 제공되고, 이후 각 에이전트는 독립적으로 자신의 답변을 생성한다. 그 다음에는 에이전트 간 여러 라운드의 소통이 이어진다: 각 라운드에서 모든 참가자는 자신의 현재 답변을 교환하고, 각 에이전트는 다음 라운드에서 자신의 답변을 수정하거나 개선하기 위한 추가 맥락으로 다른 에이전트의 답변을 받는다. 이러한 사이클은 여러 번 반복되며 (보통 고정된 라운드 수 또는 명확한 합의에 도달할 때까지), 이후 과정이 중단되고 최종 답변이 출력된다. 토론은 인간의 토의를 모방하여, 모델들이 서로의 답변을 비판하고 추론 능력을 결합함으로써 해결책의 품질을 향상시킬 수 있다. 예를 들어, Yilun Du와 동료들(MIT 및 Google Brain)은 실험에서 언어 모델의 인스턴스 3개를 사용하여 2라운드 동안 문제를 토론했고(시간 및 계산 비용으로 인해 더 많은 라운드는 제한했다), 이처럼 제한된 대화에서도 최종 답변이 눈에 띄게 향상되었으며, 에이전트 수나 라운드 수를 늘릴수록 (수확 체감이 있기는 하지만) 정확도가 계속 향상되었음을 보여주었다.

다중 에이전트 토론 절차는 이미 훈련된 모델 간의 대화를 조직하기 위한 특수 prompt를 사용하여 추론(inference) 단계에서 완전히 구현된다. 이는 해당 방법이 LLM 자체의 추가 훈련을 필요로 하지 않으며, 「블랙박스」에도 적용할 수 있음을 의미한다 — 모델의 텍스트 생성에 접근하고 사전 정의된 템플릿에 따라 모델 간 소통을 조율하는 것만으로 충분하다.

여러 라운드 이후 최종 답변을 결정하기 위해 다양한 접근법이 사용된다. 가장 단순한 메커니즘 중 하나는 투표이다: 에이전트들이 마지막에 독립적으로 자신의 최종 해결책을 제시하고, 이후 다수가 지지하는 (또는 가장 자주 등장하는) 답변이 선택된다. 다른 접근법은 합의를 요구하는 것, 즉 모든 모델이 동일한 답변에 도달할 때까지 토론을 계속하는 것이다. 마지막으로, 별도의 심판 에이전트를 활용할 수 있다: 답변을 평가하도록 훈련된 별도의 신경망이거나, 중재자 역할을 부여받은 에이전트 중 하나이다. 심판은 토론의 진행을 관찰하고 누구의 논거가 가장 설득력 있거나 정확한지 선택한다. 의사결정 메커니즘의 선택은 시스템 특성에 영향을 미친다: 투표나 합의는 구현하기 쉽지만 집단적 오류를 고착시킬 수 있는 반면, 심판 평가자(특히 올바른 답변을 식별하도록 훈련된)는 이론적으로 에이전트 간 모순이 있더라도 올바른 해결책을 추출할 수 있다. 그러나 심판 접근법에도 어려움이 있다 — 예를 들어, 참가자와 동일한 모델이 심판 역할을 할 경우, 특정 에이전트의 익숙한 논거 스타일을 무의식적으로 선호할 수 있다.

에이전트 구성 및 소통 방식의 변형

LLM을 활용한 다중 에이전트 시스템은 에이전트의 구성과 상호작용 방식에 따라 다를 수 있다. 동질적 구성은 모든 에이전트가 동일한 모델의 복사본(또는 유사한 수준의 모델)인 경우를 의미하고, 이질적 구성은 서로 다른 유형이나 크기의 모델을 포함한다. 동질적 경우에는 모든 참가자가 비슷한 능력을 가지므로, 불일치는 응답의 확률적 생성이나 다른 초기 조건(예: prompt의 차이)에서만 발생한다. 이질적 접근법에서는 강한 모델과 약한 모델을 동시에 활용할 수 있으며, 이는 잠재적으로 일부 에이전트가 다른 에이전트의 단점을 보완할 수 있게 한다. 연구에 따르면, 서로 다른 LLM의 상호작용은 약한 모델이 강한 모델로부터 피드백을 받아 자신의 해결책을 개선하는 결과를 낳는다. 대표적인 예로, 수학 서술형 문제를 푸는 과정에서 ChatGPT (GPT-4)와 Google Bard 간의 공동 토론을 들 수 있다: 각 모델은 개별적으로 틀린 답변을 냈지만, 토론 과정에서 서로의 오류를 지적하고 각자의 강점을 활용하여 결국 올바른 해결책에 합의하는 데 성공했다. 동시에 이질성은 위험 요소도 수반한다: 능력의 현저한 불균형은 한 모델의 지배로 이어질 수 있으며, 대다수 에이전트에 공통적인 오해나 잘못된 bias가 있을 경우, 토론이 빠르게 단일하지만 잘못된 답변으로 수렴될 수 있다 — 이는 「에코 챔버」 효과라고 불리는 현상이다. 이론적 분석(Estornell & Liu, NeurIPS 2024)에 따르면, 모델들이 매우 유사한 경우 토론은 모든 참가자가 데이터의 공통적인 오류에 기반하더라도 다수의 의견을 반복하는 정적 역학으로 소멸될 수 있다. 따라서 이질적 시스템에서는 에이전트의 신중한 선정이 중요하다 — 예를 들어, 어느 한 모델도 지배적이거나 다른 모델을 오도하지 않도록 지식 수준이 비슷한 모델을 선발한다.

또 다른 측면은 에이전트 간 소통 구조이다. 기본 구현에서는 완전 연결 토폴로지 소통이 사용된다: 각 라운드에서 각 에이전트는 다른 모든 에이전트의 답변을 받는다. 이러한 「모두-대-모두」 교환은 가용 정보를 최대화하지만 상당한 비용을 발생시킨다 — 맥락의 양이 에이전트 수에 비례하여 증가함으로써 계산이 무거워진다. 대안으로 희소 토폴로지가 있는데, 이는 각 에이전트가 직접 데이터를 교환하는 대상을 제한한다. 예를 들어, 에이전트를 그래프 네트워크(링, 트리 등) 형태로 배치하여 각 에이전트가 자신의 이웃 에이전트의 답변만 받을 수 있다. Google의 연구(Li et al., 2024)에 따르면, 에이전트 네트워크의 연결성을 제한하면 완전히 연결된 토론에 비해 품질 저하 없이, 때로는 품질 향상과 함께 생성 비용을 크게 줄일 수 있다. GPT-3.5 및 Mistral 모델을 사용한 실험에서 희소한 「이웃」 토론 방식은 단계별 평균 context token 수를 한 자릿수 줄이면서 과제(수학 포함)에서 동일하거나 더 높은 정확도를 달성했다. 이 결과는 과도한 메시지 교환이 항상 필요한 것은 아님을 보여준다 — 에이전트 간의 핵심 상호작용을 올바르게 구성하면 더 적은 비용으로 올바른 해결책에 도달할 수 있다.

토폴로지 외에도 다양한 토론 형식이 가능하다. 예를 들어, 일부 에이전트에게 서로 다른 역할을 부여할 수 있다: 일부는 「아이디어 생성자」, 다른 일부는 「비평가」 또는 「해결책 검토자」 역할을 한다. 이러한 역할 기반 접근법은 각 에이전트가 특정 과제에 전문화되는 분업(예: 한 에이전트는 가설 제시, 두 번째는 사실 확인, 세 번째는 논리적 일관성 평가)을 모방하고자 한다. 또 다른 변형은 순차 토론 (round-robin)이다: 에이전트가 동시에 발언하는 것이 아니라 고정된 순서에 따라 발언자와 반응자 역할을 교대로 맡아 엄격하게 차례로 발언한다. 이는 규칙에 따라 참가자에게 발언권이 주어지는 공식 토론과 유사하며, 모든 에이전트의 동등한 참여를 보장할 수 있다. 또 다른 접근법은 이견의 동적 조절이다: 시스템이 각 라운드에서 에이전트의 답변 간 불일치 정도를 의도적으로 강화하거나 약화시킬 수 있다. 예를 들어, 초기 단계에서는 답변이 최대한 다르게 (다양한 가설을 포괄하기 위해), 최종 단계에 가까워질수록 수렴하도록 장려할 수 있다. 이러한 메커니즘은 Chang (2024)의 연구에서 조기 합의를 방지하기 위해 제안되었다: 이는 에이전트 간 적절한 수준의 모순을 유지하여 새로운 논거의 출현과 더 깊은 토론을 촉진한다.

접근법의 장점 및 효율성

다중 에이전트 토론은 복잡한 과제에서 언어 모델의 성능을 향상시키는 능력으로 주목을 받았다. 2023-2024년의 수많은 독립적 연구들이 상호작용하는 LLM 그룹이 동일한 과제에서 단일 모델보다 더 나은 답변 품질을 달성할 수 있음을 확인했다. 특히, 복잡한 추론이 필요한 분야 — 수학적 계산에서부터 프로그래밍 및 텍스트 요약까지 — 에서의 개선이 나타났다. Yin 외 (2023), Chan 외 (2023), Chen 외 (2024) 등은 다중 에이전트 시스템이 산술 문제, 코드 생성, 심지어 문서 요약 생성에서도 단일 LLM을 확실히 능가한다고 언급한다. 그 이유는 관점의 다양성이다: 각 에이전트는 다른 에이전트가 놓친 세부 사항이나 오류를 발견하고 동료들에게 피드백을 제공할 수 있다. 상호 비판과 다양한 가설 교환은 과제를 더 포괄적으로 검토하게 하며, 그 결과 최종 답변이 더 정확하고 신뢰할 수 있게 된다.

예를 들어, Yilun Du가 이끄는 MIT와 Google Brain의 연구자들은 ICML 2024에서 「Improving factuality and reasoning in language models through multiagent debate」라는 논문을 발표하여, 모델 인스턴스 세 개 간의 토론을 추가했을 때 해결책의 품질이 크게 향상됨을 입증했다. 그들의 결과에 따르면, 다중 에이전트 토론 절차는 동일한 모델을 단독으로 사용하는 것에 비해 여러 과제에서 더 높은 성과를 달성할 수 있게 해주었다: 수학 및 전략 과제 해결 정확도가 향상되었고, 사실적 오류의 수가 감소하였다. 특히, 다중 에이전트 접근법은 수학적 추론, 사실 확인, 심지어 전략적 계획이 필요한 과제에서도 모델의 결과를 향상시켰다. 저자들은 「이러한 다중 라운드 토론 이후에 생성된 최종 답변은 사실적으로 더 정확하고 추론 과제 해결에 더 성공적」이라고 언급한다. 아래에는 단독 모델과 다중 에이전트 토론을 사용했을 때의 다양한 과제 수행 정확도를 비교하는 그림이 제시되어 있다.

단일 생성(파란색)과 다중 에이전트 토론 방식(빨간색)의 여러 과제에 대한 정확도 비교. 다중 에이전트 접근법(multi-agent debate)은 사실 관련 질문(전기), 지식 테스트 MMLU, 체스 수의 정확성 검증, 산술 표현 계산, 초등학교 수준의 수학 서술형 문제(GSM8K), 최적의 체스 수 찾기를 포함한 다양한 도메인에서 더 높은 정확도를 보여준다. 그래프 데이터에 따르면, 토론은 특히 복잡한 전략 과제(예: 체스에서 최적의 수 찾기)에서 모델의 능력을 강화하고, 수학 계산 및 사실 관련 질문에서 오류 비율을 눈에 띄게 줄인다.

다중 에이전트 접근법의 또 다른 장점은 단일 모델의 자기 통제 한계 극복이다. 단일 LLM은 종종 self-reflection(자기 반성) 기법을 적용하는데, 이는 모델이 스스로 초기 답변을 평가하고 수정하는 방식이다. 그러나 이 방법은 「degeneration-of-thought」(사고의 퇴화) 문제에 취약하다는 것이 밝혀졌다: 모델이 초기 답변을 신뢰하게 되면, 초기 해결책이 틀렸더라도 자기 검증 과정에서 근본적으로 새로운 아이디어를 생성하지 못한다. 즉, 모델은 처음에 생각해낸 해결책에 집착하여 대안을 거부하는 경향이 있다. 다중 에이전트 토론은 이 효과를 해소하는 데 도움이 된다: 여러 동등한 에이전트가 처음부터 다른 가설을 제시하고 서로의 논거를 순차적으로 반박할 수 있어, 비표준적인 사고 방향의 탐색을 자극한다. Tian Liang과 동료들(EMNLP 2024)은 자신들의 다중 에이전트 방식을 MAD (Multi-Agent Debate)라 명명하고, 이것이 실제로 모델의 발산적(다양한) 사고를 장려하며 깊이 있는 문제 처리가 필요한 과제에서 결과를 개선함을 보여주었다. 그들의 구현에서 여러 에이전트는 「이에는 이, 눈에는 눈」 원칙으로 토론하며 (각 에이전트가 차례로 상대방의 논거에 반박), 그 위에 토론을 관리하고 최종 결정을 선택하는 보조 심판이 있다. Liang 외의 실험은 복잡한 테스트 세트에서 이 접근법의 효과를 입증했다 — 상식적 번역(숨겨진 상식을 고려한 문장 번역)과 반직관적 산술(언뜻 비논리적인 조건이 있는 수학 퍼즐)에서 다중 에이전트 토론이 표준 방법보다 더 정확한 답변을 제공했다. 분석 결과, 최상의 결과를 위해서는 토론을 과도하게 길게 끌지 않고 적응적으로 중단하고, 에이전트 간 적절한 수준의 갈등을 유지해야 한다는 것도 밝혀졌다 — 너무 공격적이거나 반대로 너무 동의적인 행동은 결과를 악화시킨다.

다중 에이전트 접근법은 전형적인 질의응답 과제 외에도 유용한 것으로 밝혀졌다. 예를 들어, 모델의 더 안전하고 일관된 행동을 위한 다른 분야에서도 응용된다. 일부 연구는 규칙 조율 및 콘텐츠 관리 과제에서 에이전트 토론을 활용한다: 여러 LLM이 주어진 답변이 윤리적 규범에 따라 허용 가능한지 토론하여, 강화학습 훈련 시 서로에게 피드백을 제공한다. 토론이 모델의 안전성 및 유용성 조정에 도움이 되는 더 세밀하고 근거 있는 평가 신호를 생성할 수 있다는 점이 언급되었다. 또한 멀티모달 과제로의 확장도 시도되었다 — 예를 들어, 일부 에이전트가 이미지를 설명하고 다른 에이전트가 설명과 이미지의 일치 여부를 확인하는 방식이다. Google의 연구(2024)는 이러한 확장의 성공을 보여주었다: 멀티모달 접근법이 순수 텍스트 과제와 멀티모달 이미지 이해 모두에서 결과를 향상시켜, 「마음의 사회」의 범용성을 입증했다. 흥미롭게도, 앞서 언급했듯이 토론 내 상호작용은 약한 모델의 수준을 향상시킬 수 있다. 예를 들어, 서로 다른 능력을 가진 LLM들이 공동 토론에 참여할 때, 「약한 모델들이 점진적으로 강화되어 강한 모델로부터 성공적인 전략을 습득한다」. 따라서 다중 에이전트 시스템은 주어진 과제를 해결할 뿐만 아니라, 모델들이 서로에게서 집단적으로 학습하는 메커니즘으로도 기능한다.

한계 및 미해결 문제

상당한 장점에도 불구하고, 다중 에이전트 토론은 여러 어려움과 한계에 직면한다. 주요 어려움 중 하나는 이 접근법의 높은 자원 요구이다. 토론을 조직하기 위해서는 대형 모델에서 텍스트 생성을 여러 번 호출해야 한다: n개의 에이전트가 T 라운드에 참여하면, 단일 답변에 비해 LLM 호출 횟수가 n × T배 증가한다. 더욱이, 각 라운드에서 모델은 원래 질문뿐만 아니라 이전 라운드의 모든 발언(모든 에이전트의 답변)을 맥락으로 처리해야 한다. 따라서 에이전트 수와 라운드 수가 증가함에 따라 context 입력의 양이 기하급수적으로 증가하여, 맥락 창 포화 및 처리 비용 증가인 context explosion 효과가 발생한다. 실험에서 토론 라운드를 2-3번만 추가해도 모델이 처리해야 하는 총 context token 수가 크게 증가하여 응답 시간이 늘어나는 것이 관찰된다. 이론적으로 반복 횟수를 늘리면 해결책의 품질이 향상되지만, 실제로 많은 연구들이 여러 라운드 이후 수익 체감을 언급한다: 최대 효과는 종종 두 번째나 세 번째 라운드에서 달성되며, 이후 추가 토론은 동일한 논거를 반복하거나 맥락 포화로 인해 정확도가 오히려 감소할 수 있다. 예를 들어, Xi 외 (2023)는 정확도 향상이 토론 2라운드까지만 이루어지다가 이후 감소함을 보여주었으며, 유사하게 Liu와 Li 외 (2024)도 약 4라운드에서 품질이 정점에 달한 후 추가 사이클이 오히려 방해가 된다고 보고한다. 따라서 최적의 토론 기간 결정은 간단한 문제가 아니다: 너무 짧은 토론은 집단 지성의 잠재력을 완전히 발휘하지 못할 수 있고, 너무 긴 토론은 정보 노이즈와 맥락 과부하를 일으킬 수 있다.

또 다른 문제는 잘못된 답변에 대한 집단 합의 위험이다. 모든 에이전트가 유사한 경험을 가지고 어떤 사실에 대해 잘못 확신하고 있다면, 서로의 오해를 강화할 수 있다. 에코 챔버 효과가 발생한다: 토론 과정에서 모델들이 합의에 도달하지만, 진실을 발견했기 때문이 아니라 초기의 공통 bias를 확인했기 때문이다. 이론적 결과(Estornell & Liu, 2024)는 동일한 모델들의 경우 토론이 새로운 아이디어 없이 다수 의견을 반복하는 정체 상태로 빠져들 수 있음을 시사한다. 특히 위험한 것은 이 다수가 훈련 데이터에 내재된 공통 오류를 공유하는 경우 — 전체 토론의 결과가 틀릴 것이다. 이 문제를 극복하기 위해 특수한 개입 방법(diversity-pruning)이 제안된다: 각 라운드에서 너무 유사한 답변을 알고리즘적으로 제거하여, 에이전트들이 최대 정보 entropy를 가진 다양한 변형을 생성하도록 자극한다. 이는 모든 답변이 동일한 오류의 변형이 될 가능성을 줄인다. 또 다른 기법은 오개념 반박(misconception refutation)이다: 시스템이 에이전트들의 공통적인 가정을 자동으로 식별하고 거짓일 수 있는 가정들에 의도적으로 도전한다. Estornell & Liu의 연구는 세 가지 유사한 개입으로 구성된 세트를 제안했다 — 앞서 언급한 것들 외에 quality-pruning(각 단계에서 가장 관련성 높고 고품질의 논거 선별)도 포함하며 — 그 조합이 토론의 효과를 눈에 띄게 향상시키고 에코 챔버 경향을 방지함을 보여주었다.

마지막으로, 다중 에이전트 토론의 안정성과 예측 가능성이 아직 이상적이지 않음을 언급해야 한다. 일부 실험에서 토론은 불안정한 결과를 낳았다 — 동일한 토론의 서로 다른 실행이 다른 답변으로 수렴하거나, 집합적 답변이 토론 없는 단일 모델보다 더 나쁜 경우가 있었다. Wang 외 (2024)와 Smit 외 (2023)는 독립적으로 에이전트를 추가하는 것이 성능을 저하시키는 경우를 언급하며, 이는 유용한 비판과 파괴적인 논쟁 사이의 미묘한 경계를 시사한다. 다중 에이전트 접근법이 확실히 유용한 조건을 파악하는 것은 여전히 연구 주제로 남아 있다. 미해결 문제들은 다음과 같다: 장점을 놓치거나 끝없는 논쟁에 빠지지 않으면서 언제 토론을 중단하고 답변을 확정할지 자동으로 결정하는 방법, 그리고 다양한 유형의 과제에 대해 투표, 합의, 외부 심판 중 어떤 방식으로 집단적으로 결정을 내리는 것이 가장 신뢰할 수 있는지. 또한 다중 에이전트 시스템의 안전성 및 통제 가능성 문제도 시급하다: 에이전트들이 공동으로 원치 않는 독성 콘텐츠를 생성하거나 서로의 유해한 경향을 강화하지 않도록 확인해야 한다. 이러한 문제들, 특히 안전성 및 확장성과 관련된 것들은 시급하고 복잡한 것으로 인정되고 있다. 현대의 개요 논문들은 토론의 강력한 종료 규칙 개발, 에이전트 수와 라운드 수 증가 시 접근법의 확장성 평가, 그리고 집단적으로 얻은 답변의 신뢰성 및 정확성을 보장하는 방법 도입에 관한 추가 연구가 필요함을 언급한다. 이러한 과제들을 해결하면 다중 에이전트 토론을 더 지능적이고 안전한 인공지능 시스템 구축을 위한 더욱 강력하고 범용적인 도구로 발전시킬 수 있을 것이다.

참고 링크

• Improving Factuality and Reasoning in Language Models with Multiagent Debate — 프로젝트 페이지
• AI safety via debate — OpenAI 원본 논문
• Improving Multi-Agent Debate with Sparse Communication Topology — 소통 최적화에 관한 논문
• Literature Review Of Multi-Agent Debate For Problem-Solving — 문헌 리뷰
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate — MAD 관련 논문
• Improving Multi-Agent Debate with Contrastive Deliberation and Diversity-Promoting Interventions — NeurIPS 2024 논문

참고 문헌

• Irving, G. et al. (2018). AI Safety via Debate. arXiv:1805.00899.
• Du, Y. et al. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv:2305.14325.
• Liang, T. et al. (2023). Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. arXiv:2305.19118.
• Li, Y. et al. (2024). Improving Multi-Agent Debate with Sparse Communication Topology. arXiv:2406.11776.
• Guo, T. et al. (2024). Large Language Model based Multi-Agents: A Survey of Progress and Challenges. arXiv:2402.01680.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Estornell, A.; Liu, Y. (2024). Multi-LLM Debate: Framework, Principals, and Interventions. NeurIPS 2024.
• Eo, S. et al. (2025). Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning. arXiv:2504.05047.
• Tillmann, A. (2025). Literature Review Of Multi-Agent Debate For Problem-Solving. arXiv:2506.00066.
• Cui, Y. et al. (2025). Efficient Leave-One-Out Approximation in LLM Multi-Agent Debate Based on Introspection. arXiv:2505.22192.
• La Malfa, E. et al. (2025). Large Language Models Miss the Multi-Agent Mark. arXiv:2505.21298.