Multi-agent prompting (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

멀티에이전트 프롬프팅 (영어: multi-agent prompting) — 프롬프트 엔지니어링 및 인공지능 시스템에서 사용하는 기법으로, 대형 언어 모델(LLM) 기반의 여러 자율 에이전트가 구조화된 지시와 응답 교환을 통해 복잡한 문제를 협력하여 해결하는 방식이다[1].

즉, 멀티에이전트 시스템은 여러 LLM 에이전트로 구성되며, 이들은 복잡한 사용자 요청을 공동으로 처리하면서 추론 단계(subtasks)를 서로 다른 '역할'과 전문성을 가진 에이전트들에게 분배한다. 이 접근법의 주요 목적은 집단적 문제 해결을 통해 단일 모델이 복잡한 과제에서 보이는 한계를 극복하는 것이다. 여러 에이전트가 상호작용함으로써 추론의 품질, 사실적 정확성, 응답의 신뢰성을 높이고자 한다[2]. 중요한 특징은 엄격한 지시 구조로, 각 LLM에는 전체 해결 체계 내에서 특정 역할이나 과제가 부여된다.

방법론 및 아키텍처 패턴

연구자들은 에이전트 간의 상호작용 방식과 역할에 따라 다양한 멀티에이전트 프롬프팅 구조를 제안하였다.

역할 기반 전문가 모델링

하나 이상의 에이전트가 특정 분야의 전문가로 지정된다. 예를 들어, 멀티에이전트 그룹 내에서 각 에이전트는 서로 다른 지식 영역(물리학자, 화학자, 생물학자)이나 문제 해결의 서로 다른 단계(계획자, 실행자, 비평가)를 담당할 수 있다[1]. 이 접근법은 효과적인 few-shot 프롬프팅을 구현할 수 있게 해주는데, 각 전문가 에이전트가 자신의 분야에서 시연 예시를 제공받아 전체 성능을 향상시킨다.

자기 수정 및 비평 (Self-reflection)

에이전트는 '비평가' 역할을 맡거나 다른 에이전트의 결과물 또는 자신의 이전 응답을 되돌아볼 수 있다. self-reflection 또는 self-refinement 전략은 LLM이 먼저 응답을 생성한 후, 동일한 모델이나 다른 모델이 해당 응답을 분석하고 오류를 수정하는 방식이다[1]. 이를 통해 최종 결과물을 반복적으로 개선할 수 있다.

에이전트 간 토론

멀티에이전트 프롬프팅의 경쟁적 변형으로, 여러 LLM 간의 토론이나 논쟁을 구성하는 방식이다. LLM-Debate 구조에서는 두 개 이상의 에이전트가 특정 과제(예: 수학 문제)에 대한 올바른 답을 두고 논쟁하며 서로의 논거를 비판한다[3]. 이러한 토론 형식은 모델의 논리적 추론 능력을 향상시키고, 단일 모델 대비 응답의 사실적 정확성을 높인다.

계획 수립 및 과제 분해

한 에이전트가 계획자 역할을 수행하며 복잡한 요청을 일련의 단계나 하위 과제로 분해하고, 이를 자신이나 다른 에이전트가 해결한다. ReAct 및 Reflexion 등의 기법은 피드백이 있는 반복적 계획 수립 원칙을 구현한다. LLM은 실행에 앞서 먼저 해결 계획을 생성하며, 이는 긴 추론 체인을 처리하는 데 도움이 된다[1].

멀티 페르소나 협업

서로 다른 모델 대신 하나의 동일한 LLM을 사용하여 서로 다른 개인 설정이나 관점을 가진 여러 에이전트를 '연기'하도록 할 수 있다. multi-persona self-collaboration 접근법에서는 하나의 모델이 대화 과정에서 여러 역할을 순차적으로 맡아 스스로와 토론을 진행한다. 연구에 따르면 독립적인 별개의 에이전트가 더 높은 효율성을 제공하지만, 이 방법은 단일 LLM 내에서 전문가 팀을 모사할 수 있다[1].

적용 분야 및 결과

멀티에이전트 프롬프팅 접근법은 단일 LLM이 이전에 어려움을 겪었던 여러 분야에서 효과를 입증하였다.

수학적·논리적 추론

여러 에이전트를 활용하면 다단계 추론이 필요한 과제(복잡한 산술, 수학적 증명, 논리 퍼즐)에서 정확도가 눈에 띄게 향상된다. Du et al. (2023) 연구에서 멀티에이전트 '토론' 방식은 단일 에이전트 대비 성능을 개선하였다. 분석 결과, 토론에 참여하는 에이전트 수가 증가할수록 응답 정확도도 높아지는 것으로 나타났다[3].

과학·기술 과제

복잡한 전문 분야 문제(물리학, 화학)를 위해 CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting) 방법이 제안되었는데, 이는 서로 다른 역할(전문가)을 가진 여러 LLM 에이전트가 다양한 추론 전략을 병렬로 적용하는 방식이다. 대학 수준의 물리학 과제 실험에서 CoMM은 chain-of-thought 등의 기본 접근법을 크게 능가하며 수식 및 계산 오류를 줄였다[1].

코드 생성 및 디버깅

프로그래밍 분야에서 멀티에이전트 시스템은 코드 품질 향상과 오류 감소를 위해 활용된다. PromptV 시스템은 여러 에이전트를 사용하여 Verilog 코드를 순차적으로 작성, 검토, 수정한다. 역할 분배(생성, 리뷰, 테스트)를 통해 모델의 오류 감지 및 수정 능력이 향상되었으며, 그 결과 한 benchmark에서 성공적으로 컴파일되는 솔루션의 비율이 96.5%까지 증가하였다[4].

정보 검색 및 분석

멀티에이전트 시스템은 개방적이고 구조화되지 않은 쿼리에 특히 유용하다. Anthropic은 웹 리서치를 위해 Claude 모델의 멀티에이전트 모드를 개발하였다. 이 시스템에서 주 에이전트는 쿼리를 분석하고 여러 병렬 하위 과제 에이전트를 생성하며, 각 에이전트는 주제의 다양한 측면을 검색한다. 이러한 아키텍처는 단일 Claude 모델 대비 복잡한 검색 질문을 90% 더 효과적으로 처리하였다[2].

텍스트 분류 및 NLP 과제

NLP 과제를 위해 원칙 기반 프롬프팅 (Principle-Based Prompting)이 개발되었다. 이 방법론에서 LLM 에이전트는 먼저 '원칙'(해결 규칙) 집합을 생성하고, 그 후 최종화 에이전트가 그 중 최선의 것을 선별하며, 이를 바탕으로 다른 에이전트가 분류를 수행한다. 이 접근법은 기본 방법 대비 macro-F1 지표를 1.5~19% 향상시켜, 고전적인 예시 기반 학습(few-shot)에 근접한 품질을 달성하였다[5].

한계 및 문제점

계산 복잡도 및 비용

주요 단점은 급격히 증가하는 계산 부하이다. 각 에이전트는 별도의 생성 세션을 필요로 하며, 이는 상당한 token 및 자원 소비로 이어진다. Anthropic에 따르면, 해당 시스템은 대화당 평균 4배 더 많은 token을 소비하며, 일부 경우에는 최대 15배에 달한다[2]. 이로 인해 이 접근법은 높은 가치의 과제에만 적용이 타당하다.

설계 및 조율의 복잡성

성공적인 운용을 위해서는 세심한 프롬프트 엔지니어링 설정이 필요하다: 각 에이전트의 역할, 메시지 교환 형식, 종료 기준을 명확히 정의해야 한다. 그렇지 않으면 에이전트들이 작업을 중복 수행하거나, 무한 검색에 빠지거나, 쓸모없는 하위 과제를 생성할 수 있다[2].

보안 및 신뢰성

새로운 공격 벡터가 등장하고 있다. 연구자들은 Prompt Infection (프롬프트 감염) 현상을 시연하였는데, 이는 한 에이전트의 악의적인 지시 조각이 다른 에이전트에게 전달되어 바이러스처럼 전체 추론 체인을 통해 전파되는 것이다. 이러한 LLM-to-LLM 공격은 멀티에이전트 시스템이 숨겨진 인젝션과 조작에 취약함을 보여주며, 예를 들어 각 에이전트 출력에 태그를 붙이는 방식(LLM Tagging) 등 특별한 보호 조치 개발이 요구된다[6].

외부 링크

  • «How we built our multi-agent research system» — Anthropic의 상세 분석
  • «More Agents Is All You Need» — 에이전트 앙상블의 효율성에 관한 학술 논문

참고 문헌

  • Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
  • Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
  • Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
  • Wei, P. et al. (2024). Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
  • Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
  • Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
  • Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
  • Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
  • Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
  • Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.

각주

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Chen, Y. et al. «CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving». arXiv, 2024. [1]
  2. ↑ 2.0 2.1 2.2 2.3 «How we built our multi-agent research system». Anthropic. [2]
  3. ↑ 3.0 3.1 Li, G. et al. «More Agents Is All You Need». arXiv, 2024. [3]
  4. ↑ Mi, Y. et al. «PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation». ResearchGate, 2024. [4]
  5. ↑ Wei, J. et al. «Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification». arXiv, 2024. [5]
  6. ↑ Lee, K. & Tiwari, A. «Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems». OpenReview, 2024. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multi-agent_prompting_(KO)&oldid=4677"