Multi-agent prompting (ES)

From Systems analysis Wiki
Jump to navigation Jump to search

Prompting multiagente (del inglés multi-agent prompting) es un método en la ingeniería de prompts y sistemas de inteligencia artificial en el que varios agentes autónomos basados en grandes modelos lingüísticos (LLM) interactúan entre sí para resolver tareas complejas a través de un intercambio estructurado de instrucciones y respuestas[1].

En otras palabras, un sistema multiagente consta de varios agentes LLM que trabajan en conjunto para abordar una consulta compleja del usuario, distribuyendo las etapas de razonamiento (subtasks) entre agentes con diferentes «roles» y competencias. El objetivo principal de este enfoque es superar las limitaciones de un modelo único en tareas complejas mediante una solución colectiva. El uso de múltiples agentes que interactúan está diseñado para mejorar la calidad del razonamiento, la precisión fáctica y la fiabilidad de la respuesta[2]. Una característica importante es la estricta asignación de instrucciones: a cada LLM se le asigna un rol o tarea específica dentro del esquema general de solución.

Métodos y patrones arquitectónicos

A los investigadores han propuesto varios esquemas de prompting multiagente, que se diferencian en la naturaleza de la interacción de los agentes y sus roles.

Modelado de expertos por roles

Uno o varios agentes son designados como expertos de dominio con una especialización estrecha. Por ejemplo, en un grupo multiagente, diferentes agentes pueden representar distintas áreas del conocimiento (físico, químico, biólogo) o diferentes etapas de la resolución de un problema (planificador, ejecutor, crítico)[1]. Este enfoque permite implementar un prompting few-shot eficaz, donde cada agente experto recibe ejemplos o demostraciones en su área, mejorando el rendimiento general.

Autocorrección y crítica (Self-reflection)

Un agente puede actuar como «crítico» o reflexionar sobre las soluciones de otro agente o sobre sus propias respuestas anteriores. La estrategia self-reflection o self-refinement consiste en que un LLM primero genera una respuesta y luego ese mismo u otro modelo la analiza y corrige los errores[1]. Esto permite mejorar iterativamente el resultado final.

Debates entre agentes

Una variante competitiva del prompting multiagente que consiste en organizar una discusión o debate entre varios LLM. En el esquema LLM-Debate, dos o más agentes debaten sobre la respuesta correcta a una tarea (por ejemplo, matemática) y critican los argumentos del otro[3]. Este formato de debate mejora la capacidad del modelo para el razonamiento lógico y aumenta la precisión fáctica de las respuestas en comparación con una solución de un solo agente.

Planificación y descomposición de tareas

Un agente desempeña la función de planificador, descomponiendo una consulta compleja en una secuencia de pasos o subtareas que luego son resueltas por él mismo u otros agentes. Metodologías como ReAct y Reflexion implementan un principio similar de planificación iterativa con retroalimentación. El LLM primero genera un plan de solución antes de proceder a su ejecución, lo que ayuda a manejar largas cadenas de razonamiento[1].

Colaboración multipersonalidad

En lugar de utilizar diferentes modelos, se puede emplear el mismo LLM, haciéndolo «interpretar» a varios agentes con diferentes personalidades o puntos de vista. En el enfoque multi-persona self-collaboration, un solo modelo asume secuencialmente varios roles durante un diálogo y mantiene una discusión consigo mismo. Aunque las investigaciones muestran que los agentes independientes y separados ofrecen una mayor eficiencia, este método permite simular un equipo de expertos dentro de un único LLM[1].

Aplicaciones y resultados

El enfoque de prompting multiagente ha demostrado su eficacia en varias áreas donde los LLM individuales habían encontrado dificultades.

Razonamiento matemático y lógico

El uso de múltiples agentes aumenta notablemente la precisión en tareas que requieren inferencias de varios pasos (aritmética compleja, demostraciones matemáticas, acertijos lógicos). En el trabajo de Du et al. (2023), el enfoque de «debate» multiagente mejoró los resultados en comparación con un agente único. El análisis demostró que a medida que aumenta el número de agentes que participan en la discusión, la precisión de la respuesta crece[3].

Tareas científicas y técnicas

Para problemas complejos de materias específicas (física, química), se propuso el método CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting), en el que varios agentes LLM con diferentes roles (expertos) aplican diversas estrategias de razonamiento en paralelo. En pruebas sobre problemas de física de nivel universitario, CoMM superó notablemente a enfoques básicos como chain-of-thought, cometiendo menos errores en fórmulas y cálculos[1].

Generación y depuración de código

En el campo de la programación, los sistemas multiagente se utilizan para mejorar la calidad del código y reducir el número de errores. El sistema PromptV emplea a varios agentes para escribir, revisar y corregir secuencialmente código Verilog. La distribución de roles (generación, revisión, pruebas) mejoró la capacidad del modelo para detectar y corregir errores, lo que resultó en un aumento de la proporción de soluciones que se compilan con éxito hasta un 96,5% en uno de los benchmarks[4].

Búsqueda y análisis de información

Los sistemas multiagente son especialmente útiles para consultas abiertas y poco estructuradas. La empresa Anthropic desarrolló un modo multiagente para el modelo Claude, diseñado para la investigación web. En este sistema, un agente principal analiza la consulta y genera varios agentes de subtareas en paralelo, cada uno de los cuales realiza búsquedas sobre diferentes aspectos del tema. Esta arquitectura fue un 90% más eficaz para resolver preguntas de búsqueda complejas en comparación con un solo modelo Claude[2].

Clasificación de texto y tareas de PNL

Para tareas de PNL se desarrolló el prompting basado en principios (Principle-Based Prompting). En esta metodología, los agentes LLM primero generan un conjunto de «principios» (reglas de solución), y luego un agente finalizador selecciona los mejores, sobre los cuales otro agente realiza la clasificación. Este enfoque aumentó la métrica macro-F1 en un 1,5–19% en comparación con los métodos básicos, acercándose en calidad al aprendizaje clásico basado en ejemplos (few-shot)[5].

Limitaciones y problemas

Complejidad computacional y costos

La principal desventaja es el drástico aumento de la carga computacional. Cada agente requiere su propia sesión de generación, lo que conduce a un consumo significativo de tokens y recursos. Según Anthropic, su sistema consume en promedio 4 veces más tokens por diálogo, y en algunos casos, hasta 15 veces más[2]. Esto hace que el uso de este enfoque solo sea justificable para tareas de alto valor.

Complejidad de diseño y coordinación

Para un funcionamiento exitoso, se requiere una cuidadosa ingeniería de prompts: es necesario definir claramente el rol de cada agente, el formato de intercambio de mensajes y los criterios de detención. De lo contrario, los agentes pueden duplicar trabajo, entrar en un bucle de búsqueda infinito o crear subtareas inútiles[2].

Seguridad y fiabilidad

Surgen nuevos vectores de ataque. Los investigadores han demostrado el fenómeno de la Prompt Infection (infección de prompt), donde un fragmento de instrucción malicioso de un agente se transmite a otro, propagándose por toda la cadena de razonamiento como un virus. Este tipo de ataque LLM-to-LLM revela la vulnerabilidad de los sistemas multiagente a inyecciones y manipulaciones ocultas, lo que requiere el desarrollo de medidas de protección especiales, como el etiquetado de la salida de cada agente (LLM Tagging)[6].

Enlaces externos

Bibliografía

  • Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
  • Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
  • Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
  • Wei, P. et al. (2024). Don’t Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
  • Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
  • Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
  • Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
  • Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
  • Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
  • Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.

Referencias

  1. 1.0 1.1 1.2 1.3 1.4 1.5 Chen, Y. et al. «CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving». arXiv, 2024. [1]
  2. 2.0 2.1 2.2 2.3 «How we built our multi-agent research system». Anthropic. [2]
  3. 3.0 3.1 Li, G. et al. «More Agents Is All You Need». arXiv, 2024. [3]
  4. Mi, Y. et al. «PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation». ResearchGate, 2024. [4]
  5. Wei, J. et al. «Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification». arXiv, 2024. [5]
  6. Lee, K. & Tiwari, A. «Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems». OpenReview, 2024. [6]