Multi-agent prompting (HU)

Többügynökös promptolás (angolul: multi-agent prompting) — egy módszer a prompt-mérnökségben és mesterséges intelligencia rendszerekben, amelyben több autonóm, nagy nyelvi modelleken (LLM) alapuló ügynök lép kölcsönhatásba egymással összetett feladatok megoldása céljából, strukturált utasítás- és válaszcsere révén.

Más szóval, a többügynökös rendszer több LLM-ügynökből áll, amelyek együttesen dolgoznak a felhasználó összetett kérésén, elosztva az érvelési lépéseket (subtasks) különböző „szerepekkel" és kompetenciákkal rendelkező ügynökök között. A megközelítés fő célja az, hogy az egyetlen modell korlátait kollektív megoldással leküzdje összetett feladatoknál. Több, egymással kölcsönhatásban lévő ügynök alkalmazása az érvelés minőségét, a tényszerű pontosságot és a válasz megbízhatóságát hivatott növelni. Fontos jellemzője a szigorú utasítás-orientáltság: minden LLM-nek meghatározott szerepet vagy feladatot rendelnek a megoldás általános sémájában.

Módszerek és architekturális minták

A kutatók számos többügynökös promptolási sémát javasoltak, amelyek az ügynökök kölcsönhatásának jellege és szerepei szerint különböznek egymástól.

Szerepalapú szakértői modellezés

Egy vagy több ügynököt szűk szakterülettel rendelkező szaktudósként jelölnek ki. Például egy többügynökös csoportban a különböző ügynökök különböző tudományterületeket képviselhetnek (fizikus, kémikus, biológus), vagy a feladatmegoldás különböző szakaszait (tervező, végrehajtó, kritikus). Ez a megközelítés lehetővé teszi a hatékony few-shot promptolást, ahol minden szakértő ügynök saját területéről kap demonstrációs példákat, javítva az összteljesítményt.

Önkorrekció és kritika (Self-reflection)

Egy ügynök „kritikus" szerepét töltheti be, vagy reflektálhat egy másik ügynök megoldásaira, illetve saját korábbi válaszaira. A self-reflection vagy self-refinement stratégia lényege, hogy az LLM először generál egy választ, majd ugyanaz vagy egy másik modell elemzi és kijavítja az abban lévő hibákat. Ez lehetővé teszi a végső eredmény iteratív javítását.

Ügynökök közötti vita

A többügynökös promptolás versengő változata, amely több LLM közötti megbeszélés vagy vita szervezését jelenti. Az LLM-Debate sémában két vagy több ügynök vitatkozik egy feladat (például matematikai) helyes megoldásáról, és bírálja egymás érveit. Ez a vitaformátum javítja a modell logikai érvelési képességét, és növeli a válaszok tényszerű pontosságát az egyetlen ügynökes megoldáshoz képest.

Feladattervezés és dekompozíció

Egy ügynök tervező funkcióját látja el, az összetett kérést lépések vagy részfeladatok sorozatára bontva, amelyeket aztán maga az ügynök vagy más ügynökök oldanak meg. Az olyan módszerek, mint a ReAct és a Reflexion, visszacsatolással megvalósított iteratív tervezés elvét alkalmazzák. Az LLM először megoldási tervet generál, mielőtt hozzálátna annak végrehajtásához, ami segít hosszú érvelési láncok kezelésében.

Többszemélyiségű együttműködés

Különböző modellek helyett egyetlen LLM is alkalmazható, amelyet arra késztetnek, hogy több, különböző személyiségbeállítással vagy nézőponttal rendelkező ügynököt „játsszon meg". A multi-persona self-collaboration megközelítésben egyetlen modell párbeszéd során egymás után több szerepet vesz fel, és mintegy önmagával folytat vitát. Bár a kutatások azt mutatják, hogy a különálló, független ügynökök magasabb hatékonyságot biztosítanak, ez a módszer lehetővé teszi a szakértői csapat szimulálását egyetlen LLM-en belül.

Alkalmazások és eredmények

A többügynökös promptolás megközelítése számos területen bizonyította hatékonyságát, ahol az egyedi LLM-ek korábban nehézségekbe ütköztek.

Matematikai és logikai érvelés

Több ügynök alkalmazása jelentősen növeli a pontosságot a többlépéses levezetést igénylő feladatoknál (összetett aritmetika, matematikai bizonyítások, logikai fejtörők). Du et al. (2023) munkájában a többügynökös „vitaalapú" megközelítés jobb eredményt ért el az egyetlen ügynökhöz képest. Az elemzés megmutatta, hogy a megbeszélésben részt vevő ügynökök számának növekedésével a válasz pontossága is nő.

Tudományos és műszaki feladatok

Összetett szaktudományi problémákhoz (fizika, kémia) javasolták a CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting) módszert, amelyben több különböző szerepű (szakértő) LLM-ügynök párhuzamosan alkalmaz eltérő érvelési stratégiákat. Főiskolai szintű fizikai feladatokon végzett teszteken a CoMM észrevehetően felülmúlta az olyan alapmegközelítéseket, mint a chain-of-thought, kevesebb hibát vétve a képletekben és számításokban.

Kódgenerálás és hibakeresés

A programozás területén a többügynökös rendszereket a kódminőség javítására és a hibák számának csökkentésére alkalmazzák. A PromptV rendszer több ügynököt használ Verilog-kód egymást követő megírására, ellenőrzésére és javítására. A szerepek elosztása (generálás, áttekintés, tesztelés) javította a modell képességét a hibák felderítésére és kijavítására, aminek eredményeként a sikeresen leforduló megoldások aránya az egyik benchmarkon 96,5%-ra nőtt.

Információkeresés és -elemzés

A többügynökös rendszerek különösen hasznosak nyílt, rosszul strukturált kérdéseknél. Az Anthropic vállalat többügynökös módot fejlesztett a Claude modellhez, webalapú kutatásra tervezve. Ebben a rendszerben a vezető ügynök elemzi a kérést, és több párhuzamos részfeladat-ügynököt indít el, amelyek mindegyike a téma különböző aspektusait kutatja. Ez az architektúra 90%-kal hatékonyabban kezelte az összetett keresési kérdéseket egyetlen Claude modellhez képest.

Szövegosztályozás és NLP-feladatok

NLP-feladatokhoz kifejlesztették az elvialapú promptolást (Principle-Based Prompting). Ebben a módszerben az LLM-ügynökök először „elvek" (megoldási szabályok) készletét generálják, majd egy összesítő ügynök kiválasztja a legjobbakat, amelyek alapján egy másik ügynök elvégzi az osztályozást. Ez a megközelítés 1,5–19%-kal javította a macro-F1 mutatót az alapmódszerekhez képest, megközelítve a klasszikus példaalapú tanulás (few-shot) minőségét.

Korlátok és problémák

Számítási komplexitás és költségek

A fő hátrány a számítási terhelés meredek növekedése. Minden ügynök saját generálási munkamenetet igényel, ami jelentős token- és erőforrás-felhasználáshoz vezet. Az Anthropic adatai szerint rendszerük átlagosan 4-szer annyi tokent fogyaszt egy párbeszéd során, egyes esetekben akár 15-ször annyit. Ez a megközelítés alkalmazását csak magas értékű feladatoknál teszi indokolttá.

Tervezési és koordinációs komplexitás

A sikeres működéshez gondos prompt-mérnöki beállítás szükséges: minden ügynök szerepét, az üzenetcsere formátumát és a leállítási feltételeket pontosan meg kell határozni. Ellenkező esetben az ügynökök megduplázhatják a munkát, végtelen keresési hurokba kerülhetnek, vagy hasznavehetetlen részfeladatokat hozhatnak létre.

Biztonság és megbízhatóság

Új támadási vektorok jelennek meg. A kutatók bemutatták a Prompt Infection (prompt-fertőzés) jelenségét, amelynek során egy ügynöktől származó rosszindulatú utasítástöredék átkerül egy másik ügynökhöz, és vírusként terjed végig az érvelési láncon. Ez az LLM-to-LLM típusú támadás megmutatja a többügynökös rendszerek sebezhetőségét rejtett injekciókkal és manipulációkkal szemben, ami speciális védelmi intézkedések kidolgozását teszi szükségessé, például az egyes ügynökök kimenetének megjelölését (LLM Tagging).

Hivatkozások

• «How we built our multi-agent research system» — részletes elemzés az Anthropictól
• «More Agents Is All You Need» — tudományos cikk az ügynök-együttesek hatékonyságáról

Irodalom

• Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
• Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
• Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
• Wei, P. et al. (2024). Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
• Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
• Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
• Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
• Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.