Multi-agent prompting (HE)
פרומפטינג רב-סוכנים (באנגלית: multi-agent prompting) — הוא שיטה בהנדסת פרומפטים ובמערכות בינה מלאכותית, שבה מספר סוכנים אוטונומיים המבוססים על מודלי שפה גדולים (LLM) מקיימים אינטראקציה זה עם זה לפתרון משימות מורכבות באמצעות חילופי הוראות ותשובות מובנים[1].
במילים אחרות, מערכת רב-סוכנים מורכבת ממספר סוכני LLM הפועלים יחד על בקשה מורכבת של המשתמש, תוך חלוקת שלבי ההסקה (subtasks) בין סוכנים בעלי "תפקידים" וכשירויות שונות. המטרה העיקרית של גישה זו היא להתגבר על מגבלותיו של מודל בודד במשימות מורכבות באמצעות פתרון קולקטיבי. השימוש במספר סוכנים מקיימי אינטראקציה נועד לשפר את איכות ההסקה, את הדיוק העובדתי ואת אמינות התשובה[2]. מאפיין חשוב הוא האופי ההוראתי הקפדני: לכל LLM מוקצה תפקיד או משימה מסוימים במסגרת סכמת הפתרון הכוללת.
שיטות ודפוסי ארכיטקטורה
חוקרים הציעו מספר סכמות לפרומפטינג רב-סוכנים, המשתנות בהתאם לאופי האינטראקציה בין הסוכנים ולתפקידיהם.
מידול מומחים מבוסס-תפקיד
סוכן אחד או מספר סוכנים מוגדרים כמומחי תחום בעלי התמחות צרה. לדוגמה, בקבוצה רב-סוכנית עשויים סוכנים שונים לייצג תחומי ידע שונים (פיזיקאי, כימאי, ביולוג) או שלבי פתרון שונים של משימה (מתכנן, מבצע, מבקר)[1]. גישה זו מאפשרת יישום יעיל של פרומפטינג מסוג few-shot, שבו כל סוכן-מומחה מקבל דוגמאות-הדגמה בתחומו, מה שמשפר את הביצועים הכוללים.
תיקון עצמי וביקורת (Self-reflection)
סוכן יכול לשמש כ"מבקר" או להרהר על פתרונותיו של סוכן אחר או על תשובותיו הקודמות שלו. אסטרטגיית self-reflection או self-refinement מבוססת על כך שה-LLM תחילה מייצר תשובה, ולאחר מכן אותו מודל או מודל אחר מנתח ומתקן שגיאות בתשובה זו[1]. הדבר מאפשר שיפור איטרטיבי של התוצאה הסופית.
דיון בין סוכנים
גרסה תחרותית של פרומפטינג רב-סוכנים, המארגנת דיון או ויכוח בין מספר מודלי LLM. בסכמת LLM-Debate שני סוכנים או יותר מתווכחים על התשובה הנכונה למשימה (לדוגמה, מתמטית) ומבקרים את טיעוניו של זה מזה[3]. פורמט דיון זה משפר את יכולת המודל להסקה לוגית ומגביר את הדיוק העובדתי של התשובות בהשוואה לפתרון בודד.
תכנון ופירוק משימות
סוכן אחד ממלא את תפקיד המתכנן, ומפרק בקשה מורכבת לרצף של שלבים או תת-משימות, אשר לאחר מכן נפתרים על ידו עצמו או על ידי סוכנים אחרים. שיטות כגון ReAct ו-Reflexion מממשות עיקרון דומה של תכנון איטרטיבי עם משוב. ה-LLM תחילה מייצר תוכנית פתרון לפני שהוא מתחיל ליישמה, מה שמסייע להתמודד עם שרשראות הסקה ארוכות[1].
שיתוף פעולה רב-אישיותי
במקום מודלים שונים, ניתן להשתמש באותו LLM, תוך שגורמים לו "לגלם" מספר סוכנים עם הגדרות אישיות או נקודות מבט שונות. בגישת multi-persona self-collaboration מודל אחד מקבל על עצמו לסירוגין מספר תפקידים במהלך הדיאלוג ומנהל דיון כביכול עם עצמו. אף שמחקרים מראים שסוכנים עצמאיים נפרדים מספקים יעילות גבוהה יותר, שיטה זו מאפשרת להדמות צוות מומחים בתוך LLM יחיד[1].
יישומים ותוצאות
גישת הפרומפטינג רב-סוכנים הוכיחה את יעילותה במספר תחומים שבהם מודלי LLM בודדים נתקלו בעבר בקשיים.
הסקה מתמטית ולוגית
שימוש במספר סוכנים משפר באופן ניכר את הדיוק במשימות הדורשות היסק רב-שלבי (אריתמטיקה מורכבת, הוכחות מתמטיות, חידות לוגיות). בעבודתם של Du et al. (2023) שיפר גישת ה"דיון" הרב-סוכנית את התוצאה בהשוואה לסוכן בודד. הניתוח הראה כי ככל שמספר הסוכנים המשתתפים בדיון גדל, כך הדיוק בתשובה עולה[3].
משימות מדעיות וטכניות
לבעיות תחומיות מורכבות (פיזיקה, כימיה) הוצעה שיטת CoMM (Collaborative Multi-Agent, Multi-Reasoning-Path Prompting), שבה מספר סוכני LLM בעלי תפקידים שונים (מומחים) מיישמים אסטרטגיות הסקה שונות במקביל. בניסויים על משימות פיזיקה ברמת המכללה, CoMM עלה באופן ניכר על גישות בסיס כמו chain-of-thought, תוך עשיית פחות שגיאות בנוסחאות ובחישובים[1].
יצירת קוד ואיתור שגיאות
בתחום התכנות משמשות מערכות רב-סוכנים לשיפור איכות הקוד ולהפחתת מספר השגיאות. מערכת PromptV משתמשת במספר סוכנים לכתיבה, בדיקה ותיקון עוקבים של קוד Verilog. חלוקת התפקידים (יצירה, סקירה, בדיקה) שיפרה את יכולת המודל לאתר ולתקן שגיאות, וכתוצאה מכך עלה שיעור הפתרונות המתקמפלים בהצלחה ל-96.5% על אחד מה-benchmarks[4].
חיפוש וניתוח מידע
מערכות רב-סוכנים שימושיות במיוחד לשאילתות פתוחות ובלתי-מובנות. חברת Anthropic פיתחה מצב רב-סוכני עבור המודל Claude, המיועד למחקר ברשת. במערכת זו, סוכן ראשי מנתח את השאילתה ויוצר מספר סוכני-תת-משימות מקבילים, שכל אחד מהם מבצע חיפוש על היבטים שונים של הנושא. ארכיטקטורה זו התמודדה בצורה יעילה ב-90% יותר עם שאלות חיפוש מורכבות בהשוואה למודל Claude יחיד[2].
סיווג טקסט ומשימות NLP
למשימות NLP פותח פרומפטינג מבוסס-עקרונות (Principle-Based Prompting). בשיטה זו, סוכני LLM מייצרים תחילה מערכת של "עקרונות" (כללי פתרון), ולאחר מכן סוכן מסכם בוחר את הטובים שבהם, שעל בסיסם מבצע סוכן אחר את הסיווג. גישה זו שיפרה את מדד macro-F1 ב-1.5–19% בהשוואה לשיטות בסיס, תוך קירוב איכותו ללמידה קלאסית מדוגמאות (few-shot)[5].
מגבלות ובעיות
מורכבות חישובית ועלויות
החיסרון העיקרי הוא העומס החישובי שגדל בחדות. כל סוכן דורש סשן יצירה משלו, מה שמוביל לצריכה משמעותית של tokens ומשאבים. לפי נתוני Anthropic, המערכת שלהם צורכת בממוצע פי 4 יותר tokens לכל דיאלוג, ובמקרים מסוימים — עד פי 15 יותר[2]. הדבר הופך את השימוש בגישה למוצדק רק עבור משימות בעלות ערך גבוה.
מורכבות התכנון והתיאום
לתפקוד תקין נדרשת כוונון הנדסי קפדני של פרומפטים: יש להגדיר בבירור את תפקידו של כל סוכן, את פורמט חילופי ההודעות ואת קריטריוני העצירה. אחרת עלולים הסוכנים לשכפל עבודה, לנסות חיפושים אינסופיים או ליצור תת-משימות חסרות תועלת[2].
אבטחה ואמינות
מופיעים וקטורי תקיפה חדשים. חוקרים הדגימו את תופעת Prompt Infection (הדבקת פרומפט), שבה קטע הוראה זדוני מסוכן אחד מועבר לסוכן אחר ומתפשט לאורך כל שרשרת ההסקה כמו וירוס. מתקפת ה-LLM-to-LLM זו מדגימה את הפגיעות של מערכות רב-סוכניות להזרקות ולמניפולציות נסתרות, מה שמחייב פיתוח אמצעי הגנה ייעודיים, לדוגמה, סימון הפלט של כל סוכן (LLM Tagging)[6].
קישורים
- «How we built our multi-agent research system» — ניתוח מפורט מאת Anthropic
- «More Agents Is All You Need» — מאמר מדעי על יעילות אנסמבלים של סוכנים
ספרות
- Chen, P. et al. (2024). CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving. arXiv:2404.17729.
- Li, J. et al. (2024). More Agents Is All You Need. arXiv:2402.05120.
- Mi, Y. et al. (2024). PromptV: Leveraging LLM-Powered Multi-Agent Prompting for High-Quality Verilog Generation. arXiv:2412.11014.
- Wei, P. et al. (2024). Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification. arXiv:2502.07165.
- Lee, D.; Tiwari, A. (2024). Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems. arXiv:2410.07283.
- Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
- Wu, Q. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155.
- Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
- Li, G. et al. (2024). Multi-LLM Debate: Framework, Principles, and Interventions. PDF.
- Du, N. et al. (2023). Improving Factuality and Reasoning in Language Models through Multi-Agent Debate. arXiv:2305.14325.
הערות
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Chen, Y. et al. «CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving». arXiv, 2024. [1]
- ↑ 2.0 2.1 2.2 2.3 «How we built our multi-agent research system». Anthropic. [2]
- ↑ 3.0 3.1 Li, G. et al. «More Agents Is All You Need». arXiv, 2024. [3]
- ↑ Mi, Y. et al. «PromptV: Leveraging LLM-powered Multi-Agent Prompting for High-quality Verilog Generation». ResearchGate, 2024. [4]
- ↑ Wei, J. et al. «Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification». arXiv, 2024. [5]
- ↑ Lee, K. & Tiwari, A. «Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems». OpenReview, 2024. [6]