Least-to-most Prompting (HE)
Least-to-Most Prompting (LtM) — שיטה לפיתוח הנחיות (prompts) עבור מודלי שפה גדולים (LLM), המאפשרת לפתור משימות מורכבות על ידי פירוקן לשלבים פשוטים יותר עם פתרון רצוף של תת-המשימות הללו[1]. גישה זו הוצעה בשנת 2022 על ידי קבוצת חוקרים מ-Google Brain בהנהגת דני ג'ואו והוצגה בכנס ICLR 2023[2]. המטרה העיקרית של השיטה היא להתגבר על המגבלה של הנחיות Chain-of-Thought, שמתמודדות בקושי עם משימות מורכבות יותר מהדוגמאות שהוצגו למודל במהלך לימוד ההנחיות[2]. Least-to-Most Prompting מאפשרת למודל להכליל למשימות ברמת מורכבות גבוהה יותר, תוך שמירה על יכולת פרשנות וללא צורך באימון נוסף של הרשת הנוירונית[2]. שם השיטה לקוח מפסיכולוגיה חינוכית, שם «least to most prompting» מציין הגשת סדרת רמזים לסטודנט ברמת סיוע עולה לצורך רכישת מיומנות חדשה[3].
תיאור השיטה
שיטת Least-to-Most Prompting מיושמת בשני שלבים[2], שכל אחד מהם מוגדר למודל השפה עצמו באמצעות carefully-crafted prompts (ללא אימון נוסף של המודל):
- פירוק המשימה. בשלב הראשון המודל מקבל הוראה ודוגמאות המדגימות כיצד לפרק משימה מורכבת לרצף של תת-משימות פשוטות יותר. לאחר מכן מוצגת למודל שאלה מורכבת ספציפית, והוא נדרש לייצר רשימה של שאלות ביניים מפושטות[2]. לדוגמה, עבור משימה מורכבת, המודל יכול באופן עצמאי לנסח שאלת בהירה המטפלת בחלק מהבעיה המקורית.
- פתרון רצוף של תת-משימות. בשלב השני המודל פותר את תת-המשימות שהתקבלו בזו אחר זו — מהפשוטה ביותר אל המורכבת ביותר. לשם כך, כל תת-משימה מוקדמת בהקשר: דוגמאות לפתרונות של תת-בעיות דומות, וכן (אם קיימות) תת-משימות קודמות שכבר נפתרו יחד עם תשובותיהן[4]. לאחר פתרון תת-המשימה הראשונה, המודל מוסיף את תשובתה לטקסט ההנחיה ומקבל את תת-המשימה הבאה, תוך שימוש בפתרונות הקודמים כהקשר[4]. כך ממשיך התהליך עד לפתרון תת-המשימה הסופית, המורכבת ביותר, אשר מספקת תשובה ישירה לשאלה המקורית.
דוגמה: משימת טקסט מקורית מפורקת לשני שלבים בעזרת שיטת Least-to-Most. תחילה המודל מנסח ופותר שאלת ביניים («How long does each trip take?» — «כמה זמן לוקחת כל נסיעה?»), ומקבל את התשובה "each trip takes 5 minutes" («כל נסיעה אורכת 5 דקות»). תשובה זו נכללת בהנחיה החדשה יחד עם תת-המשימה הבאה — השאלה המקורית («How many times can she slide before it closes?» — «כמה פעמים היא תספיק לרדת לפני שהאטרקציה תיסגר?»). תוך שימוש בתוצאה הקודמת, המודל מחשב את התשובה הסופית (בדוגמה זו: 3 פעמים).
באופן עקרוני, Least-to-Most Prompting שונה מגישת chain-of-thought הסטנדרטית בכך שהיא מפצלת את תהליך החשיבה לשאילתות נפרדות עם צבירת ידע, במקום לייצר «שרשרת מחשבות» אחת רציפה במסגרת תשובה אחת[3]. גישה שלבית ורקורסיבית זו מאפשרת למודל לעבור בהדרגה להיבטים מורכבים יותר ויותר של המשימה, ומסלקת ביעילות את בעיית easy-to-hard generalization (כאשר המודל מתמודד עם משימה מורכבת יותר מאלו שהיו בדוגמאות האימון)[2][3]. נציין כי שני שלבי שיטת LtM מיושמים באמצעות few-shot prompting (הדגמת מספר דוגמאות) ואינם מצריכים אימון נוסף של המודל או fine-tuning על נתונים חדשים[2]. בנוסף, השיטה תואמת לטכניקות אחרות לשיפור החשיבה של LLM, לדוגמה, ניתן לשלב אותה עם chain-of-thought ו-self-consistency (דגימה רצופה של מספר פתרונות) בעת יצירת תשובה, אם כי אין בכך הכרח[1].
תוצאות ניסוייות ויישומים
במחקר שהציע את Least-to-Most Prompting הוצג כי שיטה זו עולה על שיטות ההנחיה הסטנדרטיות (כולל chain-of-thought) במגוון משימות הדורשות חשיבה מרובת שלבים מורכבת[1]. השיטה הדגימה בהצלחה את יתרונותיה בשלוש קטגוריות מרכזיות של משימות:
- משימות סמליות ואלגוריתמיות. לדוגמה, במשימת שרשור האותיות האחרונות של מילים (נטילת האות האחרונה מכל מילה ברשימה בזו אחר זו ויצירת מילה חדשה מהן) שיטת LtM שיפרה משמעותית את יכולת המודל להכליל לרצפים ארוכים יותר של מילים. ללא אימון ייעודי, מודל GPT-3 (code-davinci-002) עם הנחיות chain-of-thought פתר משימות כאלה נכונה רק בכ-32% מהמקרים כאשר רשימת המילים הייתה באורך 12, בעוד עם שימוש ב-Least-to-Most Prompting הדיוק הגיע ל-~74%[1]. ברשימות קצרות (באורך שהופיע בדוגמאות) שתי האסטרטגיות הצליחו היטב, אולם עם גדילת אורך הרצף איכות chain-of-thought ירדה בחדות, בעוד Least-to-Most הבטיח ירידה מתונה יותר ושמר על דיוק גבוה[1]. הדבר מדגים את יכולת שיטת LtM להכליל את ההיגיון של הפתרון לנתוני קלט מורכבים (ארוכים) יותר.
- הכללה קומפוזיציונית (compositional generalization). קטגוריה זו של משימות כוללת, לדוגמה, תרגום הוראות טקסטואליות לרצף פעולות (כמו ב-benchmark SCAN, הדורש ביצוע פקודות מסוג "jump twice and run" והכללה לשילובים ארוכים יותר)[4]. שיטת LtM אפשרה ל-LLM לפתור בהצלחה אפילו את הגרסאות המורכבות ביותר של משימות אלה. בפרט, מודל GPT-3 עם הנחיות LtM השיג דיוק של 99% על כל גרסאות חלוקת הנתונים בקבוצת SCAN (כולל ה-length split המורכב ביותר, שבו רצפי הבדיקה ארוכים מרצפי האימון), תוך שימוש ב-14 דוגמאות בלבד בהנחיה[2]. לשם השוואה, גישת chain-of-thought הסטנדרטית הניבה רק כ-16% דיוק בתנאים דומים[2]. יתרה מכך, הדבר הושג ללא אימון המודל על נתוני אימון, בעוד שפתרונות מובילים קודמים ל-SCAN הסתמכו על ארכיטקטורות נוירו-סמליות מיוחדות או שיטות הרחבת נתונים הדורשות שימוש בכל קבוצת האימון הכוללת מעל 15,000 דוגמאות[2][2]. כך הדגים Least-to-Most Prompting יכולת הכללה קומפוזיציונית חסרת תקדים למודלים ללא fine-tuning.
- משימות מילוליות מתמטיות. השיטה נבדקה על משימות חשבון בטקסט, לדוגמה, מ-dataset GSM8K (משימות מילוליות מורכבות של חיבור/חיסור והיגיון)[2], וכן על מספר שאלות מקבוצת DROP (הבוחנות יכולת חילוץ וחישוב מידע מספרי בטקסט)[2]. גם כאן הציג Least-to-Most Prompting שיפור בדיוק בהשוואה ל-chain-of-thought. כך, עבור GSM8K בשימוש במודל code-davinci-002 דיוק התשובות עלה מ-~60.9% ל-~62.4%[2]. על תת-משימות DROP הרווח היה בולט עוד יותר: לדוגמה, על חלק מהשאלות בנושא עובדות «כדורגל» הדיוק עלה מ-~59.6% (chain-of-thought) ל-~73.4% בשימוש ב-LtM[2]. אמנם השיפור באיכות על משימות מתמטיות היה פחות דרמטי מאשר ב-SCAN, אך המחברים מציינים נקודה חשובה: כמעט כל משימת GSM8K ניתן לפתור נכונה אם המודל מקבל פירוק נכון של הבעיה[2]. הדבר מעיד כי המפתח לפתרון מוצלח הוא שאלות ביניים מנוסחות היטב; גישת LtM מכוונת בדיוק ליצירה אוטומטית של שאלות כאלה ולפתרונן הרצוף.
בסיכום, הניסויים מאשרים כי Least-to-Most Prompting עולה משמעותית הן על few-shot prompting תמים ללא חשיבה והן על שיטת chain-of-thought במגוון רחב של משימות הדורשות היסק מרובת שלבים[1]. השיטה מאפשרת ל-LLM לפתור בעיות מורכבות יותר מאלו שהמודל הכיר דרך דוגמאות מלכתחילה, ומרחיבה את גבולות in-context learning (למידה תוך כדי שימוש בהנחיות).
מגבלות וכיוונים עתידיים
למרות הצלחותיה, לשיטת Least-to-Most Prompting מספר מגבלות. קודם כל, לסוגים שונים של משימות נדרשים גישות שונות לפירוק. תבנית הנחיה שמפרקת ביעילות משימה מתמטית עשויה שלא להתאים כלל למשימה לוגית או משימת שכל ישר יומיומית[2]. לדוגמה, הנחיות שלימדו את המודל לחלק משימות מילוליות מתמטיות לשלבים, התגלו כחסרות תועלת לשאלה מתחום השכל הישר כגון «האם אריסטו השתמש במחשב נייד?» — עבור משימה כזו נדרשת אסטרטגיית פירוק שונה לחלוטין[2]. לכן, עבור כל תחום ידע חדש או סוג בעיות, יש לבחור מחדש דוגמאות לפירוק המשימה לתת-משימות ולגבש prompt מתאים המדגים את מבנה הפתרון[3]. במילים אחרות, הידע כיצד לפרק משימה נכונה אינו מוכלל באופן אוניברסלי על ידי ה-LLM עצמו, ויש להגדירו דרך דוגמאות לכל מחלקת משימות ספציפית.
יתרה מכך, יעילות LtM תלויה משמעותית במידת ההתאמה של המשימה לפירוק למטרות עצמאיות. אם המודל לא יצליח לנסח נכונה את השלבים הביניים, או אם תת-משימות הכרחיות יושמטו, הפתרון הסופי יהיה שגוי אף הוא. עם זאת, המפתחים עצמם מציינים כי במקרים רבים ניתן להפוך כישלון להצלחה אם אדם מספק ידנית את הפירוק הנכון — אז המודל פותר בקלות כל חלק ומשלב את התשובות בהצלחה[2]. הדבר מדגיש את הפוטנציאל לפיתוח נוסף של הגישה: שיפור איכות יצירת תת-המשימות האוטומטית ואולי אימון אינטראקטיבי של מודלים. בסיום, מחברי LtM משערים כי עתיד שיטות ההנחיה עשוי לנוע לכיוון דו-שיח דו-כיווני אמיתי עם המודל, שבו המודל מקבל משוב מיידי ותיקון של שלביו הביניים[2]. ניתן לראות ב-Least-to-Most Prompting צעד בכיוון זה, המדגים כי אינטראקציה רצופה עם המודל דרך פירוק ופתרון שלבי של משימות מאפשרת להרחיב משמעותית את יכולות החשיבה שלו ללא אימון על נתונים חדשים[1].
קישורים
- המאמר המקורי «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» ב-arXiv
- גרסת HTML של המאמר המקורי
- מהו Least-to-Most Prompting? — מאמר AI Safety Info
- סקירת השיטה ב-Medium
- סקירה כוללת של שיטות prompt engineering ב-arXiv
ספרות
- Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
- Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
- Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
- Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
- Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
- Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
הערות
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [1]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [2]
- ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [3]
- ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [4]