Least-to-most Prompting (FA)
Least-to-Most Prompting (LtM) — روشی برای طراحی prompt برای مدلهای زبانی بزرگ (LLM) است که امکان حل مسائل پیچیده را از طریق تجزیه آنها به مراحل سادهتر و سپس حل متوالی این زیرمسائل فراهم میکند[1]. این رویکرد در سال ۲۰۲۲ توسط گروهی از محققان Google Brain به سرپرستی Denny Zhou پیشنهاد شد و در کنفرانس ICLR 2023 ارائه گردید[2]. هدف اصلی این روش، غلبه بر محدودیتهای promptهای Chain-of-Thought است که در مواجهه با مسائلی پیچیدهتر از نمونههای نشاندادهشده به مدل در مرحله prompt learning عملکرد ضعیفی دارند[2]. Least-to-Most Prompting به مدل این امکان را میدهد که به مسائل با دشواری بیشتر تعمیم یابد، در حالی که قابل تفسیر باقی میماند و به آموزش اضافی شبکه عصبی نیاز ندارد[2]. نام این روش از روانشناسی آموزشی گرفته شده است، که در آن «least to most prompting» به ارائه مجموعهای از راهنماییها با سطح کمک فزاینده به دانشآموز برای یادگیری مهارت جدید اطلاق میشود[3].
توضیح روش
روش Least-to-Most Prompting در دو مرحله پیادهسازی میشود[2] که هر دو از طریق promptهای دقیقاً طراحیشده به خود مدل زبانی داده میشوند (بدون fine-tuning اضافی مدل):
- تجزیه مسئله. در مرحله اول، مدل دستورالعمل و نمونههایی دریافت میکند که نشان میدهند چگونه یک مسئله پیچیده را به دنبالهای از زیرمسائل سادهتر تقسیم کنند. سپس یک سوال پیچیده مشخص به مدل ارائه میشود و مدل باید فهرستی از سوالات میانی سادهشده تولید کند[2]. برای مثال، مدل میتواند بهطور مستقل یک زیرسوال دقیقکننده را که به بخشی از مسئله اصلی میپردازد، فرموله کند.
- حل متوالی زیرمسائل. در مرحله دوم، مدل زیرمسائل بهدستآمده را بهترتیب حل میکند — از سادهترین به پیچیدهترین. برای این منظور، هر زیرمسئله با یک context مقدم میشود: نمونههایی از حل مسائل مشابه و همچنین (در صورت وجود) زیرمسائل قبلاً حلشده به همراه پاسخهایشان[4]. پس از حل اولین زیرمسئله، مدل پاسخ آن را به متن prompt اضافه میکند و زیرمسئله بعدی را با استفاده از راهحلهای قبلی بهعنوان context دریافت میکند[4]. این فرایند تا زمانی ادامه مییابد که زیرمسئله نهایی و پیچیدهترین آن — که مستقیماً به سوال اصلی پاسخ میدهد — حل شود.
مثال: یک مسئله متنی اولیه با استفاده از روش Least-to-Most به دو مرحله تقسیم میشود. ابتدا مدل یک سوال میانی فرموله و حل میکند («How long does each trip take?» — «هر سفر چقدر طول میکشد؟») و پاسخ «each trip takes 5 minutes» («هر سفر ۵ دقیقه طول میکشد») را به دست میآورد. این پاسخ به همراه زیرمسئله بعدی — سوال اصلی («How many times can she slide before it closes?» — «چند بار میتواند سُر بخورد پیش از آنکه بسته شود؟») — در prompt جدید گنجانده میشود. مدل با استفاده از نتیجه قبلی، پاسخ نهایی را محاسبه میکند (در این مثال: ۳ بار).
بهطور اساسی، Least-to-Most Prompting با رویکرد استاندارد chain-of-thought از این جهت تفاوت دارد که فرایند استدلال را به درخواستهای مجزا با تجمیع دانش تقسیم میکند، بهجای تولید یک «زنجیره افکار» پیوسته در قالب یک پاسخ[3]. این رویکرد مرحلهبهمرحله و بازگشتی به مدل اجازه میدهد بهتدریج به جنبههای پیچیدهتر مسئله بپردازد و بهطور موثر مشکل easy-to-hard generalization را حل کند (زمانی که مدل با مسئلهای پیچیدهتر از نمونههای آموزشی مواجه میشود)[2][3]. لازم به ذکر است که هر دو مرحله روش LtM از طریق few-shot prompting (نمایش چند نمونه) پیادهسازی میشوند و نیازی به آموزش اضافی مدل یا fine-tuning آن روی دادههای جدید ندارند[2]. علاوه بر این، این روش با سایر تکنیکهای بهبود استدلال LLM سازگار است؛ برای مثال، میتوان آن را با chain-of-thought و self-consistency (نمونهگیری متوالی از چندین راهحل) در تولید پاسخ ترکیب کرد، هرچند این الزامی نیست[1].
نتایج تجربی و کاربردها
در مقالهای که Least-to-Most Prompting را معرفی کرد، نشان داده شد که این روش از روشهای استاندارد prompting (شامل chain-of-thought) پیشی میگیرد در تعدادی از مسائل نیازمند استدلال چندمرحلهای پیچیده[1]. این روش برتری خود را در سه دسته کلیدی از مسائل به اثبات رسانده است:
- مسائل نمادین و الگوریتمی. برای مثال، در مسئله الحاق آخرین حروف کلمات (گرفتن آخرین حرف هر کلمه در فهرست بهترتیب و ترکیب آنها برای تشکیل یک کلمه جدید)، روش LtM بهطور قابل توجهی توانایی مدل در تعمیم به دنبالههای طولانیتر کلمات را افزایش داد. بدون آموزش خاص، مدل GPT-3 (code-davinci-002) با promptهای chain-of-thought چنین مسائلی را تنها در حدود ۳۲٪ موارد بهدرستی حل میکرد، وقتی که فهرست کلمات دارای ۱۲ عنصر بود، در حالی که با استفاده از Least-to-Most Prompting دقت به ~۷۴٪ رسید[1]. در فهرستهای کوتاه (با طولی که در نمونهها وجود داشت) هر دو استراتژی عملکرد خوبی داشتند، اما با افزایش طول دنباله، کیفیت chain-of-thought بهشدت کاهش مییافت، در حالی که Least-to-Most کاهش تدریجیتری داشت و دقت بالایی را حفظ میکرد[1]. این نشاندهنده توانایی روش LtM در تعمیم منطق حل به دادههای ورودی پیچیدهتر (طولانیتر) است.
- تعمیم ترکیبی (compositional generalization). این دسته از مسائل شامل مواردی مانند ترجمه دستورالعملهای متنی به دنبالهای از اعمال میشود (مانند benchmark SCAN که نیاز به اجرای دستوراتی مثل «jump twice and run» و تعمیم به ترکیبهای طولانیتر دارد)[4]. روش LtM به LLM امکان داد حتی پیچیدهترین انواع چنین مسائلی را با موفقیت حل کند. بهطور خاص، مدل GPT-3 با promptهای LtM به دقت ۹۹٪ در تمام انواع تقسیمبندی داده در مجموعه SCAN دست یافت (شامل دشوارترین آنها یعنی length split، که در آن دنبالههای آزمایشی طولانیتر از آموزشی هستند)، و تنها از ۱۴ نمونه در prompt استفاده کرد[2]. برای مقایسه، رویکرد استاندارد chain-of-thought در شرایط مشابه تنها حدود ۱۶٪ دقت ارائه میداد[2]. علاوه بر این، این دستاورد بدون آموزش مدل روی دادههای تمرینی حاصل شد، در حالی که بهترین راهحلهای قبلی برای SCAN به معماریهای خاص نورو-نمادین یا روشهای افزایش داده متکی بودند که نیاز به استفاده از کل مجموعه آموزشی شامل بیش از ۱۵٬۰۰۰ نمونه داشتند[2][2]. بدین ترتیب، Least-to-Most Prompting توانایی بیسابقهای در تعمیم ترکیبی برای مدلهای بدون fine-tuning نشان داد.
- مسائل ریاضی متنی. این روش روی مسائل حساب در قالب متن آزمایش شد، برای مثال از dataset GSM8K (مسائل متنی پیچیده روی جمع/تفریق و منطق)[2] و همچنین تعدادی از سوالات مجموعه DROP (که توانایی استخراج و محاسبه اطلاعات عددی در متن را میسنجد)[2]. در اینجا نیز Least-to-Most Prompting بهبود دقت را نسبت به chain-of-thought نشان داد. برای مثال، برای GSM8K با استفاده از مدل code-davinci-002 دقت پاسخها از ~۶۰.۹٪ به ~۶۲.۴٪ افزایش یافت[2]. در زیرمسائل DROP سود حتی چشمگیرتر بود: برای مثال، در بخشی از سوالات مربوط به «فوتبال»، دقت از ~۵۹.۶٪ (chain-of-thought) به ~۷۳.۴٪ با اعمال LtM رسید[2]. اگرچه افزایش کیفیت در مسائل ریاضی کمتر چشمگیر از SCAN بود، نویسندگان به نکته مهمی اشاره میکنند: تقریباً هر مسئله GSM8K را میتوان بهدرستی حل کرد اگر مدل تجزیه صحیحی از مسئله دریافت کند[2]. این نشان میدهد که کلید موفقیت، فرمولهکردن درست سوالات میانی است؛ و رویکرد LtM دقیقاً بهمنظور ایجاد خودکار چنین سوالاتی و حل متوالی آنها طراحی شده است.
در مجموع، آزمایشها تأیید میکنند که Least-to-Most Prompting بهطور قابل توجهی برتر است از هر دوی few-shot prompting ساده بدون استدلال و روش chain-of-thought در بسیاری از انواع مسائل نیازمند استنتاج چندمرحلهای[1]. این روش به LLM اجازه میدهد مسائلی پیچیدهتر از آنچه مدل ابتدا از طریق نمونهها با آن آشنا شده بود را حل کند، و مرزهای in-context learning (یادگیری در لحظه از طریق prompt) را گسترش میدهد.
محدودیتها و جهتگیریهای آینده
علیرغم موفقیتها، روش Least-to-Most Prompting دارای تعدادی محدودیت است. پیش از هر چیز، برای انواع مختلف مسائل، رویکردهای متفاوتی برای تجزیه مورد نیاز است. الگوی promptی که یک مسئله ریاضی را بهطور مؤثر تقسیم میکند، ممکن است کاملاً برای یک مسئله منطقی یا مسئله روزمره مبتنی بر شعور عمومی مناسب نباشد[2]. برای مثال، promptهایی که به مدل یاد دادند مسائل متنی ریاضی را به مراحل تقسیم کند، برای سوالی مثل «آیا ارسطو از لپتاپ استفاده میکرد؟» بیفایده بودند — برای چنین مسئلهای به یک استراتژی تقسیمبندی کاملاً متفاوتی نیاز است[2]. بنابراین، برای هر حوزه جدید یا نوع مسئله، باید نمونههای تجزیه مجدداً انتخاب شوند و یک prompt مناسب که ساختار راهحل را نشان میدهد، تشکیل گردد[3]. به عبارت دیگر، دانش نحوه تجزیه صحیح یک مسئله بهصورت عمومی توسط LLM تعمیم نمییابد و باید از طریق نمونههای خاص برای هر دسته مسئله تعریف شود.
علاوه بر این، اثربخشی LtM بهشدت به این بستگی دارد که مسئله تا چه اندازه به تجزیه به اهداف مستقل قابلیت داشته باشد. اگر مدل نتواند مراحل میانی را بهدرستی فرموله کند، یا اگر برخی زیرمسائل ضروری از قلم بیفتند، راهحل نهایی نیز اشتباه خواهد بود. با این حال، خود توسعهدهندگان اشاره میکنند که در بسیاری از موارد میتوان شکست را به موفقیت تبدیل کرد، اگر انسان تجزیه صحیح را بهصورت دستی ارائه دهد — در آن صورت مدل بدون دردسر هر بخش را حل میکند و پاسخها را با موفقیت ترکیب میکند[2]. این پتانسیل توسعه بیشتر رویکرد را برجسته میکند: بهبود کیفیت تولید خودکار زیرمسائل و احتمالاً آموزش تعاملی مدلها. در نتیجهگیری، نویسندگان LtM پیشنهاد میکنند که آینده روشهای prompting ممکن است به سمت یک گفتگوی دوطرفه واقعی با مدل باشد، جایی که مدل بازخورد فوری و تصحیح مراحل میانی خود را دریافت میکند[2]. روش Least-to-Most Prompting را میتوان گامی در این راستا دانست که نشان میدهد تعامل متوالی با مدل از طریق تجزیه و حل مرحلهبهمرحله مسائل، تواناییهای فکری آن را بدون آموزش روی دادههای جدید بهطور قابل توجهی گسترش میدهد[1].
پیوندها
- مقاله اصلی «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» در arXiv
- نسخه HTML مقاله اصلی
- Least-to-Most Prompting چیست؟ — مقاله AI Safety Info
- مرور روش در Medium
- مرور جامع روشهای prompt engineering در arXiv
منابع
- Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
- Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
- Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
- Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
- Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
- Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
یادداشتها
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [۱]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [۲]
- ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [۳]
- ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [۴]