Meta Prompting (FA)

متا پرامپتینگ (انگلیسی: meta-prompting) — روشی پیشرفته در prompt-engineering است که در آن مدل‌های زبانی بزرگ (LLM) برای ساخت، اصلاح و بهینه‌سازی دستورالعمل‌های (پرامپت‌های) خود به‌کار می‌روند. برخلاف رویکردهای سنتی که در آن‌ها انسان به‌صورت دستی دستورالعمل‌های مفصل می‌نویسد، متا پرامپتینگ بر تعریف ساختار حل مسئله و نقش‌هایی که مدل باید ایفا کند تمرکز دارد. به بیان دیگر، این روش توصیف می‌کند که چگونه مسئله را حل کنیم، نه چه کاری دقیقاً در هر مورد خاص انجام دهیم.

این رویکرد به LLM اجازه می‌دهد تا به‌طور مستقل مسائل پیچیده را تجزیه کند، درخواست‌ها را دقیق‌تر سازد و پاسخ‌های خود را به‌صورت تکرارشونده بهبود بخشد، که این امر راه را برای ساخت سیستم‌های هوش مصنوعی خودمختارتر و انطباق‌پذیرتر هموار می‌کند.

روش‌ها و رویکردهای اصلی

اصطلاح «متا پرامپتینگ» در اواخر ۲۰۲۳ تا اوایل ۲۰۲۴ در ادبیات علمی گسترش یافت، زمانی که چندین گروه پژوهشی رویکردهای مشابهی برای مدیریت LLM ارائه دادند.

روش «سناریوی داربست» (Scaffolding)

یکی از رویکردهای کلیدی توسط پژوهشگران دانشگاه استنفورد و OpenAI پیشنهاد شد. در این طرح که scaffolding نامیده می‌شود، همان مدل زبانی (GPT-4 در آزمایش‌ها) چندین نقش را به‌طور همزمان ایفا می‌کند:

• رهبر (Conductor): متا-پرامپت سطح بالا را دریافت می‌کند و مسئله پیچیده را به مجموعه‌ای از زیرمسائل ساده‌تر تقسیم می‌کند.
• متخصصان (Experts): «رهبر» چندین نمونه از خود را به‌عنوان «متخصص» راه‌اندازی می‌کند که هر کدام یک زیرمسئله را بر اساس دستورالعمل‌های تخصصی حل می‌کنند.
• یکپارچه‌سازی: «رهبر» کار «متخصصان» را هماهنگ کرده و پاسخ‌های آن‌ها را در یک راه‌حل نهایی ادغام می‌کند.

این رویکرد ارکسترال امکان افزایش چشمگیر کارایی در حل مسائل پیچیده را فراهم کرد. به‌عنوان مثال، در آزمایش‌ها متا پرامپتینگ با ۱۷٫۱٪ از درخواست‌های معمولی تک‌مرحله‌ای و با ۱۵ تا ۱۷ درصد از سایر روش‌های پیشرفته در مجموعه مسائلی که نیازمند استدلال چندبُعدی بودند (مثلاً بازی «۲۴»، جدول‌های شطرنج) پیشی گرفت. نکته مهم این است که این روش ماهیتی مستقل از مسئله دارد و در حالت نمونه‌صفر (zero-shot) کار می‌کند و برای هر مسئله جدید نیازی به مثال‌های خاص ندارد.

رویکرد نظری و الگوهای ساختاری

موازی با این، گروهی از پژوهشگران دانشگاه تسینگ‌هوا مفهوم خود از متا پرامپتینگ را ارائه دادند و تمرکز را از محتوای مسئله به نحو و شکل ارائه داده‌ها منتقل کردند. با تکیه بر مدل رده‌بندی، آن‌ها نشان دادند که توصیف انتزاعی ساختار مسئله به مدل اجازه می‌دهد تا استدلال‌هایی نزدیک به عمق تفکر انسانی بسازد و سؤالات پیچیده را به گام‌های ساده‌تر به‌طور مؤثر تجزیه کند.

مفاهیم مرتبط

ایده‌های متا پرامپتینگ در روش‌های دیگری نیز تجلی می‌یابند:

• Automatic Prompt Engineer (APE): روشی که در آن LLM به‌صورت خودکار دستورالعمل‌های مؤثر برای خود تولید و انتخاب می‌کند و آن‌ها را بر اساس کیفیت نتایج به‌دست‌آمده ارزیابی می‌کند.
• Self-Refine: رویکردی که در آن مدل پاسخ خود را به‌صورت تکرارشونده بهبود می‌بخشد، نسخه قبلی را به‌شکل انتقادی تحلیل می‌کند و بر اساس این نقد اصلاحاتی تولید می‌کند.

کاربرد و مزایا

متا پرامپتینگ کارایی بالایی در وظایفی که نیازمند استدلال پیچیده چندبُعدی هستند نشان داده است، مانند اثبات‌های ریاضی، برنامه‌نویسی و حل گام‌به‌گام جدول‌های منطقی. مزایای کلیدی این روش عبارتند از:

• کارایی توکنی: تمرکز بر ساختار کلی مسئله به‌جای فهرست کردن مثال‌های متعدد، حجم پرامپت را کاهش می‌دهد. متا-پرامپت یک قالب جهانی است که به توکن‌های کمتری نیاز دارد.
• پایداری و بی‌طرفی: این روش از وابستگی به مثال‌های خاص پرهیز می‌کند که باعث می‌شود مدل کمتر تحت تأثیر سوگیری به‌سمت جزئیات نمونه‌های آموزشی قرار گیرد.
• انطباق پویا: برخلاف پرامپت ایستا، متا پرامپتینگ امکان بهبود تکرارشونده را می‌دهد. مدل می‌تواند در حین حل مسئله دستورالعمل‌ها را دقیق‌تر کند، اطلاعات ناقص را درخواست کند و استراتژی را اصلاح نماید.
• تعمیم به مسائل جدید: دستورالعمل‌های سطح بالا راحت‌تر به مسائل جدید و پیش‌نادیده منتقل می‌شوند، که متا پرامپتینگ را به شکل پیشرفته‌تری از رویکرد zero-shot تبدیل می‌کند.

محدودیت‌ها و خطرات

• هزینه و پیچیدگی محاسباتی: این روش برای یک مسئله نیاز به فراخوانی‌های متعدد از مدل دارد که هزینه زمانی و درخواست‌های API را افزایش می‌دهد. پیاده‌سازی‌های کنونی به‌صورت ترتیبی کار می‌کنند که موازی‌سازی را دشوار می‌کند.
• وابستگی به توانایی‌های مدل: اثربخشی متا پرامپتینگ به شدت به کیفیت LLM پایه بستگی دارد. پژوهش‌ها نشان داده‌اند که GPT-3.5 تقریباً از این روش بهره‌ای نمی‌برد، در حالی که برای GPT-4 و مدل‌های جدیدتر سود آن به‌طور قابل‌توجهی افزایش می‌یابد.
• محدودیت‌های بنیادی LLM: متا پرامپتینگ داروی همه دردها نیست. اگر مسئله از محدوده دانش مدل پایه فراتر رود، حتی یک متا-پرامپت ایده‌آل هم نتیجه صحیح را تضمین نمی‌کند. در چنین مواردی یا نیاز به fine-tuning است یا یکپارچه‌سازی با ابزارهای خارجی (مثلاً جستجو در اینترنت یا مفسر کد).

پیوندها

• نمونه متا پرامپتینگ در OpenAI Cookbook
• توضیح روش در Prompt Engineering Guide

منابع

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.