Meta Prompting (BG)

Мета-промптинг (англ. meta-prompting) — това е усъвършенстван метод на prompt-инженеринг, при който големите езикови модели (LLM) се използват за създаване, коригиране и оптимизиране на собствени инструкции (промптове). За разлика от традиционните подходи, при които човек ръчно пише подробни инструкции, мета-промптингът се фокусира върху определянето на структурата на решаването на задачата и ролите, които моделът трябва да изпълнява. С други думи, той описва как да се реши задачата, а не какво точно да се прави във всеки конкретен случай.

Този подход позволява на LLM самостоятелно да декомпозира сложни проблеми, да уточнява заявките и итеративно да подобрява своите отговори, което открива пътя към създаването на по-автономни и адаптивни системи за изкуствен интелект.

Основни методи и подходи

Терминът „мета-промптинг" получи разпространение в научната литература в края на 2023 – началото на 2024 година, когато няколко изследователски групи представиха сходни подходи за управление на LLM.

Метод на „задаващия сценарий" (Scaffolding)

Един от ключовите подходи беше предложен от изследователи от Станфордския университет и OpenAI. В тази схема, наречена scaffolding, един и същ езиков модел (GPT-4 в експериментите) изпълнява няколко роли едновременно:

• Диригент (Conductor): Получава високоравнищна мета-подсказка и разбива сложната задача на редица по-прости подзадачи.
• Експерти (Experts): „Диригентът" инициализира няколко свои екземпляра-„експерти", всеки от които решава отделна подзадача по специално зададени инструкции.
• Интеграция: „Диригентът" координира работата на „експертите" и интегрира техните отговори в крайното решение.

Такъв оркестрационен подход позволи значително да се повиши ефективността на решаването на сложни задачи. Например, в експерименти мета-промптингът превъзхожда обикновените едноетапни заявки с 17,1% и други усъвършенствани методи с 15–17% върху набори от задачи, изискващи многокомпонентни разсъждения (например играта „24", шахматни пъзели). Важно е, че този метод е независим от задачата и работи в режим на нулев пример (zero-shot), без да изисква конкретни примери за всяка нова задача.

Теоретичен подход и структурни шаблони

Паралелно група изследователи от Университета Цинхуа предложи собствена концепция за мета-промптинг, премествайки фокуса от съдържателната част на задачата към нейния синтаксис и форма на представяне на данните. Опирайки се на категориален модел, те демонстрираха, че абстрактното описание на структурата на проблема позволява на модела да изгражда разсъждения, близки по дълбочина до човешките, и ефективно да декомпозира сложни въпроси на по-прости стъпки.

Свързани концепции

Идеите на мета-промптинга се проявяват и в други методи:

• Automatic Prompt Engineer (APE): Метод, при който LLM автоматично генерира и подбира ефективни инструкции за себе си, оценявайки ги по качеството на получаваните резултати.
• Self-Refine: Подход, при който моделът итеративно подобрява своя отговор, критично анализирайки предишната версия и генерирайки корекции въз основа на тази критика.

Приложение и предимства

Мета-промптингът показа висока ефективност при задачи, изискващи сложно многокомпонентно разсъждение, като математически доказателства, програмиране и стъпково решаване на пъзели. Ключови предимства на метода:

• Токен-ефективност: Съсредоточаването върху общата структура на задачата вместо изброяване на множество примери намалява обема на промпта. Мета-подсказката представлява универсален шаблон, изискващ по-малко токени.
• Стабилност и безпристрастност: Методът избягва зависимостта от конкретни примери, което прави модела по-малко податлив на изместване към особеностите на обучаващите извадки.
• Динамична адаптация: За разлика от статичния промпт, мета-промптингът допуска итеративно подобрение. Моделът може в хода на решението да уточнява инструкциите, да изисква липсваща информация и да коригира стратегията.
• Обобщение към нови задачи: Високоравнищните инструкции се пренасят по-лесно към нови, досега невиждани задачи, което прави мета-промптинга усъвършенствана форма на zero-shot подхода.

Ограничения и рискове

• Разходи и сложност на изчисленията: Методът изисква многократни обръщения към модела за една задача, което увеличава разходите за време и API-заявки. Текущите реализации работят последователно, което затруднява паралелизацията.
• Зависимост от възможностите на модела: Ефективността на мета-промптинга силно зависи от качеството на базовия LLM. Изследванията показват, че GPT-3.5 почти не се възползва от този метод, докато за GPT-4 и по-късните модели ползата нараства значително.
• Фундаментални ограничения на LLM: Мета-промптингът не е панацея. Ако задачата излиза извън границите на знанията на базовия модел, дори идеално формулираната мета-подсказка не гарантира правилен резултат. В такива случаи се изисква или допълнително обучение, или интеграция с външни инструменти (например търсене в интернет или интерпретатор на код).

Препратки

• Пример за мета-промптинг в OpenAI Cookbook
• Описание на метода в Prompt Engineering Guide

Литература

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.