Automatic Prompt Engineer (APE) (CS)

Automatic Prompt Engineer (APE) — je metodika automatizované generování a optimalizace textových instrukcí (promptů) pro řízení chování velkých jazykových modelů (LLM). Přístup byl navržen v roce 2022 skupinou výzkumníků pod vedením Yongchao Zhoua (Yongchao Zhou).

Namísto ručního výběru a iterativního zdokonalování pokynů APE formalizuje inženýrství promptů jako optimalizační úlohu. V rámci této úlohy je pokyn považován za „program" v přirozeném jazyce, který je třeba syntetizovat za účelem maximalizace určité funkce kvality (například přesnosti nebo věrohodnosti odpovědí modelu).

Základní koncepce a metoda

Metoda APE využívá dvě jazykové modely v tandemu: model-generátor a cílový model. Proces představuje iterativní cyklus vyhledávání a výběru (search-and-select):

1. Generování kandidátů. Model-generátor dostane na vstup několik příkladů párů „vstup-výstup" pro cílovou úlohu a na jejich základě vytvoří množinu možných promptů-kandidátů, které by mohly vést k takovým výsledkům.
2. Hodnocení. Každý vygenerovaný prompt-kandidát je předán cílovému LLM. Cílový model provede instrukci na nové sadě testovacích dat a jeho odpovědi jsou ohodnoceny podle předem definované metriky (například přesnost, úplnost, F1-míra).
3. Výběr. Vybere se prompt, který dosáhl nejlepšího výsledku po hodnocení.
4. Iterace (volitelně). Cyklus se může opakovat. Model-generátor dostane pokyn k dopracování nejlepšího nalezeného promptu, přičemž vytváří jeho varianty, načež se proces hodnocení a výběru opakuje za účelem dosažení maximální efektivity.

Tento přístup umožňuje automaticky reprodukovat proces ručního výběru promptů pomocí LLM ke generování hypotéz (promptů) a jejich následnému hodnocení.

Klíčové metodologie

Automatizace inženýrství promptů je realizována pomocí různých algoritmických přístupů.

Automatizace založená na LLM

Jde o klasickou metodu APE popsanou výše, kde jeden LLM slouží ke generování a hodnocení promptů pro jiný (nebo tentýž) LLM. Tento přístup se ukázal jako velmi efektivní pro diskrétní textové prompty.

Evoluční metody

Používají se genetické algoritmy nebo prohledávání paprskem (beam search) pro tvorbu a selekci promptů, zejména dlouhých a složitých. Například framework APEX (Automatic Engineering of Long Prompts) využívá evoluční algoritmy pro postupné „pěstování" a zdokonalování složitých instrukcí.

Gradientní metody (Soft Prompts)

Tento přístup pracuje s kontinuálními nebo měkkými prompty (soft prompts), které představují trénovatelné vektory (embeddingy), nikoliv textové instrukce. Tyto vektory jsou optimalizovány pomocí gradientního sestupu přímo na cílové úloze. Patří sem techniky jako Prompt Tuning a Prefix-Tuning.

Reinforcement Learning

V tomto paradigmatu vystupuje LLM v roli agenta, který generuje prompt (akci), zatímco prostředí vrací hodnocení kvality odpovědi (odměnu). Cílem je maximalizovat kumulativní odměnu nalezením optimální strategie generování promptů prostřednictvím metod Reinforcement Learning (RL).

Výsledky a zjištění

Experimenty v rámci původního výzkumu APE ukázaly, že automaticky vygenerované instrukce ve většině případů předčí kvalitatou prompty napsané člověkem.

• Při testování na 24 úlohách zpracování přirozeného jazyka (NLP) vygeneroval APE prompty, které byly efektivnější než lidské v 19 z 24 případů.
• APE dokázal automaticky „objevit" efektivnější formulaci pro prompting ve stylu Chain-of-Thought. Místo standardní fráze „Let's think step by step" (Pojďme uvažovat krok za krokem) APE vygeneroval rozsáhlejší a efektivnější instrukci: „Let's work this out in a step by step way to be sure we have the right answer" (Pojďme to rozebrat krok za krokem, abychom se ujistili, že dostaneme správnou odpověď). Tato formulace zvýšila přesnost řešení matematických úloh na datasetech jako MultiArith a GSM8K.

Využití a výhody

Využití

• Zlepšení few-shot learningu: Automatický výběr optimálních příkladů a instrukcí.
• Zvýšení věrohodnosti modelů: APE může být nastaven na vyhledávání promptů, které minimalizují „halucinace" a maximalizují pravdivost odpovědí na benchmarcích, jako je TruthfulQA.
• Automatizace vývoje: Urychlení tvorby chatbotů, systémů pro získávání informací a dalších LLM aplikací.

Výhody

• Škálovatelnost: Možnost automaticky generovat a hodnotit stovky a tisíce promptů bez účasti člověka.
• Adaptabilita: Snadné přizpůsobení LLM novým, úzce specializovaným doménám.
• Úspora zdrojů: Výrazné zkrácení času a úsilí vynakládaného na ruční výběr promptů.

Vývoj a související přístupy

Koncepce APE se nadále rozvíjí. Vznikly plně autonomní systémy, jako je APET (Automatic Prompt Engineering Toolbox), které umožňují LLM (například GPT-4) samostatně aplikovat složité strategie promptingu (Expert Prompting, Chain of Thought, Tree of Thoughts) a dynamicky zdokonalovat instrukce bez vnějšího zásahu.

APE je součástí širšího trendu automatizace interakce s LLM, který zahrnuje také:

• AutoPrompt: Dřívější metoda využívající gradientní vyhledávání k nalezení jednotlivých tokenů-„spouštěčů".
• OPRO (Optimization by PROmpting): Přístup podobný APE od DeepMind, také využívající LLM pro optimalizaci promptů.

Odkazy

• Oficiální stránka projektu Automatic Prompt Engineer (APE)
• Vědecký článek „Large Language Models Are Human-Level Prompt Engineers"
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatura

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.