Automatic Prompt Engineer (APE) (NL)

Automatic Prompt Engineer (APE) — een methode voor de geautomatiseerde generatie en optimalisatie van tekstuele instructies (prompts) voor het sturen van het gedrag van grote taalmodellen (LLM). De aanpak werd in 2022 voorgesteld door een groep onderzoekers onder leiding van Yongchao Zhou.

In plaats van het handmatig selecteren en iteratief verbeteren van prompts, formaliseert APE prompt engineering als een optimalisatietaak. Binnen deze taak wordt een prompt beschouwd als een "programma" in natuurlijke taal dat gesynthetiseerd moet worden om een bepaalde kwaliteitsfunctie te maximaliseren (zoals de nauwkeurigheid of betrouwbaarheid van modelantwoorden).

Basisconcepten en methode

De APE-methode maakt gebruik van twee taalmodellen in combinatie: een generatormodel en een doelmodel. Het proces bestaat uit een iteratieve zoek-en-selectiecyclus (search-and-select):

1. Generatie van kandidaten. Het generatormodel ontvangt als invoer enkele voorbeelden van invoer-uitvoerparen voor de doeltaak en genereert op basis daarvan een reeks mogelijke kandidaatprompts die tot dergelijke resultaten zouden kunnen leiden.
2. Evaluatie. Elke gegenereerde kandidaatprompt wordt doorgegeven aan de doel-LLM. Het doelmodel voert de instructie uit op een nieuwe testdataset en de antwoorden worden beoordeeld aan de hand van een vooraf bepaalde metriek (zoals precisie, recall of F1-score).
3. Selectie. De prompt die het beste resultaat heeft behaald na de evaluatie wordt geselecteerd.
4. Iteratie (optioneel). De cyclus kan worden herhaald. Het generatormodel krijgt de opdracht de beste gevonden prompt te verfijnen door variaties te maken, waarna het evaluatie- en selectieproces opnieuw wordt uitgevoerd om de maximale efficiëntie te bereiken.

Deze aanpak maakt het mogelijk om het handmatige prompt-selectieproces automatisch te reproduceren, waarbij LLM's worden gebruikt voor het genereren van hypothesen (prompts) en de daaropvolgende evaluatie ervan.

Belangrijkste methodologieën

De automatisering van prompt engineering wordt gerealiseerd met behulp van verschillende algoritmische benaderingen.

Automatisering op basis van LLM

Dit is de klassieke APE-methode zoals hierboven beschreven, waarbij één LLM wordt gebruikt om prompts te genereren en te evalueren voor een andere (of dezelfde) LLM. Deze aanpak bleek zeer effectief voor discrete tekstprompts.

Evolutionaire methoden

Genetische algoritmen of beam search worden gebruikt voor het creëren en selecteren van prompts, met name lange en complexe. Zo past het framework APEX (Automatic Engineering of Long Prompts) evolutionaire algoritmen toe om complexe instructies geleidelijk te "kweken" en te verbeteren.

Gradiëntmethoden (Soft Prompts)

Deze aanpak werkt met continue of zachte prompts (soft prompts), die bestaan uit trainbare vectoren (embeddings) in plaats van tekstuele instructies. Deze vectoren worden geoptimaliseerd via gradiëntafdaling, rechtstreeks op de doeltaak. Hieronder vallen technieken zoals Prompt Tuning en Prefix-Tuning.

Reinforcement Learning

In dit paradigma treedt de LLM op als een agent die een prompt genereert (actie), terwijl de omgeving een kwaliteitsbeoordeling van het antwoord teruggeeft (beloning). Het doel is het maximaliseren van de cumulatieve beloning door een optimale strategie voor promptgeneratie te vinden via methoden van Reinforcement Learning (RL).

Resultaten en bevindingen

Experimenten in het kader van het oorspronkelijke APE-onderzoek toonden aan dat automatisch gegenereerde instructies in de meeste gevallen kwalitatief beter zijn dan door mensen geschreven prompts.

• Tijdens tests op 24 NLP-taken genereerde APE prompts die in 19 van de 24 gevallen effectiever waren dan menselijke prompts.
• APE was in staat om automatisch een effectievere formulering te "ontdekken" voor prompting in Chain-of-Thought-stijl. In plaats van de standaardzin "Let's think step by step" genereerde APE een uitgebreidere en effectievere instructie: "Let's work this out in a step by step way to be sure we have the right answer". Deze formulering verhoogde de nauwkeurigheid bij het oplossen van wiskundige problemen op datasets zoals MultiArith en GSM8K.

Toepassingen en voordelen

Toepassingen

• Verbetering van few-shot learning: Automatische selectie van optimale voorbeelden en instructies.
• Verhogen van de betrouwbaarheid van modellen: APE kan worden ingesteld om prompts te zoeken die "hallucinaties" minimaliseren en de waarheidsgetrouwheid van antwoorden maximaliseren op benchmarks zoals TruthfulQA.
• Automatisering van ontwikkeling: Versnelling van de ontwikkeling van chatbots, informatiewinningssystemen en andere LLM-toepassingen.

Voordelen

• Schaalbaarheid: De mogelijkheid om automatisch honderden en duizenden prompts te genereren en te evalueren zonder menselijke tussenkomst.
• Aanpasbaarheid: Eenvoudige afstemming van LLM's op nieuwe, sterk gespecialiseerde domeinen.
• Besparing van middelen: Aanzienlijke vermindering van de tijd en inspanning die besteed wordt aan het handmatig selecteren van prompts.

Ontwikkeling en verwante benaderingen

Het APE-concept blijft zich ontwikkelen. Er zijn volledig autonome systemen ontstaan, zoals APET (Automatic Prompt Engineering Toolbox), die LLM's (zoals GPT-4) in staat stellen zelfstandig complexe promptingstrategieën toe te passen (Expert Prompting, Chain of Thought, Tree of Thoughts) en instructies dynamisch te verbeteren zonder externe tussenkomst.

APE maakt deel uit van een bredere trend naar de automatisering van de interactie met LLM's, die ook het volgende omvat:

• AutoPrompt: Een vroege methode die gradiëntzoeken gebruikte om afzonderlijke "trigger"-tokens te vinden.
• OPRO (Optimization by PROmpting): Een aanpak vergelijkbaar met APE van DeepMind, die eveneens LLM's gebruikt voor de optimalisatie van prompts.

Verwijzingen

• Officiële website van het Automatic Prompt Engineer (APE)-project
• Wetenschappelijk artikel "Large Language Models Are Human-Level Prompt Engineers"
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatuur

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.