Automatic Prompt Engineer (APE) (DE)

Automatic Prompt Engineer (APE) ist eine Methode zur automatisierten Erstellung und Optimierung von Textanweisungen (Prompts) zur Steuerung des Verhaltens von großen Sprachmodellen (LLMs). Der Ansatz wurde 2022 von einer Forschungsgruppe unter der Leitung von Yongchao Zhou vorgeschlagen.

Anstatt Prompts manuell zu erstellen und iterativ zu verbessern, formalisiert APE das Prompt-Engineering als ein Optimierungsproblem. Im Rahmen dieser Aufgabe wird ein Prompt als ein „Programm“ in natürlicher Sprache betrachtet, das synthetisiert werden muss, um eine bestimmte Gütefunktion (z. B. die Genauigkeit oder Faktentreue der Modellantworten) zu maximieren.

Grundkonzept und Methode

Die APE-Methode verwendet zwei Sprachmodelle im Verbund: ein Generatormodell und ein Zielmodell. Der Prozess ist ein iterativer Such- und Auswahlzyklus (search-and-select):

1. Generierung von Kandidaten. Das Generatormodell erhält einige Beispiele von „Input-Output“-Paaren für die Zielaufgabe und erstellt auf dieser Grundlage eine Reihe möglicher Prompt-Kandidaten, die zu solchen Ergebnissen führen könnten.
2. Bewertung. Jeder generierte Prompt-Kandidat wird an das Ziel-LLM übergeben. Das Zielmodell führt die Anweisung auf einem neuen Satz von Testdaten aus, und seine Antworten werden anhand einer vordefinierten Metrik (z. B. Genauigkeit, Vollständigkeit, F1-Score) bewertet.
3. Auswahl. Der Prompt, der bei der Bewertung das beste Ergebnis erzielt hat, wird ausgewählt.
4. Iteration (optional). Der Zyklus kann wiederholt werden. Das Generatormodell erhält die Anweisung, den besten gefundenen Prompt weiter zu verfeinern, indem es Variationen davon erstellt. Anschließend werden der Bewertungs- und Auswahlprozess wiederholt, um die maximale Effektivität zu erreichen.

Dieser Ansatz ermöglicht es, den Prozess der manuellen Prompterstellung automatisch nachzubilden, indem LLMs zur Generierung von Hypothesen (Prompts) und deren anschließender Bewertung eingesetzt werden.

Schlüsselmethodologien

Die Automatisierung des Prompt-Engineerings wird mithilfe verschiedener algorithmischer Ansätze realisiert.

LLM-basierte Automatisierung

Dies ist die klassische, oben beschriebene APE-Methode, bei der ein LLM zur Generierung und Bewertung von Prompts für ein anderes (oder dasselbe) LLM verwendet wird. Dieser Ansatz hat sich als sehr effektiv für diskrete textbasierte Prompts erwiesen.

Evolutionäre Methoden

Es werden genetische Algorithmen oder Beam Search eingesetzt, um Prompts, insbesondere lange und komplexe, zu erstellen und auszuwählen. Zum Beispiel verwendet das Framework APEX (Automatic Engineering of Long Prompts) evolutionäre Algorithmen, um komplexe Anweisungen schrittweise zu „züchten“ und zu verbessern.

Gradientenbasierte Methoden (Soft Prompts)

Dieser Ansatz arbeitet mit kontinuierlichen oder weichen Prompts (soft prompts), die trainierbare Vektoren (Embeddings) anstelle von Textanweisungen darstellen. Diese Vektoren werden mithilfe des Gradientenabstiegs direkt für die Zielaufgabe optimiert. Hierzu gehören Techniken wie Prompt Tuning und Prefix-Tuning.

Reinforcement Learning

In diesem Paradigma fungiert das LLM als Agent, der einen Prompt generiert (Aktion), während die Umgebung eine Bewertung der Antwortqualität (Belohnung) zurückgibt. Das Ziel ist es, die kumulative Belohnung zu maximieren, indem eine optimale Strategie zur Generierung von Prompts durch Methoden des Reinforcement Learning (RL) gefunden wird.

Ergebnisse und Erkenntnisse

Experimente im Rahmen der ursprünglichen APE-Studie zeigten, dass automatisch generierte Anweisungen in den meisten Fällen eine höhere Qualität aufwiesen als von Menschen geschriebene Prompts.

• Bei Tests zu 24 Aufgaben der Verarbeitung natürlicher Sprache (NLP) generierte APE Prompts, die sich in 19 von 24 Fällen als effektiver erwiesen als die von Menschen erstellten.
• APE konnte automatisch eine effektivere Formulierung für das Prompting im Stil von Chain-of-Thought „entdecken“. Anstelle der Standardphrase „Let's think step by step“ (Lasst uns Schritt für Schritt nachdenken) generierte APE eine ausführlichere und effektivere Anweisung: „Let's work this out in a step by step way to be sure we have the right answer“ (Lasst uns dies Schritt für Schritt durcharbeiten, um sicherzustellen, dass wir die richtige Antwort haben). Diese Formulierung erhöhte die Genauigkeit bei der Lösung mathematischer Aufgaben auf Datensätzen wie MultiArith und GSM8K.

Anwendung und Vorteile

Anwendungen

• Verbesserung des Few-Shot-Learnings: Automatische Auswahl optimaler Beispiele und Anweisungen.
• Erhöhung der Faktentreue von Modellen: APE kann so konfiguriert werden, dass es Prompts findet, die „Halluzinationen“ minimieren und die Wahrhaftigkeit der Antworten auf Benchmarks wie TruthfulQA maximieren.
• Automatisierung der Entwicklung: Beschleunigung der Erstellung von Chatbots, Informations-Extraktionssystemen und anderen LLM-Anwendungen.

Vorteile

• Skalierbarkeit: Die Fähigkeit, Hunderte und Tausende von Prompts ohne menschliches Zutun automatisch zu generieren und zu bewerten.
• Anpassungsfähigkeit: Einfache Anpassung von LLMs an neue, hochspezialisierte Domänen.
• Ressourceneinsparung: Erhebliche Reduzierung des Zeit- und Arbeitsaufwands für die manuelle Prompterstellung.

Weiterentwicklung und verwandte Ansätze

Das Konzept von APE wird kontinuierlich weiterentwickelt. Es sind vollständig autonome Systeme wie APET (Automatic Prompt Engineering Toolbox) entstanden, die es LLMs (z. B. GPT-4) ermöglichen, komplexe Prompting-Strategien (Expert Prompting, Chain of Thought, Tree of Thoughts) selbstständig anzuwenden und Anweisungen dynamisch ohne externe Eingriffe zu verbessern.

APE ist Teil eines breiteren Trends zur Automatisierung der Interaktion mit LLMs, der auch Folgendes umfasst:

• AutoPrompt: Eine frühe Methode, die eine gradientenbasierte Suche verwendete, um einzelne „Trigger“-Token zu finden.
• OPRO (Optimization by PROmpting): Ein APE-ähnlicher Ansatz von DeepMind, der ebenfalls LLMs zur Optimierung von Prompts einsetzt.

Weblinks

• Offizielle Website des Projekts Automatic Prompt Engineer (APE)
• Wissenschaftlicher Artikel „Large Language Models Are Human-Level Prompt Engineers“
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatur

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.