Prompt-Engineering

Prompt-Engineering ist eine Disziplin, die sich mit der Entwicklung und Optimierung von Prompts (Anweisungen) befasst, um effektiv mit großen Sprachmodellen (LLM) zu interagieren. Die Qualität eines Prompts bestimmt direkt die Genauigkeit, Relevanz und Sicherheit der Modellantwort. Dieses Feld entwickelt sich rasant und geht von der manuellen Erstellung von Anweisungen zur Entwicklung komplexer Agentensysteme und dem Einsatz von Modellen mit integrierten Denkmechanismen über.

Grundprinzipien und Struktur eines Prompts

Obwohl es keinen einheitlichen Standard gibt, basieren effektive Prompts auf gemeinsamen Ansätzen, die von verschiedenen Forschern und Unternehmen vorgeschlagen werden (z. B. die 6 Strategien von OpenAI oder die praktischen Anleitungen von Anthropic).

• Ein effektiver Prompt enthält oft die folgenden Komponenten:
  • Rolle (Persona): Legt den Kontext und den Verhaltensstil des Modells fest („Du bist ein leitender wissenschaftlicher Mitarbeiter ...“).
  • Anweisungen (Instructions): Klare, schrittweise Anweisungen, was zu tun ist.
  • Kontext (Context): Notwendige Informationen zur Erfüllung der Aufgabe.
  • Beispiele (Examples): Demonstration des gewünschten Formats oder Stils (Few-Shot-Prompting).
  • Ausgabeformat (Output Format): Vorgabe der Antwortstruktur (z. B. JSON, Markdown).

Techniken zur Verbesserung des logischen Denkens (Reasoning)

Diese Techniken veranlassen das Modell, strukturierter zu „denken“.Wichtiger Hinweis (Emergenz): Die Wirksamkeit der `Chain‑of‑Thought`-Technik zeigt sich nur bei großen Modellen (≈100 Milliarden Parameter und mehr). Kleinere Modelle zeigen einen vernachlässigbaren Effekt oder sogar eine Verschlechterung der Ergebnisse.

• Chain-of-Thought (CoT): Die Anweisung an das Modell, vor der endgültigen Antwort eine schrittweise logische Herleitung zu generieren („Denke Schritt für Schritt“).
• Variationen und Alternativen zu CoT:
  • Self-Consistency: Generierung mehrerer Gedankengänge und Auswahl der häufigsten Antwort durch eine „Abstimmung“.
  • Tree-of-Thoughts (ToT): Untersuchung mehrerer Denkpfade in Form eines Baumes, mit Bewertung und Rückkehr zu vorherigen Schritten.
  • Graph-of-Thought (GoT): Eine fortgeschrittene Technik mit zwei Hauptimplementierungen: Eine modelliert die Denkprozesse als Graph für flexiblere logische Abläufe (Besta et al.), während die andere sich auf die Zusammenführung von Denkwegen konzentriert (Yao et al.).
• Eingebaute Denkmechanismen (Reasoning Models): Es wird über die Entwicklung einer neuen Generation von Modellen (wie o1 und o3 von OpenAI) berichtet, die von Grund auf mit internen Gedankengängen trainiert werden. Dies ermöglicht es ihnen, komplexere Aufgaben ohne explizites CoT-Prompting zu lösen.

Kontextverwaltung und Gedächtnis

Mit der Zunahme der Kontextfenster entstehen neue Herausforderungen und Lösungen.

• Kontextfenster (2024–2025):

Modell	Maximales Kontextfenster
Google Gemini 2.0 Pro	2 Mio. Token
Google Gemini 1.5 Pro	2 Mio. Token
Anthropic Claude 3.5 Sonnet	~200 Tsd. Token
OpenAI GPT-4o	~128 Tsd. Token

Ab März 2025 wird Google Gemini 2.5 Pro mit einem Kontextfenster von 1 Million Token vorgestellt, und die Version Pro-Experimental verspricht 2 Millionen Token im Mai 2025.

• Retrieval-Augmented Generation (RAG): Klassisches RAG ergänzt den Prompt um Informationen aus externen Datenbanken. Moderne Implementierungen umfassen:
  • GraphRAG: Nutzt Wissensgraphen, um semantisch stärker verknüpfte Daten zu extrahieren.
  • Multimodales RAG: Arbeitet nicht nur mit Text, sondern auch mit Bildern, Audio und Video.
  • Agentic RAG: Integriert RAG in Agenten-Zyklen, in denen der Agent autonom entscheidet, wann und welche Informationen er abrufen muss.
• Techniken für langen Kontext: Um mit großen Kontextfenstern effizient zu arbeiten, werden fortschrittliche, aber oft proprietäre Techniken wie Cascading KV Cache und Infinite Retrieval eingesetzt.

Fortgeschrittene Techniken: Agenten und Werkzeuge

• Werkzeugnutzung (Tool Usage):
  • Function Calling: Eine in Modellen (GPT-4, Claude 3.5) integrierte Fähigkeit, externe APIs aufzurufen.
  • Model Context Protocol (MCP): Laut einigen vorläufigen Berichten (Bestätigung erforderlich) wird ein neuer Standard zur Vereinheitlichung von Werkzeug-APIs entwickelt, der von Microsoft unterstützt wird.
• Agenten und Frameworks (2024–2025):
  • LangChain (v0.3): Mit der Veröffentlichung von LangChain v0.3 (September 2024) ist das Framework vollständig auf Pydantic 2 umgestiegen und hat die Unterstützung für Python 3.8 entsprechend dessen EOL-Datum im Oktober 2024 eingestellt.
  • AutoGen: Ist vollständig auf eine asynchrone, ereignisorientierte Architektur (Actor-Modell) umgestiegen.
  • CrewAI: Ein schnell an Popularität gewinnendes, hochleistungsfähiges Framework für die Orchestrierung von Multi-Agenten-Systemen.
• No-Code-Plattformen: Werkzeuge wie AutoGen Studio ermöglichen die Erstellung und Konfiguration komplexer Agenten ohne Programmierung.

Techniken zur Reduzierung von Halluzinationen

Halluzinationen (die Generierung faktisch falscher Informationen) bleiben ein zentrales Problem. Stand 2024 liegt ihre Rate bei führenden Modellen zwischen 3 % und 16 %, und der dadurch verursachte wirtschaftliche Schaden wird auf mehrere zehn Milliarden Dollar geschätzt.

• Klassische Methoden: RAG, Anforderung von Zitaten, Anpassung der Generierungsparameter (Temperatur, Top-p).
• Moderne Ansätze zum Alignment:
  • Constitutional AI (CAI): Eine von Anthropic vorgeschlagene Methode, bei der ein Modell darauf trainiert wird, einem Satz von Prinzipien (einer „Verfassung“) zu folgen, wobei KI-generiertes Feedback verwendet wird.
  • Direct Preference Optimization (DPO): Eine einfachere und effizientere Alternative zu RLHF. Studien zu DPO bei multimodalen VLMs (z. B. für radiologische Berichte) zeigen eine Reduzierung der Halluzinationen um das 3- bis 4,8-fache.

Prompt-Muster: Aktueller Stand

Viele Muster (Persona, Output Customization) bleiben relevant.

• Überdenkenswert:
  • Fact Check List Pattern: Gilt als unzuverlässig. Modelle sind schlecht darin, Fakten durch Prompting selbst zu überprüfen und erfordern die Integration mit externen Verifizierungssystemen.
• Neue Muster (2024–2025):
  • Meta-Prompting: Die Verwendung eines LLM zur Generierung und Optimierung von Prompts für ein anderes LLM.
  • Mixture-of-Experts (MoE) Prompts: Erstellung von Prompts, die dynamisch verschiedene „Experten“-Teile des Modells ansprechen.
  • Multimodale Muster: Prompt-Strukturen, die Text, Bilder und andere Datentypen für komplexe Anfragen kombinieren.

Weblinks

• Anthropic Prompt Engineering Guide
• OpenAI Prompt Engineering Guide
• Google's Prompting Guide
• PromptingGuide.ai
• Amazon Bedrock

Literatur

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Besta, M. et al. (2023). Graph of Thoughts: Solving Elaborate Problems with Large Language Models. arXiv:2308.09687.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.
• Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
• Wang, Y. et al. (2023). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [2].
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.