Prompt (Eingabeaufforderung)

Prompt (vom Englischen prompt – „Aufforderung“ oder „Eingabeaufforderung“) ist im Kontext von großen Sprachmodellen (LLM) ein Eingabetext oder eine Anweisung, die ein Benutzer dem Modell zur Verfügung stellt, um die gewünschte Antwort zu generieren. Ein Prompt formuliert die Aufgabe für das Modell und enthält die erforderlichen Bedingungen, den Kontext und Beispiele. Die Effektivität des Modells hängt maßgeblich von der Qualität des erstellten Prompts ab.

Die Disziplin, die sich mit der Entwicklung und Optimierung von Texteingaben befasst, wird als Prompt-Engineering (prompt engineering) bezeichnet. Ihr Ziel ist es, von KI-Modellen möglichst relevante, genaue und sichere Antworten zu erhalten. Ein gut formulierter Prompt gibt dem Modell eine „Route“ zur Ausführung der Aufgabe vor und hilft dabei, den erforderlichen Kontext und das gewünschte Ergebnis zu präzisieren.

Entwicklungsgeschichte des Ansatzes

Die Idee, das Verhalten von LLMs mithilfe von Texteingaben zu steuern, entwickelte sich parallel zum Wachstum der Fähigkeiten der Modelle selbst.

Frühe Phasen (GPT-2)

Bereits 2019 zeigten Forscher von OpenAI, dass große, vorab trainierte Sprachmodelle wie GPT-2 in der Lage sind, neue Aufgaben ohne zusätzliches Training zu lösen, wenn diese in Textform formuliert werden. Die Arbeit „Language Models are Unsupervised Multitask Learners“ markierte einen grundlegenden Wandel: Anstatt das Modell für jede Aufgabe neu zu trainieren, genügte es, eine verständliche Anweisung als Eingabe zu formulieren.

Durchbruch mit GPT-3 und In-Context Learning

Der eigentliche Durchbruch gelang 2020 mit der Veröffentlichung des Modells GPT-3. Mit 175 Milliarden Parametern demonstrierte GPT-3 die Fähigkeit zum kontextbezogenen Lernen (in-context learning) – dem Erlernen einer neuen Aufgabe „on the fly“ anhand einiger weniger Beispiele, die direkt im Eingabetext bereitgestellt werden. Diese Vorgehensweise wurde als Few-Shot Learning („Lernen mit wenigen Beispielen“) bekannt und zeigte, dass die Skalierung der Modellgröße zu einer hohen Qualität bei der Lösung von NLP-Aufgaben führt, ohne dass eine Feinabstimmung der Gewichte erforderlich ist.

Aufkommen von Chain-of-Thought (CoT)

Die weitere Entwicklung im Jahr 2022 konzentrierte sich auf die Verbesserung der Fähigkeit von Modellen zu komplexem logischem Denken. Es wurden spezielle Prompts im Format der Chain-of-Thought (chain-of-thought prompting) vorgeschlagen. Bei solchen Prompts erhält das Modell nicht nur die Frage, sondern auch ein Beispiel für eine schrittweise, logische Argumentation vor der Antwort. Dies verbesserte die Genauigkeit bei arithmetischen und logischen Aufgaben erheblich. Eine Studie von Kojima et al. zeigte, dass das Modell auch ohne Beispiele (Zero-Shot) zum Nachdenken angeregt werden kann, indem man einfach den Satz „Lass uns Schritt für Schritt denken“ an das Ende des Prompts anhängt.

Multimodale Prompts

Das Konzept der Prompts ging bald über reinen Text hinaus. Mit dem Aufkommen von Modellen wie DALL-E 2 und Stable Diffusion im Jahr 2022 wurden Benutzereingaben in natürlicher Sprache zur universellen Schnittstelle für die Generierung von Bildern und später auch von Musik und Videos.

Arten und Techniken von Prompts

Es gibt verschiedene Grundtypen und Techniken von Prompts, die häufig kombiniert werden.

Zero-Shot-Prompting (Direkte Anfrage)

Das Modell erhält nur eine Anweisung oder eine Frage ohne jegliche Beispiele. In diesem Modus stützt sich das LLM auf sein allgemeines Wissen, das es während des Vortrainings erworben hat. Dieser Ansatz eignet sich für einfache Aufgaben wie Übersetzungen oder die Zusammenfassung von Texten.

Few-Shot-Prompting (Lernen anhand von Beispielen)

Zusätzlich zur Anweisung enthält der Prompt ein oder mehrere Beispiele mit Eingaben und erwarteten Ausgaben. Das Modell „lernt on the fly“ von diesen Beispielen und wendet die erlernte Logik auf die neue Anfrage an. Diese Methode, die das In-Context Learning umsetzt, erhöht die Genauigkeit bei Aufgaben erheblich, bei denen ein bestimmtes Format oder ein bestimmter Stil der Antwort wichtig ist.

Chain-of-Thought (CoT)

Dies ist eine spezielle Art von Prompt für Aufgaben, die komplexe logische Schlussfolgerungen erfordern (z. B. Mathematik, Logik). Der Prompt enthält eine schrittweise Analyse oder einen Lösungsplan vor der endgültigen Antwort. Dies zwingt das Modell, seinen Denkprozess explizit zu strukturieren, was die Qualität des Ergebnisses erheblich verbessert.

Prompt-Tuning

Eine Technik, bei der anstelle eines manuell verfassten Prompts ein automatisch optimierter Prompt verwendet wird. Der Prompt wird als eine Reihe spezieller trainierbarer Token (ein kontinuierlicher Vektor) dargestellt, der der Benutzeranfrage hinzugefügt wird. Durch das Training nur dieses kleinen Vektor-Prompts kann ein großes, „eingefrorenes“ Modell mit minimalem Rechenaufwand an eine neue Aufgabe angepasst werden.

Prompt-Engineering als Disziplin

Entstehung des Berufs

Das wachsende Potenzial von LLMs führte zur Entstehung eines neuen Spezialgebiets: des Prompt-Engineers. Diese Spezialisten entwickeln und optimieren Texteingaben, um von der KI das gewünschte Verhalten zu erhalten. Prompt-Engineers nutzen Kenntnisse aus Linguistik, Logik und Psychologie, um die Eingabedaten so effektiv wie möglich zu strukturieren. In den Jahren 2022–2023 erschienen die ersten Stellenausschreibungen für diese Position, was die hohe Nachfrage nach Fähigkeiten zur effektiven Interaktion mit KI-Systemen widerspiegelt.

Zukunft des Berufs und Automatisierung

Das Feld entwickelt sich rasant, und seine Zukunft ist Gegenstand von Diskussionen. Forschungen aus dem Jahr 2024, beispielsweise von VMware, haben gezeigt, dass die KI selbst durch Ausprobieren und Optimieren effektive Formulierungen für Prompts finden kann, die oft die von Menschen erstellten übertreffen. Dies führte zu der Annahme, dass manuelles Prompt-Engineering ein vorübergehendes Phänomen sein könnte und Werkzeuge zur automatischen Prompt-Optimierung mit der Zeit zum Standard werden. Dennoch bleibt die Expertise im Bereich des Prompt-Engineerings (Stand 2025) weiterhin gefragt.

Anwendungsbereiche

• Verarbeitung natürlicher Sprache (NLP): Klassische NLP-Aufgaben wie automatische Zusammenfassung von Dokumenten, maschinelle Übersetzung, Beantwortung von Fragen und Informationsextraktion.
• Chatbots und virtuelle Assistenten: Prompts helfen dabei, die Rolle, den Kommunikationsstil und das Antwortformat festzulegen, wodurch dialogorientierte Systeme konsistenter und nützlicher werden.
• Codegenerierung: Modelle wie der OpenAI Codex können Programmcode auf der Grundlage von Beschreibungen in natürlicher Sprache schreiben, was die Entwicklung beschleunigt.
• Datenanalyse: Mithilfe von Prompts kann ein Modell so konfiguriert werden, dass es Erkenntnisse aus unstrukturierten Textberichten extrahiert oder Hypothesen generiert.
• Bildung: Erstellung intelligenter Tutorensysteme, die Aufgaben generieren, komplexe Konzepte erklären und Antworten unter Berücksichtigung des Kenntnisstandes des Lernenden überprüfen.
• Kreativwirtschaft: Generierung von Texten, künstlerischen Bildern, Musik und Drehbüchern auf der Grundlage detaillierter Beschreibungen.

Missbräuchliche Nutzung und Schwachstellen (Prompt Injection)

Die offene Schnittstelle von LLMs hat zur Entstehung einer neuen Angriffsklasse geführt: der Prompt Injection. Dabei formuliert ein Angreifer eine spezielle, bösartige Anfrage, die das Modell dazu veranlasst, seine ursprünglichen Anweisungen zu missachten oder vertrauliche Informationen preiszugeben. Experten betrachten dies als eine Variante einer Code-Injection-Attacke, bei der jedoch anstelle von Code hinterlistige Textanweisungen in das System „injiziert“ werden.

Angriffsarten

• Jailbreak: Ein Angriff, der es dem Modell ermöglicht, die ihm auferlegten Einschränkungen (z. B. Moderationsrichtlinien) zu umgehen und verbotene Inhalte zu generieren. Ein bekanntes Beispiel ist der DAN-Prompt (Do Anything Now), der ChatGPT dazu brachte, ohne Zensur zu antworten.
• Prompt Leaking: Eine spezielle Anfrage zwingt das Modell, Teile seines versteckten System-Prompts preiszugeben.
• Token Smuggling: Eine bösartige Anweisung wird als harmloser Teil der Anfrage getarnt (z. B. als Codefragment), um Filter zu umgehen und ein unerwünschtes Verhalten auszulösen.

Diese Angriffe stellen ein ernsthaftes Problem dar, da herkömmliche Cybersicherheitsmethoden schlecht auf Bedrohungen vorbereitet sind, die mit der Interpretation natürlicher Sprache zusammenhängen.

Literatur

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.