Generierung synthetischer Daten

Generierung synthetischer Daten mit LLMs ist eine Technologie zur künstlichen Erzeugung von Daten, die in ihren statistischen und strukturellen Eigenschaften reale Daten nachahmen, jedoch keine tatsächlichen personenbezogenen Informationen enthalten. Dieser Ansatz, der die Fähigkeiten von großen Sprachmodellen (LLMs) nutzt, hat sich zu einem zentralen Werkzeug im modernen maschinellen Lernen entwickelt, um Probleme wie Datenknappheit, Datenschutz und die hohen Kosten der manuellen Annotation zu lösen.

Definition und Hintergründe

Was sind synthetische Daten?

Synthetische Daten sind künstlich erzeugte Informationen, die die statistischen Eigenschaften und Muster eines ursprünglichen, realen Datensatzes nachbilden. Das US-amerikanische National Institute of Standards and Technology (NIST) definiert sie als Daten, die die statistischen Eigenschaften des Originals beibehalten, ohne individuelle Details preiszugeben. Im Gegensatz zur einfachen Anonymisierung werden bei der Datensynthese völlig neue Datensätze erstellt, was ein höheres Maß an Datenschutz gewährleistet.

Warum entstand der Bedarf?

Das wachsende Interesse an der synthetischen Generierung ist auf mehrere Faktoren zurückzuführen:

• Datenknappheit: In vielen Bereichen, insbesondere in hochspezialisierten Nischen, gibt es nicht genügend qualitativ hochwertige annotierte Daten, um robuste Modelle zu trainieren.
• Hohe Annotationskosten: Die manuelle Annotation von Daten ist ein zeitaufwändiger und kostspieliger Prozess.
• Datenschutzanforderungen: Rechtliche und ethische Vorschriften (z. B. die DSGVO) schränken die Verwendung realer Daten ein, die persönliche, medizinische oder finanzielle Informationen enthalten.
• Klassenungleichgewicht: In realen Datensätzen können einige wichtige, aber seltene Ereignisse (edge cases oder Randfälle) unterrepräsentiert sein, was das Modell daran hindert, sie zu erlernen.

LLMs, die auf riesigen Text- und Code-Korpora trainiert wurden, sind zu einem leistungsstarken Werkzeug zur Lösung dieser Probleme geworden, da sie in der Lage sind, kohärente und vielfältige Inhalte zu generieren, die die Stile und Verteilungen realer Daten nachahmen.

Hauptmethoden der Generierung mit LLMs

Es gibt mehrere zentrale Ansätze zur Erstellung synthetischer Daten mit LLMs.

1. Prompt-basierte Generierung

Dies ist eine direkte Methode, bei der das LLM Daten auf der Grundlage einer textuellen Anfrage (eines Prompts) generiert.

• Zero-Shot (ohne Beispiele): Das Modell generiert Beispiele nur auf der Grundlage einer Aufgabenbeschreibung, ohne dass Muster bereitgestellt werden. Dieser Ansatz fördert die Vielfalt, kann aber zu weniger relevanten Ergebnissen führen.
• Few-Shot (mit wenigen Beispielen): In den Prompt werden einige Beispiele (Muster) für die gewünschte Ausgabe aufgenommen. Dies lenkt das Modell und erhöht die Relevanz der generierten Daten, birgt jedoch das Risiko von Duplikaten und einem Verlust an Vielfalt, da das Modell dazu neigt, Vorlagen zu kopieren.

2. Generierung mit externer Informationsanreicherung (Retrieval-Augmented)

Diese Methode zielt darauf ab, die faktische Korrektheit synthetischer Daten zu erhöhen und das Risiko von Halluzinationen zu verringern. Das Modell verlässt sich nicht ausschließlich auf sein internes Wissen, sondern nutzt den bereitgestellten Kontext aus einer zuverlässigen externen Quelle. Um beispielsweise ein Frage-Antwort-Paar zu generieren, wird zunächst ein relevanter Absatz aus Wikipedia extrahiert, und anschließend wird das LLM gebeten, eine Frage und eine Antwort zu formulieren, die ausschließlich auf diesem Text basieren.

3. Iterative Verfeinerung und Selbstverbesserung (Self-Refinement)

Diese Klasse von Methoden nutzt eine Rückkopplungsschleife, um die Datenqualität zu verbessern. Das bekannteste Beispiel ist die Self-Instruct-Methode.

1. Das Modell generiert einen anfänglichen Datensatz.
2. Diese Daten werden verwendet, um das Modell selbst (oder eine Kopie davon) nachzutrainieren (Fine-Tuning).
3. Fehler und Schwachstellen des Modells auf den generierten Daten werden analysiert.
4. Das Modell wird aufgefordert, neue, komplexere Beispiele zu generieren, die denen ähneln, bei denen es Fehler gemacht hat.

Nach diesem Schema wurde der berühmte Datensatz Stanford Alpaca erstellt – 52.000 „Anweisung-Antwort“-Paare, generiert vom GPT-3-Modell. Diese ermöglichten es, das Open-Source-Modell LLaMA zu einem anweisungsfolgenden Assistenten weiterzuentwickeln.

4. Nachverarbeitung und Filterung

Nach der Datengenerierung wird immer eine Filterung angewendet, um minderwertige Beispiele zu entfernen. Die Methoden reichen von einfachen (Entfernen von Duplikaten, Formatprüfung) bis hin zu komplexen Ansätzen wie:

• Verwendung eines Kritiker-Modells: Es wird ein separater Klassifikator trainiert, der zwischen realen und synthetischen Daten unterscheidet und die am wenigsten realistischen Beispiele aussortiert.
• Filterung nach Konfidenz: Es werden nur die Beispiele beibehalten, für die das LLM mit hoher Konfidenz die richtige Antwort/das richtige Label vorhersagt.
• Gewichtung der Daten: Beispielen, die als fehlerhaft oder als Halluzinationen verdächtigt werden, wird in der Verlustfunktion während des Trainings ein geringeres Gewicht zugewiesen, um ihren negativen Einfluss zu reduzieren (Methode SunGen).

5. Lernen mit Ausführungs-Feedback (Execution Feedback)

Diese Methode ist besonders effektiv für die Generierung von Programmcode. Im Gegensatz zu Text in natürlicher Sprache hat Code ein formales Korrektheitskriterium – er kann ausgeführt werden. Der Zyklus sieht wie folgt aus:

1. Das LLM generiert Code zur Lösung einer Aufgabe.
2. Der Code wird automatisch ausgeführt und anhand von Tests überprüft.
3. Korrekte Lösungen werden in den Trainingsdatensatz aufgenommen. Falsche Lösungen werden verworfen, oder das Modell erhält ein Signal (Reward), um den Fehler zu korrigieren.

Anwendung synthetischer Daten

• Verbesserung von Aufgaben bei Datenknappheit: Synthetische Daten sind am effektivsten, wenn nur wenige reale, annotierte Daten verfügbar sind. Studien zeigen, dass das Hinzufügen von 100 synthetischen Beispielen zu 100 realen Beispielen die Genauigkeit eines Klassifikators um 3–26 % steigern kann.
• Erstellung von Anweisungsdatensätzen (Instruction Tuning): Projekte wie Alpaca und Code Alpaca haben gezeigt, dass mit LLMs große und hochwertige Datensätze für das Training von Assistenzmodellen praktisch von Grund auf erstellt werden können.
• Informationssuche und Frage-Antwort-Systeme (QA): Die InPars-Methode verwendet LLMs, um Suchanfragen für bestehende Dokumente zu generieren. Dies ermöglicht die automatische Erstellung von Paaren aus „Frage – relevantes Dokument“ für das Training von Suchmaschinen.
• Gewährleistung des Datenschutzes: In der Medizin und im Finanzwesen werden synthetische Daten verwendet, um Modelle ohne Zugriff auf reale personenbezogene Daten zu trainieren. Beispielsweise generierte das US-Ministerium für Veteranenangelegenheiten während der COVID-19-Pandemie synthetische medizinische Daten für den Informationsaustausch.

Vorteile und Risiken

Vorteile

• Kostensenkung und schnellere Entwicklung: Die Generierung von Daten durch ein Modell ist deutlich günstiger und schneller als die manuelle Annotation.
• Skalierbarkeit: Synthetische Daten können in praktisch unbegrenzten Mengen generiert werden.
• Kontrollierbarkeit: Entwickler können die Zusammensetzung, den Stil und die Komplexität der generierten Daten flexibel anpassen.
• Datenschutzkonformität: Synthetische Daten bieten eine anonymisierte Alternative für die Arbeit mit sensiblen Informationen.
• Modellrobustheit (Robustness): Das Training mit vielfältigen und sogar „kniffligen“ synthetischen Beispielen macht Modelle weniger anfällig für Überanpassung (Overfitting) und widerstandsfähiger gegenüber unerwarteten Eingabedaten.

Einschränkungen und Risiken

• Faktische Ungenauigkeiten (Halluzinationen): LLMs können falsche Fakten generieren, die, wenn sie in einen Trainingsdatensatz aufgenommen werden, in neuen Modellen verankert werden.
• Mangelnder Realismus: Synthetische Texte können zu schablonenhaft oder formell sein und nicht die gesamte Vielfalt der natürlichen Sprache widerspiegeln, was die Generalisierungsfähigkeit des Modells verringert.
• Verstärkung systemischer Verzerrungen (Bias): LLMs übernehmen soziale Stereotypen und Vorurteile aus ihren Trainingsdaten und können diese sogar verstärken.
• Risiko des „Modellkollaps“: Ein Phänomen, bei dem das wiederholte Training von Modellen mit Daten, die von früheren Modellversionen generiert wurden, zu einer allmählichen Verschlechterung der Qualität und zum „Vergessen“ seltener Ereignisse führt.
• Mögliche Datenschutzlecks: Ohne spezielle Maßnahmen (z. B. differentielle Privatsphäre) können LLMs versehentlich Fragmente realer Daten aus ihrem Trainingsdatensatz reproduzieren, was ein Risiko der Deanonymisierung birgt.

Ausblick und Forschungsrichtungen

• Automatisierung der Prompt-Optimierung: Entwicklung von Methoden, die automatisch optimale Prompts für die Generierung hochwertiger Daten finden.
• Multimodale synthetische Generierung: Erweiterung der Methoden auf die Generierung kombinierter Daten (Text + Bild, Audio, Video).
• Entwicklung von Qualitätsmetriken: Schaffung standardisierter Benchmarks zur Bewertung der Nützlichkeit, Vielfalt und des Realismus synthetischer Daten.
• Management von Verzerrungen (Bias): Entwicklung von Techniken zur Kontrolle und Reduzierung von Bias in den generierten Daten, beispielsweise durch die Erstellung kontrafaktischer Beispiele.
• Sichere industrielle Implementierung: Ausarbeitung rechtlicher und ethischer Standards für den Einsatz synthetischer Daten in kritischen Anwendungsbereichen.

Weblinks

• Übersichtsartikel: Synthetic Data Generation Using Large Language Models (2025)
• Google Research Blog über die Generierung von Daten mit differentieller Privatsphäre

Literatur

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.