Generování syntetických dat

Generování syntetických dat pomocí LLM je technologie umělého vytváření dat, která svými statistickými a strukturálními vlastnostmi napodobují reálná data, avšak neobsahují skutečné osobní informace. Tento přístup, využívající možnosti velkých jazykových modelů (LLM), se stal klíčovým nástrojem v moderním strojovém učení pro řešení problémů nedostatku dat, ochrany soukromí a vysokých nákladů na ruční anotaci.

Definice a předpoklady

Co jsou syntetická data?

Syntetická data jsou uměle vygenerované informace, které reprodukují statistické vlastnosti a zákonitosti původního, reálného souboru dat. Národní institut standardů a technologií USA (NIST) je definuje jako data zachovávající statistické vlastnosti originálu, avšak neodhalující individuální detaily. Na rozdíl od pouhé anonymizace vytváří syntéza dat zcela nové záznamy, čímž zajišťuje vyšší úroveň ochrany soukromí.

Proč vznikla tato potřeba?

Růst zájmu o syntetické generování je podmíněn řadou faktorů:

• Nedostatek dat: V mnoha oblastech, zejména ve vysoce specializovaných, je kvalitně anotovaných dat nedostatečné množství pro trénování robustních modelů.
• Vysoké náklady na anotaci: Ruční anotace dat je pracná a nákladná.
• Požadavky na ochranu soukromí: Právní a etické normy (např. GDPR) omezují využívání reálných dat obsahujících osobní, zdravotní nebo finanční informace.
• Nevyvážení tříd: V reálných datech mohou být některé důležité, avšak vzácné události (edge cases) zastoupeny nedostatečně, což brání modelu se je naučit.

LLM trénované na obrovských korpusech textu a kódu se staly mocným nástrojem pro řešení těchto problémů, protože jsou schopny generovat souvislý a různorodý obsah napodobující styly a rozložení reálných dat.

Základní metody generování pomocí LLM

Existuje několik klíčových přístupů k vytváření syntetických dat s využitím LLM.

1. Generování na základě výzev (Prompt-based)

Jde o přímou metodu, při níž LLM generuje data na základě textového dotazu (promptu).

• Zero-shot (od nuly): Model generuje příklady pouze na základě popisu úlohy, bez poskytnutí vzorků. Tento přístup podporuje různorodost, ale může vést k méně relevantním výsledkům.
• Few-shot (s několika příklady): Do promptu je zahrnuto několik příkladů (vzorků) požadovaného výstupu. To model navádí a zvyšuje relevanci generovaných dat, avšak nese riziko duplikace a ztráty různorodosti, protože model má tendenci kopírovat vzory.

2. Generování s doplněním externích informací (Retrieval-Augmented)

Tato metoda je navržena ke zvýšení faktické správnosti syntetických dat a snížení rizika halucinací. Model se nespoléhá výhradně na své vnitřní znalosti, ale využívá poskytnutý kontext z důvěryhodného externího zdroje. Například pro generování páru „otázka-odpověď" je nejprve získán relevantní odstavec z Wikipedie a poté je LLM požádán, aby formuloval otázku a odpověď striktně na základě tohoto textu.

3. Iterativní upřesňování a samoučení (Self-Refinement)

Tato třída metod využívá zpětnovazební smyčku ke zlepšení kvality dat. Nejznámějším příkladem je metoda Self-Instruct.

1. Model generuje počáteční soubor dat.
2. Tato data jsou použita k doladění samotného modelu (nebo jeho kopie).
3. Jsou analyzovány chyby a slabá místa modelu na vygenerovaných datech.
4. Model je požádán, aby vygeneroval nové, složitější příklady podobné těm, u nichž chyboval.

Právě podle tohoto schématu byl vytvořen slavný soubor dat Stanford Alpaca — 52 000 párů „instrukce-odpověď" vygenerovaných modelem GPT-3, které umožnily doladit otevřený model LLaMA na úroveň asistenta řídícího se instrukcemi.

4. Postprocessing a filtrování

Po vygenerování dat je vždy uplatňováno filtrování pro vyřazení nekvalitních příkladů. Metody se pohybují od jednoduchých (odstranění duplikátů, kontrola formátu) po složitější, jako například:

• Použití modelu-kritika: Je natrénován samostatný klasifikátor, který rozlišuje reálná data od syntetických a vyřazuje nejméně realistické vzorky.
• Filtrování podle míry jistoty: Jsou ponechány pouze ty příklady, pro něž LLM s vysokou mírou jistoty predikuje správnou odpověď/štítek.
• Vážení dat: Příkladům, u nichž je podezření na chyby nebo halucinace, je přiřazena menší váha ve ztrátové funkci při trénování, aby se snížil jejich negativní vliv (metoda SunGen).

5. Trénování se zpětnou vazbou z provádění (Execution Feedback)

Tato metoda je zvláště účinná pro generování programového kódu. Na rozdíl od textu v přirozeném jazyce má kód formální kritérium správnosti — lze jej spustit. Cyklus vypadá takto:

1. LLM generuje kód pro řešení úlohy.
2. Kód je automaticky spuštěn a ověřen na soulad s testy.
3. Správná řešení jsou zařazena do trénovací sady. Nesprávná jsou vyřazena, nebo model obdrží signál (reward) pro opravu chyby.

Využití syntetických dat

• Zlepšení úloh v podmínkách nedostatku dat: Syntetická data jsou nejúčinnější, když je reálných anotovaných dat málo. Výzkumy ukazují, že přidání 100 syntetických příkladů ke 100 reálným může zvýšit přesnost klasifikátoru o 3–26 %.
• Vytváření souborů instrukcí (Instruction Tuning): Projekty jako Alpaca a Code Alpaca prokázaly, že pomocí LLM lze vytvářet rozsáhlé a kvalitní soubory dat pro trénování modelů-asistentů prakticky od nuly.
• Vyhledávání informací a odpovídání na otázky (QA): Metoda InPars využívá LLM ke generování vyhledávacích dotazů k existujícím dokumentům. To umožňuje automaticky vytvářet páry „otázka — relevantní dokument" pro trénování vyhledávacích systémů.
• Ochrana soukromí: Ve zdravotnictví a financích jsou syntetická data využívána k trénování modelů bez přístupu k reálným osobním údajům. Například Ministerstvo pro záležitosti veteránů USA generovalo syntetická zdravotní data během pandemie COVID-19 pro sdílení informací.

Výhody a rizika

Výhody

• Snížení nákladů a urychlení vývoje: Generování dat modelem je výrazně levnější a rychlejší než ruční anotace.
• Škálovatelnost: Syntetická data lze generovat v prakticky neomezeném množství.
• Kontrolovatelnost: Vývojář může flexibilně nastavovat složení, styl a složitost generovaných dat.
• Dodržování ochrany soukromí: Poskytují anonymizovanou alternativu pro práci s citlivými daty.
• Robustnost modelů (Robustness): Trénování na různorodých a dokonce „záludných" syntetických příkladech činí modely méně náchylnými k přetrénování a odolnějšími vůči nestandardním vstupním datům.

Omezení a rizika

• Faktické nepřesnosti (halucinace): LLM mohou generovat nesprávné fakty, které, jsou-li zahrnuty do trénovací sady, se upevňují v nových modelech.
• Nedostatečná reálnost: Syntetické texty mohou být příliš šablonovité, formální nebo neodražet veškerou rozmanitost živého jazyka, což snižuje zobecňovací schopnost modelu.
• Zesilování systémových zkreslení (Bias): LLM dědí a mohou zesilovat společenské stereotypy a předsudky přítomné v jejich trénovacích datech.
• Riziko „kolapsu modelu": Jev, při němž opakované trénování modelů na datech vygenerovaných předchozími verzemi modelů vede k postupné degradaci kvality a „zapomínání" vzácných jevů.
• Možné úniky soukromých informací: Bez speciálních opatření (například diferenciálního soukromí) mohou LLM náhodně reprodukovat fragmenty reálných dat ze svého trénovacího souboru, což přináší riziko deanonymizace.

Perspektivy a směry výzkumu

• Automatizace výběru výzev: Rozvoj metod, které automaticky nacházejí optimální prompty pro generování kvalitních dat.
• Multimodální syntetické generování: Rozšíření metodologií na generování kombinovaných dat (text + obraz, audio, video).
• Rozvoj metrik kvality: Vytváření standardizovaných benchmarků pro hodnocení užitečnosti, různorodosti a reálnosti syntetických dat.
• Řízení zkreslení: Vývoj metod pro kontrolu a snižování zaujatosti v generovaných datech, například prostřednictvím generování kontrafaktuálních příkladů.
• Bezpečné zavádění v průmyslu: Vypracování právních a etických standardů pro využívání syntetických dat v kritických oblastech.

Odkazy

• Přehledový článek: Synthetic Data Generation Using Large Language Models (2025)
• Blog Google Research o generování dat s diferenciálním soukromím

Literatura

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.