--- title: "Generování syntetických dat" source: "https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat" wiki: "systems-analysis.info/int" article: "Generování_syntetických_dat" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:Machine learning" revision_id: 2631 wiki_created_at: 2026-09-06T23:07:11Z wiki_modified_at: 2026-09-06T23:07:11Z downloaded_at: 2026-09-07T22:52:32Z --- # Generování syntetických dat **Generování syntetických dat pomocí LLM** je technologie umělého vytváření dat, která svými statistickými a strukturálními vlastnostmi napodobují reálná data, avšak neobsahují skutečné osobní informace. Tento přístup, využívající možnosti velkých jazykových modelů (LLM), se stal klíčovým nástrojem v moderním strojovém učení pro řešení problémů nedostatku dat, ochrany soukromí a vysokých nákladů na ruční anotaci[\[1\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-advances_llm_gen-1). ## Definice a předpoklady ### Co jsou syntetická data? **Syntetická data** jsou uměle vygenerované informace, které reprodukují statistické vlastnosti a zákonitosti původního, reálného souboru dat. Národní institut standardů a technologií USA (NIST) je definuje jako data zachovávající statistické vlastnosti originálu, avšak neodhalující individuální detaily[\[2\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-fedscoop_nist-2). Na rozdíl od pouhé anonymizace vytváří syntéza dat zcela nové záznamy, čímž zajišťuje vyšší úroveň ochrany soukromí. ### Proč vznikla tato potřeba? Růst zájmu o syntetické generování je podmíněn řadou faktorů: - **Nedostatek dat**: V mnoha oblastech, zejména ve vysoce specializovaných, je kvalitně anotovaných dat nedostatečné množství pro trénování robustních modelů. - **Vysoké náklady na anotaci**: Ruční anotace dat je pracná a nákladná. - **Požadavky na ochranu soukromí**: Právní a etické normy (např. GDPR) omezují využívání reálných dat obsahujících osobní, zdravotní nebo finanční informace. - **Nevyvážení tříd**: V reálných datech mohou být některé důležité, avšak vzácné události (*edge cases*) zastoupeny nedostatečně, což brání modelu se je naučit. LLM trénované na obrovských korpusech textu a kódu se staly mocným nástrojem pro řešení těchto problémů, protože jsou schopny generovat souvislý a různorodý obsah napodobující styly a rozložení reálných dat. ## Základní metody generování pomocí LLM Existuje několik klíčových přístupů k vytváření syntetických dat s využitím LLM. ### 1. Generování na základě výzev (Prompt-based) Jde o přímou metodu, při níž LLM generuje data na základě textového dotazu (promptu). - **Zero-shot (od nuly)**: Model generuje příklady pouze na základě popisu úlohy, bez poskytnutí vzorků. Tento přístup podporuje různorodost, ale může vést k méně relevantním výsledkům. - **Few-shot (s několika příklady)**: Do promptu je zahrnuto několik příkladů (vzorků) požadovaného výstupu. To model navádí a zvyšuje relevanci generovaných dat, avšak nese riziko duplikace a ztráty různorodosti, protože model má tendenci kopírovat vzory[\[1\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-advances_llm_gen-1). ### 2. Generování s doplněním externích informací (Retrieval-Augmented) Tato metoda je navržena ke zvýšení faktické správnosti syntetických dat a snížení rizika halucinací. Model se nespoléhá výhradně na své vnitřní znalosti, ale využívá poskytnutý kontext z důvěryhodného externího zdroje. Například pro generování páru „otázka-odpověď" je nejprve získán relevantní odstavec z Wikipedie a poté je LLM požádán, aby formuloval otázku a odpověď striktně na základě tohoto textu. ### 3. Iterativní upřesňování a samoučení (Self-Refinement) Tato třída metod využívá zpětnovazební smyčku ke zlepšení kvality dat. Nejznámějším příkladem je metoda **Self-Instruct**[\[1\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-advances_llm_gen-1). 1. Model generuje počáteční soubor dat. 2. Tato data jsou použita k doladění samotného modelu (nebo jeho kopie). 3. Jsou analyzovány chyby a slabá místa modelu na vygenerovaných datech. 4. Model je požádán, aby vygeneroval nové, složitější příklady podobné těm, u nichž chyboval. Právě podle tohoto schématu byl vytvořen slavný soubor dat **Stanford Alpaca** — 52 000 párů „instrukce-odpověď" vygenerovaných modelem GPT-3, které umožnily doladit otevřený model LLaMA na úroveň asistenta řídícího se instrukcemi. ### 4. Postprocessing a filtrování Po vygenerování dat je vždy uplatňováno filtrování pro vyřazení nekvalitních příkladů. Metody se pohybují od jednoduchých (odstranění duplikátů, kontrola formátu) po složitější, jako například: - **Použití modelu-kritika**: Je natrénován samostatný klasifikátor, který rozlišuje reálná data od syntetických a vyřazuje nejméně realistické vzorky. - **Filtrování podle míry jistoty**: Jsou ponechány pouze ty příklady, pro něž LLM s vysokou mírou jistoty predikuje správnou odpověď/štítek. - **Vážení dat**: Příkladům, u nichž je podezření na chyby nebo halucinace, je přiřazena menší váha ve ztrátové funkci při trénování, aby se snížil jejich negativní vliv (metoda *SunGen*). ### 5. Trénování se zpětnou vazbou z provádění (Execution Feedback) Tato metoda je zvláště účinná pro generování **programového kódu**. Na rozdíl od textu v přirozeném jazyce má kód formální kritérium správnosti — lze jej spustit. Cyklus vypadá takto: 1. LLM generuje kód pro řešení úlohy. 2. Kód je automaticky spuštěn a ověřen na soulad s testy. 3. Správná řešení jsou zařazena do trénovací sady. Nesprávná jsou vyřazena, nebo model obdrží signál (reward) pro opravu chyby. ## Využití syntetických dat - **Zlepšení úloh v podmínkách nedostatku dat**: Syntetická data jsou nejúčinnější, když je reálných anotovaných dat málo. Výzkumy ukazují, že přidání 100 syntetických příkladů ke 100 reálným může zvýšit přesnost klasifikátoru o 3–26 %[\[3\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-acl_limitations-3). - **Vytváření souborů instrukcí (Instruction Tuning)**: Projekty jako **Alpaca** a **Code Alpaca** prokázaly, že pomocí LLM lze vytvářet rozsáhlé a kvalitní soubory dat pro trénování modelů-asistentů prakticky od nuly. - **Vyhledávání informací a odpovídání na otázky (QA)**: Metoda *InPars* využívá LLM ke generování vyhledávacích dotazů k existujícím dokumentům. To umožňuje automaticky vytvářet páry „otázka — relevantní dokument" pro trénování vyhledávacích systémů. - **Ochrana soukromí**: Ve zdravotnictví a financích jsou syntetická data využívána k trénování modelů bez přístupu k reálným osobním údajům. Například Ministerstvo pro záležitosti veteránů USA generovalo syntetická zdravotní data během pandemie COVID-19 pro sdílení informací[\[2\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-fedscoop_nist-2). ## Výhody a rizika ### Výhody - **Snížení nákladů a urychlení vývoje**: Generování dat modelem je výrazně levnější a rychlejší než ruční anotace. - **Škálovatelnost**: Syntetická data lze generovat v prakticky neomezeném množství. - **Kontrolovatelnost**: Vývojář může flexibilně nastavovat složení, styl a složitost generovaných dat. - **Dodržování ochrany soukromí**: Poskytují anonymizovanou alternativu pro práci s citlivými daty. - **Robustnost modelů (Robustness)**: Trénování na různorodých a dokonce „záludných" syntetických příkladech činí modely méně náchylnými k přetrénování a odolnějšími vůči nestandardním vstupním datům. ### Omezení a rizika - **Faktické nepřesnosti (halucinace)**: LLM mohou generovat nesprávné fakty, které, jsou-li zahrnuty do trénovací sady, se upevňují v nových modelech. - **Nedostatečná reálnost**: Syntetické texty mohou být příliš šablonovité, formální nebo neodražet veškerou rozmanitost živého jazyka, což snižuje zobecňovací schopnost modelu. - **Zesilování systémových zkreslení (Bias)**: LLM dědí a mohou zesilovat společenské stereotypy a předsudky přítomné v jejich trénovacích datech. - **Riziko „kolapsu modelu"**: Jev, při němž opakované trénování modelů na datech vygenerovaných předchozími verzemi modelů vede k postupné degradaci kvality a „zapomínání" vzácných jevů. - **Možné úniky soukromých informací**: Bez speciálních opatření (například diferenciálního soukromí) mohou LLM náhodně reprodukovat fragmenty reálných dat ze svého trénovacího souboru, což přináší riziko deanonymizace[\[4\]](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_note-frontiers_clinical-4). ## Perspektivy a směry výzkumu - **Automatizace výběru výzev**: Rozvoj metod, které automaticky nacházejí optimální prompty pro generování kvalitních dat. - **Multimodální syntetické generování**: Rozšíření metodologií na generování kombinovaných dat (text + obraz, audio, video). - **Rozvoj metrik kvality**: Vytváření standardizovaných benchmarků pro hodnocení užitečnosti, různorodosti a reálnosti syntetických dat. - **Řízení zkreslení**: Vývoj metod pro kontrolu a snižování zaujatosti v generovaných datech, například prostřednictvím generování kontrafaktuálních příkladů. - **Bezpečné zavádění v průmyslu**: Vypracování právních a etických standardů pro využívání syntetických dat v kritických oblastech. ## Odkazy - Přehledový článek: Synthetic Data Generation Using Large Language Models (2025) - Blog Google Research o generování dat s diferenciálním soukromím ## Literatura - Ye, J. et al. (2025). *Synthetic Data Generation Using Large Language Models: Advances in Text and Code*. arXiv:2503.14023. - Wang, Y. et al. (2022). *Self-Instruct: Aligning Language Models with Self-Generated Instructions*. arXiv:2212.10560. - Gao, J. et al. (2022). *Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning*. arXiv:2205.12679. - Jeronymo, V. et al. (2023). *InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval*. arXiv:2301.01820. - Li, Z. et al. (2023). *Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations*. ACL 2023. - Shumailov, I. et al. (2023). *Nepotistically Trained Generative-AI Models Collapse*. arXiv:2311.12202. - Long, L. et al. (2024). *On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey*. ACL Findings 2024. - Gao, J. C. et al. (2024). *Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets*. OpenReview. - Gehring, J. et al. (2025). *RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning*. arXiv:2410.02089. - Barr, A. A. et al. (2025). *Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data*. Frontiers in AI. - Rao, H. et al. (2025). *A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications*. arXiv:2506.16594. ## Poznámky 1. ↑ [1.0](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-advances_llm_gen_1-0) [1.1](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-advances_llm_gen_1-1) [1.2](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-advances_llm_gen_1-2) Ye, J., et al. «Synthetic Data Generation Using Large Language Models: Advances in Text and Code». *arXiv:2503.14023* \[cs.CL\], 20 марта 2025 г. [1] 2. ↑ [2.0](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-fedscoop_nist_2-0) [2.1](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-fedscoop_nist_2-1) «Federal chief data officers seek information on synthetic data generation». *FedScoop*. [2] 3. [↑](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-acl_limitations_3-0) Li, Zhuoyan, et al. «Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations». *ACL Anthology*, 2023. [3] 4. [↑](https://systems-analysis.info/int/Generov%C3%A1n%C3%AD_syntetick%C3%BDch_dat#cite_ref-frontiers_clinical_4-0) Schoen, F. P., et al. «Large language models generating synthetic clinical datasets: a feasibility and comparative analysis with real-world perioperative data». *Frontiers in Artificial Intelligence*, 2025. [4]