Generacja danych syntetycznych

Generacja danych syntetycznych za pomocą LLM — to technologia sztucznego tworzenia danych, które pod względem swoich właściwości statystycznych i strukturalnych imitują dane rzeczywiste, lecz nie zawierają faktycznych informacji osobistych. Podejście to, wykorzystujące możliwości dużych modeli językowych (LLM), stało się kluczowym narzędziem we współczesnym Machine Learning do rozwiązywania problemów niedoboru danych, ochrony prywatności oraz wysokich kosztów ręcznego etykietowania.

Definicja i przesłanki

Czym są dane syntetyczne?

Dane syntetyczne — to sztucznie wygenerowane informacje, które odtwarzają właściwości statystyczne i wzorce oryginalnego, rzeczywistego zbioru danych. Narodowy Instytut Standardów i Technologii USA (NIST) definiuje je jako dane zachowujące właściwości statystyczne oryginału, lecz nieujawniające indywidualnych szczegółów. W odróżnieniu od prostej anonimizacji, synteza danych tworzy całkowicie nowe rekordy, co zapewnia wyższy poziom ochrony prywatności.

Dlaczego pojawiła się taka potrzeba?

Wzrost zainteresowania generacją syntetyczną wynika z szeregu czynników:

• Niedobór danych: W wielu dziedzinach, zwłaszcza wysoce wyspecjalizowanych, brakuje dostatecznej ilości wysokiej jakości etykietowanych danych do trenowania modeli o wysokiej odporności (robust).
• Wysokie koszty etykietowania: Ręczne etykietowanie danych to proces pracochłonny i kosztowny.
• Wymagania dotyczące prywatności: Przepisy prawne i normy etyczne (np. GDPR) ograniczają wykorzystanie rzeczywistych danych zawierających informacje osobiste, medyczne lub finansowe.
• Nierównowaga klas: W rzeczywistych danych niektóre istotne, lecz rzadkie zdarzenia (edge cases) mogą być niewystarczająco reprezentowane, co utrudnia modelowi ich nauczenie się.

LLM, wytrenowane na ogromnych korpusach tekstów i kodu, stały się potężnym narzędziem do rozwiązywania tych problemów, gdyż są zdolne do generowania spójnych i różnorodnych treści imitujących style i rozkłady rzeczywistych danych.

Główne metody generacji za pomocą LLM

Istnieje kilka kluczowych podejść do tworzenia danych syntetycznych z wykorzystaniem LLM.

1. Generacja na podstawie podpowiedzi (Prompt-based)

To bezpośrednia metoda, w której LLM generuje dane na podstawie zapytania tekstowego (prompt).

• Zero-shot (od zera): Model generuje przykłady wyłącznie na podstawie opisu zadania, bez dostarczania próbek. Podejście to sprzyja różnorodności, lecz może prowadzić do mniej trafnych wyników.
• Few-shot (z kilkoma przykładami): Do promptu dołącza się kilka przykładów (próbek) pożądanego wyniku. Kieruje to modelem i zwiększa trafność generowanych danych, niesie jednak ryzyko powielania i utraty różnorodności, gdyż model ma tendencję do kopiowania wzorców.

2. Generacja z uzupełnieniem informacjami zewnętrznymi (Retrieval-Augmented)

Metoda ta ma na celu zwiększenie faktycznej poprawności danych syntetycznych i zmniejszenie ryzyka halucynacji. Model nie opiera się wyłącznie na swojej wewnętrznej wiedzy, lecz korzysta z dostarczonego kontekstu z wiarygodnego zewnętrznego źródła. Na przykład, w celu wygenerowania pary „pytanie-odpowiedź" najpierw pobierany jest relewantny akapit z Wikipedii, a następnie LLM prosi się o sformułowanie pytania i odpowiedzi opartych ściśle na tym tekście.

3. Iteracyjne doprecyzowywanie i samouczenie (Self-Refinement)

Ta klasa metod wykorzystuje pętlę sprzężenia zwrotnego w celu poprawy jakości danych. Najbardziej znanym przykładem jest metoda Self-Instruct.

1. Model generuje wstępny zbiór danych.
2. Dane te są używane do doustrojenia (fine-tuning) samego modelu (lub jego kopii).
3. Analizowane są błędy i słabe strony modelu na wygenerowanych danych.
4. Model proszony jest o wygenerowanie nowych, bardziej złożonych przykładów, podobnych do tych, na których popełnił błędy.

Właśnie według tego schematu powstał słynny zbiór danych Stanford Alpaca — 52 000 par „instrukcja-odpowiedź" wygenerowanych przez model GPT-3, które umożliwiły doustrojenie otwartego modelu LLaMA do poziomu asystenta wykonującego instrukcje.

4. Postprzetwarzanie i filtrowanie

Po wygenerowaniu danych zawsze stosowane jest filtrowanie w celu odrzucenia przykładów niskiej jakości. Metody wahają się od prostych (usuwanie duplikatów, weryfikacja formatu) do złożonych, takich jak:

• Zastosowanie modelu-krytyka: Trenowany jest osobny klasyfikator, który odróżnia dane rzeczywiste od syntetycznych i odsiewa najmniej realistyczne próbki.
• Filtrowanie według pewności: Zachowywane są tylko te przykłady, dla których LLM z wysoką pewnością przewiduje poprawną odpowiedź/etykietę.
• Ważenie danych: Przykładom podejrzanym o błędy lub halucynacje przypisywana jest mniejsza waga w funkcji straty podczas treningu, aby zmniejszyć ich negatywny wpływ (metoda SunGen).

5. Uczenie ze sprzężeniem zwrotnym z wykonania (Execution Feedback)

Metoda ta jest szczególnie skuteczna w przypadku generowania kodu programistycznego. W odróżnieniu od tekstu w języku naturalnym, kod posiada formalny kryterium poprawności — można go wykonać. Cykl wygląda następująco:

1. LLM generuje kod rozwiązujący zadanie.
2. Kod jest automatycznie uruchamiany i weryfikowany pod kątem zgodności z testami.
3. Poprawne rozwiązania są włączane do zbioru treningowego. Niepoprawne są odrzucane lub model otrzymuje sygnał (reward) do poprawienia błędu.

Zastosowania danych syntetycznych

• Poprawa wyników przy niedoborze danych: Dane syntetyczne są najskuteczniejsze, gdy rzeczywistych etykietowanych danych jest mało. Badania pokazują, że dodanie 100 syntetycznych przykładów do 100 rzeczywistych może zwiększyć dokładność klasyfikatora o 3–26%.
• Tworzenie zbiorów instrukcji (Instruction Tuning): Projekty takie jak Alpaca i Code Alpaca wykazały, że za pomocą LLM można tworzyć duże i wysokiej jakości zbiory danych do trenowania modeli-asystentów praktycznie od zera.
• Wyszukiwanie informacji i odpowiadanie na pytania (QA): Metoda InPars wykorzystuje LLM do generowania zapytań wyszukiwania do istniejących dokumentów. Pozwala to automatycznie tworzyć pary „pytanie — relewantny dokument" do trenowania systemów wyszukiwania.
• Ochrona prywatności: W medycynie i finansach dane syntetyczne są wykorzystywane do trenowania modeli bez dostępu do rzeczywistych danych osobowych. Na przykład Departament ds. Weteranów USA generował syntetyczne dane medyczne podczas pandemii COVID-19 w celu wymiany informacji.

Zalety i ryzyka

Zalety

• Obniżenie kosztów i przyspieszenie prac: Generowanie danych przez model jest znacznie tańsze i szybsze niż ręczne etykietowanie.
• Skalowalność: Dane syntetyczne można generować w praktycznie nieograniczonych ilościach.
• Sterowalność: Deweloper może elastycznie konfigurować skład, styl i złożoność generowanych danych.
• Zachowanie prywatności: Stanowią zanonimizowaną alternatywę dla pracy z danymi wrażliwymi.
• Odporność modeli (Robustness): Trenowanie na różnorodnych, a nawet „podchwytliwych" przykładach syntetycznych sprawia, że modele są mniej podatne na przetrenowanie i bardziej odporne na niestandardowe dane wejściowe.

Ograniczenia i ryzyka

• Niedokładności faktyczne (halucynacje): LLM mogą generować błędne fakty, które po włączeniu do zbioru treningowego utrwalają się w nowych modelach.
• Niedostateczny realizm: Teksty syntetyczne mogą być zbyt schematyczne, formalne lub nie odzwierciedlać całego bogactwa żywego języka, co obniża zdolność uogólniania modelu.
• Wzmacnianie systemowych odchyleń (Bias): LLM dziedziczą i mogą wzmacniać stereotypy społeczne oraz uprzedzenia obecne w ich danych treningowych.
• Ryzyko „kollapsu modelu": Zjawisko, w którym wielokrotne trenowanie modeli na danych wygenerowanych przez poprzednie wersje modeli prowadzi do stopniowej degradacji jakości i „zapominania" rzadkich zjawisk.
• Możliwe wycieki prywatności: Bez specjalnych środków (np. prywatności różniczkowej) LLM mogą przypadkowo odtworzyć fragmenty rzeczywistych danych ze swojego zbioru treningowego, co niesie ryzyko deanonimizacji.

Perspektywy i kierunki badań

• Automatyzacja doboru podpowiedzi: Rozwój metod automatycznego znajdowania optymalnych promptów do generowania wysokiej jakości danych.
• Multimodalna generacja syntetyczna: Rozszerzenie metodologii na generowanie danych łączonych (tekst + obraz, audio, wideo).
• Rozwój metryk jakości: Tworzenie standaryzowanych benchmarków do oceny użyteczności, różnorodności i realizmu danych syntetycznych.
• Zarządzanie odchyleniami: Opracowywanie metod kontroli i redukcji stronniczości w generowanych danych, na przykład poprzez generowanie przykładów kontrfaktycznych.
• Bezpieczne wdrożenie w przemyśle: Opracowywanie prawnych i etycznych standardów dla zastosowania danych syntetycznych w obszarach krytycznych.

Odnośniki

• Artykuł przeglądowy: Synthetic Data Generation Using Large Language Models (2025)
• Blog Google Research o generowaniu danych z prywatnością różniczkową

Literatura

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.