Generazione di dati sintetici

La generazione di dati sintetici tramite LLM è una tecnologia per la creazione artificiale di dati che, nelle loro caratteristiche statistiche e strutturali, imitano i dati reali, ma non contengono informazioni personali effettive. Questo approccio, che sfrutta le capacità dei grandi modelli linguistici (LLM), è diventato uno strumento chiave nel machine learning moderno per risolvere i problemi di scarsità dei dati, di riservatezza e degli elevati costi dell'annotazione manuale.

Definizione e presupposti

Cosa sono i dati sintetici?

I dati sintetici sono informazioni generate artificialmente che riproducono le proprietà statistiche e i pattern del dataset originale reale. Il National Institute of Standards and Technology degli Stati Uniti (NIST) li definisce come dati che conservano le proprietà statistiche dell'originale senza rivelare dettagli individuali. A differenza della semplice anonimizzazione, la sintesi dei dati crea record completamente nuovi, garantendo un livello più elevato di protezione della privacy.

Perché è nata questa esigenza?

L'aumento dell'interesse per la generazione sintetica è dovuto a una serie di fattori:

• Scarsità di dati: In molti ambiti, soprattutto in quelli altamente specializzati, i dati annotati di qualità sono insufficienti per addestrare modelli robusti.
• Elevato costo dell'annotazione: L'annotazione manuale dei dati è un processo laborioso e costoso.
• Requisiti di riservatezza: Norme giuridiche ed etiche (ad esempio, il GDPR) limitano l'uso di dati reali contenenti informazioni personali, mediche o finanziarie.
• Squilibrio delle classi: Nei dati reali, alcuni eventi importanti ma rari (edge cases) possono essere sottorappresentati, impedendo al modello di apprenderli.

I LLM, addestrati su enormi corpus di testo e codice, sono diventati uno strumento potente per affrontare questi problemi, poiché sono in grado di generare contenuti coerenti e diversificati che imitano gli stili e le distribuzioni dei dati reali.

Principali metodi di generazione tramite LLM

Esistono diversi approcci chiave per la creazione di dati sintetici mediante LLM.

1. Generazione basata su prompt (Prompt-based)

Si tratta di un metodo diretto in cui il LLM genera dati sulla base di una richiesta testuale (prompt).

• Zero-shot: Il modello genera esempi basandosi unicamente sulla descrizione del compito, senza esempi forniti. Questo approccio favorisce la diversità, ma può produrre risultati meno rilevanti.
• Few-shot: Nel prompt vengono inclusi alcuni esempi (campioni) dell'output desiderato. Ciò orienta il modello e aumenta la rilevanza dei dati generati, ma comporta il rischio di duplicazione e perdita di diversità, poiché il modello tende a replicare i pattern.

2. Generazione con arricchimento da fonti esterne (Retrieval-Augmented)

Questo metodo mira ad aumentare la correttezza fattuale dei dati sintetici e a ridurre il rischio di allucinazioni. Il modello non si affida esclusivamente alle proprie conoscenze interne, ma utilizza il contesto fornito da una fonte esterna affidabile. Ad esempio, per generare una coppia «domanda-risposta», si estrae prima un paragrafo rilevante da Wikipedia, dopodiché si chiede al LLM di formulare una domanda e una risposta basate strettamente su quel testo.

3. Raffinamento iterativo e auto-apprendimento (Self-Refinement)

Questa classe di metodi utilizza un ciclo di feedback per migliorare la qualità dei dati. L'esempio più noto è il metodo Self-Instruct.

1. Il modello genera un set di dati iniziale.
2. Questi dati vengono utilizzati per il fine-tuning del modello stesso (o di una sua copia).
3. Vengono analizzati gli errori e i punti deboli del modello sui dati generati.
4. Al modello viene chiesto di generare nuovi esempi più complessi, simili a quelli su cui ha commesso errori.

Proprio secondo questo schema è stato creato il celebre dataset Stanford Alpaca — 52.000 coppie «istruzione-risposta» generate dal modello GPT-3, che hanno permesso di eseguire il fine-tuning del modello open LLaMA fino al livello di un assistente in grado di seguire istruzioni.

4. Post-elaborazione e filtraggio

Dopo la generazione dei dati, viene sempre applicato un filtraggio per scartare gli esempi di scarsa qualità. I metodi variano da semplici (rimozione dei duplicati, verifica del formato) a complessi, come:

• Utilizzo di un modello critico: Viene addestrato un classificatore separato che distingue i dati reali da quelli sintetici e scarta i campioni meno realistici.
• Filtraggio per confidenza: Vengono mantenuti solo gli esempi per i quali il LLM prevede con alta confidenza la risposta/etichetta corretta.
• Ponderazione dei dati: Agli esempi sospettati di contenere errori o allucinazioni viene assegnato un peso minore nella funzione di perdita durante l'addestramento, per ridurne l'impatto negativo (metodo SunGen).

5. Addestramento con feedback da esecuzione (Execution Feedback)

Questo metodo è particolarmente efficace per la generazione di codice sorgente. A differenza del testo in linguaggio naturale, il codice ha un criterio formale di correttezza: può essere eseguito. Il ciclo funziona come segue:

1. Il LLM genera codice per risolvere un problema.
2. Il codice viene eseguito automaticamente e verificato rispetto ai test.
3. Le soluzioni corrette vengono incluse nel set di addestramento. Quelle errate vengono scartate, oppure il modello riceve un segnale (reward) per correggere l'errore.

Applicazioni dei dati sintetici

• Miglioramento dei task in condizioni di scarsità di dati: I dati sintetici sono più efficaci quando i dati reali annotati sono scarsi. Le ricerche mostrano che l'aggiunta di 100 esempi sintetici a 100 esempi reali può aumentare la precisione di un classificatore del 3–26%.
• Creazione di dataset di istruzioni (Instruction Tuning): Progetti come Alpaca e Code Alpaca hanno dimostrato che tramite LLM è possibile creare dataset ampi e di qualità per addestrare modelli assistenti praticamente da zero.
• Ricerca di informazioni e risposta a domande (QA): Il metodo InPars utilizza i LLM per generare query di ricerca per documenti esistenti. Ciò consente di creare automaticamente coppie «domanda — documento rilevante» per addestrare i sistemi di ricerca.
• Protezione della riservatezza: In ambito medico e finanziario, i dati sintetici vengono utilizzati per addestrare modelli senza accedere a dati personali reali. Ad esempio, il Dipartimento per gli Affari dei Veterani degli Stati Uniti ha generato dati medici sintetici durante la pandemia di COVID-19 per condividere informazioni.

Vantaggi e rischi

Vantaggi

• Riduzione dei costi e accelerazione dello sviluppo: La generazione di dati tramite modello è significativamente più economica e rapida dell'annotazione manuale.
• Scalabilità: I dati sintetici possono essere generati in volumi praticamente illimitati.
• Controllabilità: Lo sviluppatore può configurare in modo flessibile la composizione, lo stile e la complessità dei dati generati.
• Rispetto della riservatezza: Forniscono un'alternativa anonimizzata per lavorare con dati sensibili.
• Robustezza dei modelli: L'addestramento su esempi sintetici diversificati e persino «insidiosi» rende i modelli meno inclini all'overfitting e più resistenti a input anomali.

Limitazioni e rischi

• Imprecisioni fattuali (allucinazioni): I LLM possono generare fatti errati che, una volta inclusi nel set di addestramento, si consolidano nei nuovi modelli.
• Scarso realismo: I testi sintetici possono risultare eccessivamente stereotipati, formali o non riflettere la varietà del linguaggio naturale, riducendo la capacità di generalizzazione del modello.
• Amplificazione dei bias sistemici: I LLM ereditano e possono amplificare stereotipi sociali e pregiudizi presenti nei loro dati di addestramento.
• Rischio di «collasso del modello»: Fenomeno per cui il riaddestrare i modelli su dati generati da versioni precedenti degli stessi modelli porta a una graduale degradazione della qualità e alla «dimenticanza» dei fenomeni rari.
• Possibili violazioni della riservatezza: Senza misure specifiche (ad esempio, la privacy differenziale), i LLM possono riprodurre accidentalmente frammenti di dati reali dal loro set di addestramento, con il rischio di de-anonimizzazione.

Prospettive e direzioni di ricerca

• Automazione della selezione dei prompt: Sviluppo di metodi che trovino automaticamente i prompt ottimali per la generazione di dati di qualità.
• Generazione sintetica multimodale: Estensione delle metodologie alla generazione di dati combinati (testo + immagine, audio, video).
• Sviluppo di metriche di qualità: Creazione di benchmark standardizzati per valutare l'utilità, la diversità e il realismo dei dati sintetici.
• Gestione dei bias: Sviluppo di metodi per controllare e ridurre la distorsione nei dati generati, ad esempio attraverso la generazione di esempi controfattuali.
• Implementazione sicura nell'industria: Sviluppo di standard giuridici ed etici per l'uso dei dati sintetici in settori critici.

Riferimenti

• Articolo di rassegna: Synthetic Data Generation Using Large Language Models (2025)
• Blog di Google Research sulla generazione di dati con privacy differenziale

Bibliografia

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.