Sentetik Veri Üretimi

LLM ile sentetik veri üretimi — istatistiksel ve yapısal özellikleri açısından gerçek verileri taklit eden, ancak gerçek kişisel bilgi içermeyen verilerin yapay olarak oluşturulması teknolojisidir. Büyük dil modellerinin (LLM) olanaklarından yararlanan bu yaklaşım, veri kıtlığı, gizlilik ve yüksek maliyetli elle etiketleme sorunlarını çözmek için modern machine learning'de kritik bir araç hâline gelmiştir.

Tanım ve Ön Koşullar

Sentetik veri nedir?

Sentetik veriler — kaynak, gerçek veri kümesinin istatistiksel özelliklerini ve örüntülerini yeniden üreten, yapay olarak üretilmiş bilgilerdir. ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), bunları orijinalin istatistiksel özelliklerini koruyan ancak bireysel ayrıntıları açığa çıkarmayan veriler olarak tanımlamaktadır. Basit anonimleştirmenin aksine, veri sentezi tamamen yeni kayıtlar oluşturarak daha yüksek düzeyde gizlilik koruması sağlar.

İhtiyaç neden ortaya çıktı?

Sentetik üretime olan ilginin artması bir dizi faktörden kaynaklanmaktadır:

• Veri kıtlığı: Pek çok alanda, özellikle dar uzmanlık gerektiren alanlarda, robust model eğitimi için yeterince nitelikli etiketlenmiş veri bulunmamaktadır.
• Yüksek etiketleme maliyeti: Verilerin elle etiketlenmesi emek yoğun ve masraflı bir süreçtir.
• Gizlilik gereksinimleri: Yasal ve etik normlar (örneğin GDPR), kişisel, tıbbi veya finansal bilgi içeren gerçek verilerin kullanımını kısıtlamaktadır.
• Sınıf dengesizliği: Gerçek verilerde bazı önemli ancak nadir olaylar (edge cases) yeterince temsil edilmeyebilir; bu durum modelin bunları öğrenmesini zorlaştırır.

Devasa metin ve kod külliyatları üzerinde eğitilmiş LLM'ler, gerçek verilerin stillerini ve dağılımlarını taklit eden tutarlı ve çeşitli içerik üretebildiğinden bu sorunların çözümünde güçlü bir araç hâline gelmiştir.

LLM ile Temel Üretim Yöntemleri

LLM kullanılarak sentetik veri oluşturmak için birkaç temel yaklaşım mevcuttur.

1. Prompt tabanlı üretim (Prompt-based)

Bu, LLM'nin bir metin isteği (prompt) temelinde veri ürettiği doğrudan bir yöntemdir.

• Zero-shot (sıfırdan): Model, herhangi bir örnek sunulmaksızın yalnızca görev açıklamasına dayanarak örnekler üretir. Bu yaklaşım çeşitliliği destekler, ancak daha az ilgili sonuçlara yol açabilir.
• Few-shot (birkaç örnekle): Prompt'a istenen çıktının birkaç örneği dahil edilir. Bu, modeli yönlendirir ve üretilen verilerin ilgililiğini artırır; ancak model şablonları kopyalama eğiliminde olduğundan tekrar ve çeşitlilik kaybı riski taşır.

2. Dış bilgiyle desteklenmiş üretim (Retrieval-Augmented)

Bu yöntem, sentetik verilerin olgusal doğruluğunu artırmayı ve halüsinasyon riskini azaltmayı amaçlamaktadır. Model yalnızca kendi iç bilgisine dayanmak yerine güvenilir bir dış kaynaktan sağlanan bağlamı kullanır. Örneğin, "soru-cevap" çifti üretmek için önce Wikipedia'dan ilgili bir paragraf alınır, ardından LLM'den yalnızca bu metne dayalı bir soru ve cevap oluşturması istenir.

3. Yinelemeli iyileştirme ve öz-öğrenme (Self-Refinement)

Bu yöntem sınıfı, veri kalitesini artırmak için bir geri bildirim döngüsü kullanır. En bilinen örnek Self-Instruct yöntemidir.

1. Model, ilk veri kümesini üretir.
2. Bu veriler, modelin kendisini (veya bir kopyasını) fine-tuning için kullanılır.
3. Modelin üretilen veriler üzerindeki hataları ve zayıf noktaları analiz edilir.
4. Modelden, hata yaptığı örneklere benzer yeni, daha karmaşık örnekler üretmesi istenir.

İşte bu şemaya göre ünlü Stanford Alpaca veri kümesi oluşturulmuştur — GPT-3 modeli tarafından üretilen 52.000 "talimat-yanıt" çifti; bu veriler, açık model LLaMA'nın talimatlara uyan bir asistan düzeyine fine-tuning yapılmasına olanak tanımıştır.

4. Son işlem ve filtreleme

Veri üretiminin ardından düşük kaliteli örnekleri elemek için her zaman filtreleme uygulanır. Yöntemler, basit olanlardan (tekrar kaldırma, biçim denetimi) aşağıdakiler gibi karmaşık olanlara kadar uzanır:

• Eleştirmen model kullanımı: Gerçek verileri sentetik verilerden ayıran ve en az gerçekçi örnekleri eleyen ayrı bir sınıflandırıcı eğitilir.
• Güven tabanlı filtreleme: LLM'nin doğru cevabı/etiketi yüksek güvenle tahmin ettiği örnekler korunur.
• Veri ağırlıklandırma: Hata veya halüsinasyon içerdiğinden şüphelenilen örneklere, olumsuz etkilerini azaltmak amacıyla eğitim sırasında kayıp fonksiyonunda daha düşük ağırlık atanır (SunGen yöntemi).

5. Yürütme geri bildirimiyle öğrenme (Execution Feedback)

Bu yöntem, özellikle program kodu üretimi için etkilidir. Doğal dil metninin aksine, kodun biçimsel bir doğruluk ölçütü vardır — çalıştırılabilir. Döngü şu şekilde işler:

1. LLM, bir görevi çözmek için kod üretir.
2. Kod otomatik olarak çalıştırılır ve testlere uygunluğu denetlenir.
3. Doğru çözümler eğitim kümesine dahil edilir. Yanlış olanlar atılır ya da modele hatayı düzeltmesi için bir sinyal (reward) gönderilir.

Sentetik Verilerin Kullanım Alanları

• Veri kıtlığı koşullarında görev iyileştirme: Sentetik veriler, gerçek etiketli veri az olduğunda en verimli şekilde çalışır. Araştırmalar, 100 gerçek örneğe 100 sentetik örnek eklemenin sınıflandırıcı doğruluğunu %3–26 oranında artırabildiğini göstermektedir.
• Talimat kümesi oluşturma (Instruction Tuning): Alpaca ve Code Alpaca gibi projeler, LLM'lerin neredeyse sıfırdan büyük ve nitelikli asistan eğitimi veri kümeleri oluşturmak için kullanılabileceğini ortaya koymuştur.
• Bilgi erişimi ve soru yanıtlama (QA): InPars yöntemi, mevcut belgeler için arama sorguları üretmek amacıyla LLM'leri kullanır. Bu, arama motorlarını eğitmek için "soru — ilgili belge" çiftlerinin otomatik olarak oluşturulmasına olanak tanır.
• Gizlilik koruması: Tıp ve finans alanlarında sentetik veriler, modellerin gerçek kişisel verilere erişim olmaksızın eğitilmesi için kullanılır. Örneğin, ABD Gaziler İşleri Bakanlığı, COVID-19 salgını sırasında bilgi paylaşımı amacıyla sentetik tıbbi veriler üretmiştir.

Avantajlar ve Riskler

Avantajlar

• Maliyet azaltma ve geliştirme hızlandırma: Modelle veri üretimi, elle etiketlemeden çok daha ucuz ve hızlıdır.
• Ölçeklenebilirlik: Sentetik veriler neredeyse sınırsız miktarlarda üretilebilir.
• Kontrol edilebilirlik: Geliştirici, üretilen verilerin bileşimini, stilini ve karmaşıklığını esnek biçimde ayarlayabilir.
• Gizliliğe uyum: Hassas verilerle çalışmak için anonimleştirilmiş bir alternatif sunar.
• Model dayanıklılığı (Robustness): Çeşitli ve hatta "zorlu" sentetik örnekler üzerinde eğitim, modelleri aşırı öğrenmeye daha az yatkın kılar ve alışılmadık girdi verilerine karşı daha dayanıklı hâle getirir.

Sınırlamalar ve Riskler

• Olgusal yanlışlıklar (halüsinasyonlar): LLM'ler, eğitim kümesine dahil edildiklerinde yeni modellere aktarılan hatalı bilgiler üretebilir.
• Yetersiz gerçekçilik: Sentetik metinler çok şabloncu, biçimsel veya canlı dilin çeşitliliğini yansıtmayan bir yapıda olabilir; bu da modelin genelleme yeteneğini düşürür.
• Sistemik sapmaların (Bias) güçlenmesi: LLM'ler, eğitim verilerindeki toplumsal klişeleri ve önyargıları miras alabilir ve güçlendirebilir.
• "Model çöküşü" riski: Modellerin önceki model sürümleri tarafından üretilen veriler üzerinde tekrar tekrar eğitilmesinin kalitede kademeli bozulmaya ve nadir olayların "unutulmasına" yol açtığı olgu.
• Olası gizlilik sızıntıları: Özel önlemler (örneğin diferansiyel gizlilik) alınmadan LLM'ler, eğitim kümelerindeki gerçek veri parçalarını yanlışlıkla yeniden üretebilir; bu da kimlik ifşası riski taşır.

Perspektifler ve Araştırma Yönleri

• Prompt seçiminin otomatikleştirilmesi: Nitelikli veri üretimi için en iyi prompt'ları otomatik olarak bulan yöntemlerin geliştirilmesi.
• Çok modlu sentetik üretim: Yöntemlerin birleşik veri üretimine (metin + görüntü, ses, video) genişletilmesi.
• Kalite metriklerinin geliştirilmesi: Sentetik verilerin kullanışlılığını, çeşitliliğini ve gerçekçiliğini değerlendirmek için standart benchmark'ların oluşturulması.
• Sapma yönetimi: Üretilen verilerdeki önyargıyı denetlemek ve azaltmak için yöntemler geliştirilmesi; örneğin karşıt olgusal örnekler üretimi yoluyla.
• Sektörlerde güvenli uygulama: Kritik alanlarda sentetik veri kullanımı için yasal ve etik standartların geliştirilmesi.

Dış bağlantılar

• Derleme makale: Synthetic Data Generation Using Large Language Models (2025)
• Diferansiyel gizlilikle veri üretimi üzerine Google Research blogu

Kaynakça

• Ye, J. et al. (2025). Synthetic Data Generation Using Large Language Models: Advances in Text and Code. arXiv:2503.14023.
• Wang, Y. et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. arXiv:2212.10560.
• Gao, J. et al. (2022). Self-Guided Noise-Free Data Generation for Efficient Zero-Shot Learning. arXiv:2205.12679.
• Jeronymo, V. et al. (2023). InPars-v2: Large Language Models as Efficient Dataset Generators for Information Retrieval. arXiv:2301.01820.
• Li, Z. et al. (2023). Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations. ACL 2023.
• Shumailov, I. et al. (2023). Nepotistically Trained Generative-AI Models Collapse. arXiv:2311.12202.
• Long, L. et al. (2024). On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey. ACL Findings 2024.
• Gao, J. C. et al. (2024). Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Synthetic Datasets. OpenReview.
• Gehring, J. et al. (2025). RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning. arXiv:2410.02089.
• Barr, A. A. et al. (2025). Large Language Models Generating Synthetic Clinical Datasets: A Feasibility and Comparative Analysis with Real-World Perioperative Data. Frontiers in AI.
• Rao, H. et al. (2025). A Scoping Review of Synthetic Data Generation for Biomedical Research and Applications. arXiv:2506.16594.