Fine-tuning (deep learning) (TR)

İnce ayar (İng. Fine-tuning), aynı zamanda derin uyarlama olarak da bilinir; makine öğrenmesinde transfer learning'in bir yöntemidir. Bu yöntemde, önceden eğitilmiş bir modelin (pre-trained model) parametreleri yeni ve özgül bir göreve uyarlanır. Modeli sıfırdan eğitmek yerine — ki bu çok büyük miktarda veri ve hesaplama kaynağı gerektirir — fine-tuning, modelin ağırlıklarına kodlanmış bilgiden yararlanarak bunları belirli ihtiyaçlara göre "ayarlamaya" olanak tanır.

Bu yaklaşım, derin öğrenme alanında, özellikle büyük dil modelleri (LLM) ve bilgisayarlı görme modelleriyle çalışırken fiilî standart hâline gelmiştir.

Kavram

Fine-tuning süreci iki temel aşamaya ayrılabilir:

1. Ön eğitim (Pre-training): Model (örneğin BERT veya GPT), çok büyük ve genel bir veri kümesi üzerinde (örneğin tüm internet) öz-denetimli bir görev kullanılarak eğitilir (örneğin bir sonraki sözcüğü tahmin etme). Bu aşamada model genel örüntüleri, sözdizimini, anlambilimi ve dünya hakkındaki bilgileri öğrenir.

2. İnce ayar (Fine-tuning): Önceden eğitilmiş model temel alınır ve ağırlıkları, hedef göreve özgü küçük ancak etiketlenmiş bir veri kümesi üzerinde yeniden ayarlanır.

Temel fikir şudur: ön eğitim aşamasında elde edilen bilgi evrensel niteliktedir ve pek çok başka, daha dar kapsamlı göreve başarıyla aktarılabilir.

Fine-tuning Süreci

Tipik bir fine-tuning süreci şu adımları içerir:

1. Önceden eğitilmiş modelin seçimi: Temel yetenekleri hedef göreve uygun olan bir model seçilir (örneğin metin anlama görevleri için BERT, üretim için GPT).

2. Mimari uyarlaması: Önceden eğitilmiş modele, hedef göreve özgü yeni bir "baş" katman (head) eklenir. Örneğin:

• Metin sınıflandırması için softmax fonksiyonuna sahip basit bir tam bağlantılı katman eklenir.
• Adlandırılmış varlık tanıma (NER) için her token'ın çıkışına bir sınıflandırıcı eklenir.

3. Hedef veri kümesi üzerinde eğitim: Modelin tamamı (veya bir kısmı) yeni etiketlenmiş veri kümesi üzerinde eğitilir. Bu aşamada, önceden eğitilmiş katmanların ağırlıkları dahil olmak üzere tüm model ağırlıkları, yeni görevdeki kayıp fonksiyonunu en aza indirmek amacıyla gradyan inişi yöntemiyle güncellenir. 4. Daha düşük öğrenme hızı kullanımı: Fine-tuning sırasında genellikle ön eğitime kıyasla çok daha düşük bir öğrenme hızı kullanılır. Bu, modelin ağırlıklarına kodlanmış faydalı bilgiyi "bozmadan" yalnızca dikkatli biçimde düzeltmek için gereklidir.

Fine-tuning Türleri

Tam İnce Ayar (Full Fine-tuning)

• İlke: Önceden eğitilmiş modelin tüm parametreleri, yeni "baş" katmanla birlikte güncellenir.
• Avantajlar: Modelin tamamı yeni göreve uyarlandığından potansiyel olarak en iyi performansı sağlar.
• Dezavantajlar: Tüm parametreler için gradyanların saklanması ve güncellenmesi gerektiğinden önemli miktarda hesaplama kaynağı ve bellek gerektirir. Ayrıca modelin ön eğitimde edindiği genel bilgileri "unutması" şeklinde ortaya çıkan yıkıcı unutma riski mevcuttur.

Parametre Verimli İnce Ayar (Parameter-Efficient Fine-Tuning, PEFT)

Bu, fine-tuning sırasındaki hesaplama maliyetini düşürmeyi hedefleyen bir yöntemler ailesidir. Temel fikir, önceden eğitilmiş modelin parametrelerinin büyük bölümünü dondurmak ve yalnızca az sayıda yeni ya da seçili mevcut parametreyi eğitmektir.

• PEFT yöntemlerine örnekler:
  • Adaptörler (Adapters): Transformer mimarisine küçük, ek adaptör katmanları eklenir ve yalnızca bunlar eğitilir.
  • LoRA (Low-Rank Adaptation): Tam ağırlık matrislerini güncellemek yerine, LoRA bunların düşük ranklı güncellemelerini eğitir. Bu sayede eğitilebilir parametre sayısı binlerce kat azaltılabilir.
  • Prompt Tuning: Girdi verilerine, görev için ayarlanan eğitilebilir "prompt" vektörleri eklenir; modelin kendisi ise dondurulmuş hâlde kalır.

• PEFT Avantajları:
  • Verimlilik: Bellek ve hesaplama gereksinimlerini önemli ölçüde azaltır.
  • Modülerlik: Tek bir önceden eğitilmiş modeli pek çok göreve kolayca uyarlamayı sağlar; her görev için yalnızca küçük uyarlanmış ağırlık kümeleri saklanır.

Talimat Tabanlı İnce Ayar (Instruction Tuning)

Bu, LLM'lerin doğal dil talimatlarını takip etme yeteneğini geliştirmeye yönelik özgül bir fine-tuning türüdür.

• Çalışma ilkesi: Model, "talimat — beklenen çıktı" çiftlerinden oluşan bir veri kümesi üzerinde ince ayara tabi tutulur.
• Amaç: Modelin, talimatlar biçiminde tanımlanabilen yeni ve daha önce görülmemiş görevlerdeki genelleştirme yeteneğini artırmak. InstructGPT ve FLAN-T5 gibi modeller bu yaklaşımın belirgin örnekleridir.

Ayrıca bakınız

• Büyük Dil Modelleri
• BERT
• GPT

Literatür

• Howard, J.; Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. arXiv:1801.06146.
• Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. arXiv:1902.00751.
• Pfeiffer, J. et al. (2020). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. arXiv:2005.00247.
• Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Lester, B.; Al-Rfou, R.; Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv:2104.08691.
• Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models. ACL 2022.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Han, Z. et al. (2024). Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey. arXiv:2403.14608.
• Bian, J. et al. (2025). A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning. arXiv:2504.21099.
• Li, X. et al. (2025). Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions. Preprints.org.