--- title: "PEFT (Parameter-Efficient Fine-Tuning) (TR)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)" language: "tr" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Turkish" revision_id: 5299 wiki_created_at: 2026-09-06T23:47:19Z wiki_modified_at: 2026-09-06T23:47:19Z downloaded_at: 2026-09-07T23:07:41Z --- # PEFT (Parameter-Efficient Fine-Tuning) (TR) **Parametro-verimli ince ayar** (İng. **Parameter-Efficient Fine-Tuning, PEFT**) — büyük dil modelleri (LLM) gibi büyük, önceden eğitilmiş modelleri belirli görevlere minimum hesaplama ve kaynak maliyetiyle uyarlamaya yönelik yöntemler bütünüdür. Tüm model parametrelerinin güncellenmesini gerektiren geleneksel **tam ince ayar** (*full fine-tuning*) yönteminin aksine, PEFT yöntemleri yalnızca ağırlıkların küçük bir bölümünü (toplam sayının %1-5'inden azını) değiştirmeye odaklanır; modelin ana bölümünü değiştirmeden ("dondurulmuş" hâlde) bırakır^{[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-survey_arxiv_2025-1)}. Bu yaklaşım, bellek, depolama ve eğitim süresi gereksinimlerini önemli ölçüde azaltarak güçlü temel modellerin uyarlanmasını daha erişilebilir kılar ve yıkıcı unutma sorununa karşı daha dayanıklı bir süreç sağlar^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-mlm_problems_2025-2)}. ## Tam İnce Ayarın Sorunları Tüm model parametrelerinin güncellendiği geleneksel tam ince ayar, PEFT'in geliştirilmesine zemin hazırlayan bir dizi kritik sorunla karşı karşıyadır: - **Yüksek hesaplama maliyeti:** Yüz milyarlarca parametrenin güncellenmesi, muazzam hesaplama gücü (yüksek performanslı GPU/TPU) ve büyük miktarda video belleği (VRAM) gerektirmekte; bu durum süreci pahalı ve pek çok araştırmacı için erişilemez kılmaktadır. - **Depolama verimsizliği:** Her yeni görev için modelin tam, çok gigabaytlık bir kopyasının saklanması gerekmekte; bu da disk alanı gereksinimlerinin katlanarak artmasına yol açmaktadır. - **Yıkıcı Unutma (Catastrophic Forgetting):** Model, yeni verilere uyum sağlarken ön eğitim aşamasında edindiği genel bilgileri "unutmakta" ve diğer görevlerdeki performansı düşmektedir. - **Aşırı Öğrenme (Overfitting) riski:** Küçük ince ayar veri kümelerinde, milyarlarca parametreye sahip modeller genelleme örüntüleri öğrenmek yerine eğitim örneklerini "ezberleme" eğilimi göstermektedir^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-mlm_problems_2025-2)}. ## PEFT Yöntemlerinin Taksonomisi PEFT yöntemleri, model parametrelerini nasıl değiştirdiklerine göre sınıflandırılabilir. Üç temel kategori mevcuttur: eklemeli, seçici ve yeniden parametreleme^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-huggingface_peft_methods-3)}. ### Eklemeli Yöntemler Bu yöntemler, modelin tüm orijinal ağırlıklarını dondurarak yeni, küçük eğitilebilir modüller ekler. - **Adapterlar (Adapters):** En erken eklemeli yöntemdir. "Darboğaz" mimarisine sahip küçük sinir ağı modülleri, transformer katmanları arasına eklenir. Yalnızca bu adapterlerin ağırlıkları eğitilir^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-houlsby2019-4)}. - **"Yumuşak" prompt tabanlı yöntemler (Soft Prompts):** Model ağırlıklarını değiştirmek yerine bu yöntemler, modelin davranışını yönlendiren eğitilebilir vektörler ("sanal token'lar") giriş verilerine ekler. Temel varyantlar: - **Prompt Tuning:** Eğitilebilir vektörleri yalnızca giriş embedding'lerine ekler. - **Prefix-Tuning:** Eğitilebilir vektör öneklerini, dikkat mekanizmasının her katmanındaki gizli durumlara ekleyerek daha ince bir kontrol sağlar^{[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-li2021prefix-5)}. - **P-Tuning v2:** Prefix-Tuning fikrinin genelleştirilmesidir; eğitilebilir prompt'ları modelin tüm katmanlarına uygulayarak tam ince ayara kıyasla benzer performans elde eder^{[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-liu2021ptuningv2-6)}. ### Seçici Yöntemler Bu yöntemler yeni parametreler eklemez; bunun yerine mevcut parametrelerin küçük bir alt kümesini seçerek ince ayar yapar. - **BitFit:** Yalnızca yanlılık vektörlerini (bias terms) ve normalleştirme katmanı parametrelerini ince ayarlayan, toplam parametre sayısının %0,1'inden azını güncelleyen son derece ekonomik bir yöntemdir. - **Diferansiyel Budama (Diff Pruning):** Eğitim sürecinde hangi ağırlıkların güncelleneceğini dinamik olarak belirlemek için eğitilebilir bir maske kullanır^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-huggingface_peft_methods-3)}. ### Yeniden Parametreleme Yöntemleri Bu kategori, modelin uyarlanması için gerekli ağırlık değişikliklerinin düşük bir "iç ranka" sahip olduğu hipotezine dayanmaktadır. Tam boyutlu ağırlık matrislerini güncellemek yerine bu yöntemler, düşük ranklı temsillerini günceller. - **LoRA (Low-Rank Adaptation):** Günümüzün en popüler PEFT yöntemidir. \`ΔW\` ağırlık matrisi güncellemesinin iki düşük ranklı matrisin çarpımıyla yaklaşık olarak ifade edilebileceğini öngörür: \`ΔW = BA\`. İnce ayar sürecinde orijinal \`W\` matrisi dondurulur; yalnızca \`A\` ve \`B\` eğitilir^{[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-hu2021lora-7)}. - **QLoRA:** Bellek gereksinimlerini daha da azaltmak için LoRA'yı nicemleme (quantization) teknikleriyle birleştirerek 65 milyar parametreli modellerin tek bir tüketici GPU'sunda ince ayarlanmasına olanak tanır^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-dettmers2023qlora-8)}. ## Performans ve Kaynak Karşılaştırması PEFT yöntemleri, maliyetlerde köklü bir azalma sağlarken tam ince ayara kıyasla benzer performans elde etmeyi mümkün kılar. | Model | Yöntem | Eğitilebilir Parametreler (%) | Benchmark Sonucu (Ort. Doğruluk) | Kaynak | |------------|----------------------|-------------------------------|----------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Tam ince ayar | 100% | 80.4 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-houlsby2019-4)} | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-houlsby2019-4)} | | LLaMA-7B | LoRA | 0.83% | 74.7% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-dora_paper-9)} | | LLaMA-7B | DoRA (LoRA varyantı) | 0.84% | 78.1% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-dora_paper-9)} | PEFT Yöntemlerinin Karşılaştırmalı Performansı ve Verimliliği PEFT'in kaynak tasarrufundaki temel avantajları: - **GPU Belleği (VRAM):** LLaMA 65B modeli için tam ince ayar teorik olarak \>780 GB VRAM gerektirirken **QLoRA**, modeli \<48 GB VRAM'e sahip bir GPU'da ince ayarlamaya olanak tanır^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_note-dettmers2023qlora-8)}. - **Depolama Alanı:** PEFT sonrasında kaydedilen kontrol noktaları (checkpoint'ler) gigabayt değil megabayt boyutundadır. Bu sayede, tam ince ayarlı tek bir modelin kapladığı alanda yüzlerce farklı görev "adapteri" saklanabilir. ## Uygulama Alanları Başlangıçta NLP için geliştirilen PEFT yöntemleri, geniş bir görev yelpazesine başarıyla uyarlanmıştır: - **Bilgisayarlı Görü (CV) ve Çok Modaliteli Modeller (VLM):** Vision Transformer (ViT) ve Segment Anything Model (SAM) gibi modellerin, biyomedikal alanlar dahil olmak üzere görüntü segmentasyonu görevlerine uyarlanması. - **Kod Üretimi ve Analizi:** LLM'lerin belirli yazılım projelerinin, dahili API'lerin veya kod tabanlarının özelliklerine göre ayarlanması. - **Üretici Modeller:** Stable Diffusion gibi görüntü üretim modellerinin LoRA adapterleri kullanılarak "stilize edilmesi" (Dreambooth tekniği). - **Konuşma Sentezi:** Modellerin belirli bir ses, tonlama veya duygusal renk ile konuşma üretecek biçimde uyarlanması. ## Dış bağlantılar - GitHub'daki PEFT kütüphanesi deposu - Hugging Face'in resmi PEFT kütüphanesi belgeleri ## Kaynakça - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Notlar 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-mlm_problems_2025_2-0)} ^{[2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-mlm_problems_2025_2-1)} «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-huggingface_peft_methods_3-0)} ^{[3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-huggingface_peft_methods_3-1)} «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-houlsby2019_4-0)} ^{[4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-houlsby2019_4-1)} ^{[4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-houlsby2019_4-2)} Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-dettmers2023qlora_8-0)} ^{[8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-dettmers2023qlora_8-1)} Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-dora_paper_9-0)} ^{[9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TR)#cite_ref-dora_paper_9-1)} «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]