--- title: "PEFT (Parameter-Efficient Fine-Tuning) (NL)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)" language: "nl" categories: - "Category:Dutch" - "Category:Large language models" - "Category:Machine learning" revision_id: 5292 wiki_created_at: 2026-09-06T23:47:13Z wiki_modified_at: 2026-09-06T23:47:13Z downloaded_at: 2026-09-07T23:07:38Z --- # PEFT (Parameter-Efficient Fine-Tuning) (NL) **Parameter-efficiënt fine-tunen** (Engels: **Parameter-Efficient Fine-Tuning, PEFT**) — een verzameling methoden voor het aanpassen van grote vooraf getrainde modellen, zoals grote taalmodellen (LLM), aan specifieke taken met minimale reken- en resourcekosten. In tegenstelling tot het traditionele **volledig fine-tunen** (*full fine-tuning*), waarbij alle parameters van het model worden bijgewerkt, richten PEFT-methoden zich op het aanpassen van slechts een klein deel van de gewichten (minder dan 1–5% van het totale aantal), terwijl het grootste deel van het model ongewijzigd («bevroren») blijft^{[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-survey_arxiv_2025-1)}. Deze aanpak maakt het mogelijk om de geheugen-, opslag- en trainingsvereisten aanzienlijk te verminderen, waardoor het aanpassingsproces van krachtige fundamentele modellen toegankelijker wordt en minder gevoelig is voor het probleem van catastrofaal vergeten^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-mlm_problems_2025-2)}. ## Problemen met volledig fine-tunen Traditioneel volledig fine-tunen, waarbij alle parameters van het model worden bijgewerkt, stuit op een aantal kritieke problemen die de aanleiding vormden voor de ontwikkeling van PEFT: - **Hoge rekenkosten:** Het bijwerken van honderden miljarden parameters vereist enorme rekenkracht (hoogwaardige GPU/TPU) en een grote hoeveelheid videogeheugen (VRAM), waardoor het proces kostbaar en ontoegankelijk is voor veel onderzoekers. - **Inefficiëntie van opslag:** Voor elke nieuwe taak moet een volledige, meerdere gigabytes grote kopie van het model worden bewaard, wat leidt tot exponentiële groei van de schijfruimtevereisten. - **Catastrofaal vergeten (Catastrophic Forgetting):** Een model dat zich aanpast aan nieuwe gegevens, «vergeet» de algemene kennis die tijdens de voorafgaande trainingsfase is opgedaan, waardoor de prestaties op andere taken afnemen. - **Risico op overfitting:** Bij kleine datasets voor fine-tuning zijn modellen met miljarden parameters geneigd trainingsvoorbeelden te «onthouden» in plaats van algemene patronen te leren^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-mlm_problems_2025-2)}. ## Taxonomie van PEFT-methoden PEFT-methoden kunnen worden geclassificeerd op basis van de manier waarop ze de parameters van het model aanpassen. Er zijn drie hoofdcategorieën: additieve, selectieve en reparametriserende methoden^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-huggingface_peft_methods-3)}. ### Additieve methoden Deze methoden bevriezen alle oorspronkelijke modelgewichten en voegen nieuwe, kleine traineerbare modules toe. - **Adapters:** De vroegste additieve methode. Kleine neurale netwerkmodules met een «bottleneck»-architectuur worden ingevoegd tussen de lagen van de transformer. Alleen de gewichten van deze adapters worden getraind^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-houlsby2019-4)}. - **Methoden gebaseerd op «zachte» prompts (Soft Prompts):** In plaats van de gewichten van het model te wijzigen, voegen deze methoden traineerbare vectoren («virtuele tokens») toe aan de invoergegevens, die het gedrag van het model sturen. Belangrijke varianten: - **Prompt Tuning:** Voegt traineerbare vectoren alleen toe aan de invoer-embeddings. - **Prefix-Tuning:** Voegt traineerbare vectorprefixen toe aan de verborgen toestanden op elke laag van het aandachtsmechanisme, wat een fijnere controle biedt^{[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-li2021prefix-5)}. - **P-Tuning v2:** Een generalisatie van het Prefix-Tuning-idee, waarbij traineerbare prompts op alle lagen van het model worden toegepast, waardoor prestaties worden bereikt die vergelijkbaar zijn met volledig fine-tunen^{[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-liu2021ptuningv2-6)}. ### Selectieve methoden Deze methoden voegen geen nieuwe parameters toe, maar selecteren en fine-tunen een kleine deelverzameling van bestaande parameters. - **BitFit:** Een uiterst zuinige methode die alleen de biasvectoren (bias terms) en de parameters van normalisatielagen fine-tunet, waarbij minder dan 0,1% van het totale aantal parameters wordt bijgewerkt. - **Differentieel prunen (Diff Pruning):** Gebruikt een traineerbaar masker om dynamisch te bepalen welke gewichten tijdens het trainingsproces moeten worden bijgewerkt^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-huggingface_peft_methods-3)}. ### Reparametriserende methoden Deze categorie is gebaseerd op de hypothese dat de gewichtsveranderingen voor modelaanpassing een lage «intrinsieke rang» hebben. In plaats van volledige gewichtsmatrices bij te werken, werken deze methoden hun laagrangige representatie bij. - **LoRA (Low-Rank Adaptation):** De populairste PEFT-methode op dit moment. De methode gaat ervan uit dat de update van een gewichtsmatrix \`ΔW\` kan worden benaderd door het product van twee laagrangige matrices: \`ΔW = BA\`. Tijdens het fine-tunen wordt de oorspronkelijke matrix \`W\` bevroren, terwijl alleen \`A\` en \`B\` worden getraind^{[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-hu2021lora-7)}. - **QLoRA:** Combineert LoRA met kwantiseringstechnieken voor een nog verdere verlaging van de geheugenbenodigdheden, waardoor het mogelijk is modellen met 65 miljard parameters te fine-tunen op één consumentenklasse GPU^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-dettmers2023qlora-8)}. ## Vergelijking van prestaties en resources PEFT-methoden maken het mogelijk om prestaties te bereiken die vergelijkbaar zijn met volledig fine-tunen, met een drastische verlaging van de kosten. | Model | Methode | Traineerbare parameters (%) | Resultaat op benchmark (Gem. nauwkeurigheid) | Bron | |------------|-------------------------|-----------------------------|----------------------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Volledig fine-tunen | 100% | 80.4 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-houlsby2019-4)} | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-houlsby2019-4)} | | LLaMA-7B | LoRA | 0.83% | 74.7% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-dora_paper-9)} | | LLaMA-7B | DoRA (variant van LoRA) | 0.84% | 78.1% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-dora_paper-9)} | Vergelijkende prestaties en efficiëntie van PEFT-methoden Belangrijkste voordelen van PEFT op het gebied van resourcebesparing: - **GPU-geheugen (VRAM):** Voor het model LLaMA 65B vereist volledig fine-tunen theoretisch \>780 GB VRAM, terwijl **QLoRA** het mogelijk maakt dit model te fine-tunen op een GPU met \<48 GB VRAM^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_note-dettmers2023qlora-8)}. - **Opslagcapaciteit:** Checkpoints die na PEFT worden opgeslagen, beslaan megabytes in plaats van gigabytes. Hierdoor kunnen honderden «adapters» voor verschillende taken worden opgeslagen in de ruimte die één volledig gefinetuned model zou innemen. ## Toepassingsgebieden Oorspronkelijk ontwikkeld voor NLP, zijn PEFT-methoden succesvol aangepast voor een breed scala aan taken: - **Computer Vision (CV) en multimodale modellen (VLM):** Aanpassing van modellen zoals Vision Transformer (ViT) en Segment Anything Model (SAM) voor beeldsegmentatietaken, ook in de biomedische sector. - **Generatie en analyse van code:** Afstemming van LLM's op de specificiteiten van concrete softwareprojecten, interne API's of codebases. - **Generatieve modellen:** «Stilering» van modellen voor beeldgeneratie, zoals Stable Diffusion, met behulp van LoRA-adapters (Dreambooth-techniek). - **Spraaksynthese:** Aanpassing van modellen voor het genereren van spraak met een bepaalde stem, intonatie of emotionele kleur. ## Verwijzingen - Repository van de PEFT-bibliotheek op GitHub - Officiële documentatie van de PEFT-bibliotheek van Hugging Face ## Literatuur - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Noten 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-mlm_problems_2025_2-0)} ^{[2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-mlm_problems_2025_2-1)} «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-huggingface_peft_methods_3-0)} ^{[3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-huggingface_peft_methods_3-1)} «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-houlsby2019_4-0)} ^{[4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-houlsby2019_4-1)} ^{[4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-houlsby2019_4-2)} Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-dettmers2023qlora_8-0)} ^{[8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-dettmers2023qlora_8-1)} Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-dora_paper_9-0)} ^{[9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(NL)#cite_ref-dora_paper_9-1)} «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]