--- title: "PEFT (Parameter-Efficient Fine-Tuning) (PL)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)" language: "pl" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Polish" revision_id: 5293 wiki_created_at: 2026-09-06T23:47:14Z wiki_modified_at: 2026-09-06T23:47:14Z downloaded_at: 2026-09-07T23:07:39Z --- # PEFT (Parameter-Efficient Fine-Tuning) (PL) **Parametrooszczędne dostrajanie** (ang. **Parameter-Efficient Fine-Tuning, PEFT**) — to zbiór metod adaptacji dużych wstępnie wytrenowanych modeli, takich jak duże modele językowe (LLM), do specyficznych zadań przy minimalnych kosztach obliczeniowych i zasobowych. W przeciwieństwie do tradycyjnego **pełnego dostrajania** (*full fine-tuning*), które wymaga aktualizacji wszystkich parametrów modelu, metody PEFT koncentrują się na modyfikacji jedynie niewielkiej części wag (mniej niż 1–5% łącznej liczby), pozostawiając główną część modelu niezmienioną („zamrożoną\\)^{[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-survey_arxiv_2025-1)}. Podejście to pozwala znacząco zmniejszyć wymagania dotyczące pamięci, przestrzeni dyskowej i czasu trenowania, czyniąc proces adaptacji potężnych modeli fundamentalnych bardziej dostępnym i odpornym na problem katastroficznego zapominania^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-mlm_problems_2025-2)}. ## Problemy pełnego dostrajania Tradycyjne pełne dostrajanie, podczas którego aktualizowane są wszystkie parametry modelu, napotyka szereg krytycznych problemów, które stały się katalizatorem dla opracowania PEFT: - **Wysokie koszty obliczeniowe:** Aktualizacja setek miliardów parametrów wymaga ogromnych mocy obliczeniowych (wysokowydajnych GPU/TPU) oraz dużej ilości pamięci wideo (VRAM), co sprawia, że proces jest kosztowny i niedostępny dla wielu badaczy. - **Nieefektywność przechowywania:** Dla każdego nowego zadania konieczne jest przechowywanie pełnej, wielogigabajtowej kopii modelu, co prowadzi do wykładniczego wzrostu wymagań dotyczących przestrzeni dyskowej. - **Katastroficzne zapominanie (Catastrophic Forgetting):** Model, adaptując się do nowych danych, „zapomina" ogólną wiedzę zdobytą na etapie wstępnego trenowania, co obniża jego wydajność na innych zadaniach. - **Ryzyko przeuczenia (Overfitting):** Na małych zbiorach danych modele z miliardami parametrów mają tendencję do „zapamiętywania" przykładów treningowych zamiast uczenia się uogólniających wzorców^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-mlm_problems_2025-2)}. ## Taksonomia metod PEFT Metody PEFT można sklasyfikować według sposobu, w jaki modyfikują parametry modelu. Istnieją trzy główne kategorie: addytywne, selektywne i reparametryzacyjne^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-huggingface_peft_methods-3)}. ### Metody addytywne Metody te zamrażają wszystkie oryginalne wagi modelu i dodają nowe, niewielkie moduły treningowe. - **Adaptery (Adapters):** Najwcześniejsza metoda addytywna. Małe moduły neuronowe o architekturze \\wąskiego gardła\\ są wstawiane między warstwy transformera. Trenowane są tylko wagi tych adapterów^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-houlsby2019-4)}. - **Metody oparte na \\miękkich\\ promptach (Soft Prompts):** Zamiast modyfikować wagi modelu, metody te dodają do danych wejściowych treningowe wektory („wirtualne tokeny"), które kierują zachowaniem modelu. Kluczowe warianty: - **Prompt Tuning:** Dodaje treningowe wektory tylko do wejściowych embeddingów. - **Prefix-Tuning:** Dodaje treningowe prefiksy wektorowe do ukrytych stanów na każdej warstwie mechanizmu uwagi, zapewniając bardziej precyzyjną kontrolę^{[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-li2021prefix-5)}. - **P-Tuning v2:** Uogólnienie idei Prefix-Tuning, które stosuje treningowe prompty na wszystkich warstwach modelu, osiągając wydajność porównywalną z pełnym dostrajaniem^{[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-liu2021ptuningv2-6)}. ### Metody selektywne Metody te nie dodają nowych parametrów, lecz wybierają i dostrajają niewielki podzbiór już istniejących. - **BitFit:** Ekstremalnie oszczędna metoda, która dostraja tylko wektory przesunięcia (bias terms) oraz parametry warstw normalizacji, aktualizując mniej niż 0,1% łącznej liczby parametrów. - **Różnicowe przycinanie (Diff Pruning):** Wykorzystuje treningową maskę do dynamicznego określania, które wagi mają być aktualizowane w trakcie trenowania^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-huggingface_peft_methods-3)}. ### Metody reparametryzacyjne Kategoria ta opiera się na hipotezie, że zmiany wag podczas adaptacji modelu mają niski „wewnętrzny rząd". Zamiast aktualizować pełnowymiarowe macierze wag, metody te aktualizują ich niskorangowe reprezentacje. - **LoRA (Low-Rank Adaptation):** Najpopularniejsza metoda PEFT na dzień dzisiejszy. Zakłada, że aktualizację macierzy wag \`ΔW\` można aproksymować iloczynem dwóch niskorangowych macierzy: \`ΔW = BA\`. W procesie dostrajania oryginalna macierz \`W\` jest zamrażana, a trenowane są tylko \`A\` i \`B\`^{[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-hu2021lora-7)}. - **QLoRA:** Łączy LoRA z technikami kwantyzacji w celu dalszego zmniejszenia wymagań pamięciowych, umożliwiając dostrajanie modeli z 65 mld parametrów na pojedynczym konsumenckim GPU^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-dettmers2023qlora-8)}. ## Porównanie wydajności i zasobów Metody PEFT pozwalają osiągać wydajność porównywalną z pełnym dostrajaniem przy radykalnym obniżeniu kosztów. | Model | Metoda | Treningowe parametry (%) | Wynik na benchmarku (Avg. Accuracy) | Źródło | |------------|---------------------|--------------------------|-------------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Pełne dostrajanie | 100% | 80.4 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-houlsby2019-4)} | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-houlsby2019-4)} | | LLaMA-7B | LoRA | 0.83% | 74.7% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-dora_paper-9)} | | LLaMA-7B | DoRA (wariant LoRA) | 0.84% | 78.1% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-dora_paper-9)} | Porównanie wydajności i efektywności metod PEFT Kluczowe zalety PEFT w zakresie oszczędności zasobów: - **Pamięć GPU (VRAM):** Dla modelu LLaMA 65B pełne dostrajanie teoretycznie wymaga \>780 GB VRAM, podczas gdy **QLoRA** pozwala go dostrajać na GPU z \<48 GB VRAM^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_note-dettmers2023qlora-8)}. - **Przestrzeń dyskowa:** Punkty kontrolne (checkpointy) zapisywane po PEFT zajmują megabajty, a nie gigabajty. Pozwala to przechowywać setki „adapterów\\ dla różnych zadań w przestrzeni, którą zajęłby jeden w pełni dostrojony model. ## Obszary zastosowań Pierwotnie opracowane dla NLP, metody PEFT zostały z powodzeniem zaadaptowane do szerokiego zakresu zadań: - **Widzenie komputerowe (CV) i modele multimodalne (VLM):** Adaptacja modeli takich jak Vision Transformer (ViT) i Segment Anything Model (SAM) do zadań segmentacji obrazów, w tym w biomedycynie. - **Generowanie i analiza kodu:** Dostrajanie LLM do specyfiki konkretnych projektów programistycznych, wewnętrznych API lub baz kodu. - **Modele generatywne:** „Stylizacja" modeli generowania obrazów, takich jak Stable Diffusion, za pomocą adapterów LoRA (technika Dreambooth). - **Synteza mowy:** Adaptacja modeli do generowania mowy z określonym głosem, intonacją lub zabarwieniem emocjonalnym. ## Odnośniki - Repozytorium biblioteki PEFT na GitHub - Oficjalna dokumentacja biblioteki PEFT od Hugging Face ## Literatura - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Przypisy 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-mlm_problems_2025_2-0)} ^{[2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-mlm_problems_2025_2-1)} «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-huggingface_peft_methods_3-0)} ^{[3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-huggingface_peft_methods_3-1)} «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-houlsby2019_4-0)} ^{[4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-houlsby2019_4-1)} ^{[4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-houlsby2019_4-2)} Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-dettmers2023qlora_8-0)} ^{[8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-dettmers2023qlora_8-1)} Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-dora_paper_9-0)} ^{[9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(PL)#cite_ref-dora_paper_9-1)} «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]