--- title: "PEFT (Parameter-Efficient Fine-Tuning) (BG)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)" language: "bg" categories: - "Category:Bulgarian" - "Category:Large language models" - "Category:Machine learning" revision_id: 5278 wiki_created_at: 2026-09-06T23:47:01Z wiki_modified_at: 2026-09-06T23:47:01Z downloaded_at: 2026-09-07T23:07:33Z --- # PEFT (Parameter-Efficient Fine-Tuning) (BG) **Параметрично-ефективно дообучване** (англ. **Parameter-Efficient Fine-Tuning, PEFT**) — това е съвкупност от методи за адаптиране на големи предварително обучени модели, като големи езикови модели (LLM), към специфични задачи с минимални изчислителни и ресурсни разходи. За разлика от традиционното **пълно дообучване** (*full fine-tuning*), което изисква актуализиране на всички параметри на модела, PEFT-методите се фокусират върху модифицирането само на малка част от теглата (под 1-5% от общия им брой), оставяйки основната част на модела непроменена („замразена")[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-survey_arxiv_2025-1). Този подход позволява значително намаляване на изискванията към паметта, обема на хранилището и времето за обучение, правейки процеса на адаптиране на мощни фундаментални модели по-достъпен и устойчив на проблема с катастрофалното забравяне[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-mlm_problems_2025-2). ## Проблеми на пълното дообучване Традиционното пълно дообучване, при което се актуализират всички параметри на модела, се сблъсква с редица критични проблеми, послужили като катализатор за разработването на PEFT: - **Високи изчислителни разходи:** Актуализирането на стотици милиарди параметри изисква огромна изчислителна мощност (високопроизводителни GPU/TPU) и голям обем видеопамет (VRAM), което прави процеса скъп и недостъпен за много изследователи. - **Неефективност на съхранението:** За всяка нова задача е необходимо да се съхранява пълно, многогигабайтово копие на модела, което води до експоненциален ръст на изискванията към дисковото пространство. - **Катастрофално забравяне (Catastrophic Forgetting):** Моделът, адаптирайки се към нови данни, „забравя" общите знания, придобити на етапа на предварителното обучение, което намалява производителността му при други задачи. - **Риск от преобучаване (Overfitting):** При малки набори от данни за дообучване моделите с милиарди параметри са склонни да „запомнят" обучаващите примери вместо да усвояват обобщаващи модели[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-mlm_problems_2025-2). ## Таксономия на PEFT-методите Методите PEFT могат да се класифицират според начина, по който изменят параметрите на модела. Съществуват три основни категории: адитивни, селективни и репараметризационни[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-huggingface_peft_methods-3). ### Адитивни методи Тези методи замразяват всички оригинални тегла на модела и добавят нови, малки обучаеми модули. - **Адаптери (Adapters):** Най-ранният адитивен метод. Малки невронни модули с архитектура „тесно гърло" се вмъкват между слоевете на transformer. Обучават се само теглата на тези адаптери[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-houlsby2019-4). - **Методи, базирани на „меки" prompt-ове (Soft Prompts):** Вместо промяна на теглата на модела, тези методи добавят към входните данни обучаеми вектори („виртуални token-и"), които насочват поведението на модела. Ключови варианти: - **Prompt Tuning:** Добавя обучаеми вектори само към входните embedding-и. - **Prefix-Tuning:** Добавя обучаеми векторни префикси към скритите състояния на всеки слой от механизма на вниманието, което осигурява по-фин контрол[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-li2021prefix-5). - **P-Tuning v2:** Обобщение на идеята за Prefix-Tuning, което прилага обучаеми prompt-ове на всички слоеве на модела, постигайки производителност, сравнима с пълното дообучване[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-liu2021ptuningv2-6). ### Селективни методи Тези методи не добавят нови параметри, а избират и дообучават малко подмножество от вече съществуващите. - **BitFit:** Изключително икономичен метод, който дообучава само векторите на отместването (bias terms) и параметрите на слоевете за нормализация, актуализирайки по-малко от 0.1% от общия брой параметри. - **Диференциално подрязване (Diff Pruning):** Използва обучаема маска за динамично определяне кои тегла трябва да се актуализират в процеса на обучение[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-huggingface_peft_methods-3). ### Репараметризационни методи Тази категория се основава на хипотезата, че промените в теглата при адаптирането на модела имат нисък „вътрешен ранг". Вместо да актуализират матриците на теглата в пълен размер, тези методи актуализират тяхното нискорангово представяне. - **LoRA (Low-Rank Adaptation):** Най-популярният PEFT-метод към днешна дата. Предполага, че актуализацията на матрицата на теглата \`ΔW\` може да се апроксимира с произведението на две нискорангови матрици: \`ΔW = BA\`. В процеса на дообучване оригиналната матрица \`W\` се замразява, а се обучават само \`A\` и \`B\`[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-hu2021lora-7). - **QLoRA:** Комбинира LoRA с техники за квантизация за допълнително намаляване на изискванията към паметта, позволявайки дообучването на модели с 65 млрд. параметра на един потребителски GPU[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-dettmers2023qlora-8). ## Сравнение на производителността и ресурсите PEFT-методите позволяват постигане на производителност, сравнима с пълното дообучване, при радикално намаляване на разходите. | Модел | Метод | Обучаеми параметри (%) | Резултат на benchmark (Avg. Accuracy) | Източник | |------------|------------------------|------------------------|---------------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Пълно дообучване | 100% | 80.4 (GLUE) | [\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-houlsby2019-4) | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | [\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-houlsby2019-4) | | LLaMA-7B | LoRA | 0.83% | 74.7% | [\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-dora_paper-9) | | LLaMA-7B | DoRA (вариант на LoRA) | 0.84% | 78.1% | [\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-dora_paper-9) | Сравнителна производителност и ефективност на PEFT-методите Ключови предимства на PEFT по отношение на ресурсите: - **Памет на GPU (VRAM):** За модела LLaMA 65B пълното дообучване теоретично изисква \>780 ГБ VRAM, докато **QLoRA** позволява дообучването му на GPU с \<48 ГБ VRAM[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_note-dettmers2023qlora-8). - **Обем на хранилището:** Контролните точки, запазвани след PEFT, заемат мегабайти, а не гигабайти. Това позволява съхраняването на стотици „адаптери" за различни задачи в обем, който би заела един напълно дообучен модел. ## Области на приложение Изначално разработени за NLP, методите PEFT бяха успешно адаптирани за широк кръг задачи: - **Компютърно зрение (CV) и мултимодални модели (VLM):** Адаптиране на модели като Vision Transformer (ViT) и Segment Anything Model (SAM) за задачи по сегментиране на изображения, включително в биомедицината. - **Генериране и анализ на код:** Настройка на LLM към спецификата на конкретни програмни проекти, вътрешни API или кодови бази. - **Генеративни модели:** „Стилизиране" на модели за генериране на изображения, като Stable Diffusion, с помощта на LoRA-адаптери (техниката Dreambooth). - **Синтез на реч:** Адаптиране на модели за генериране на реч с определен глас, интонация или емоционална окраска. ## Връзки - Хранилище на библиотеката PEFT в GitHub - Официална документация на библиотеката PEFT от Hugging Face ## Литература - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Бележки 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-mlm_problems_2025_2-0) [2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-mlm_problems_2025_2-1) «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-huggingface_peft_methods_3-0) [3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-huggingface_peft_methods_3-1) «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-houlsby2019_4-0) [4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-houlsby2019_4-1) [4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-houlsby2019_4-2) Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ [8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-dettmers2023qlora_8-0) [8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-dettmers2023qlora_8-1) Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ [9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-dora_paper_9-0) [9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(BG)#cite_ref-dora_paper_9-1) «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]