--- title: "PEFT" source: "https://systems-analysis.info/wiki/PEFT" wiki: "systems-analysis.info/wiki" article: "PEFT" language: "ru" categories: - "Категория:Russian" - "Категория:Большие языковые модели" - "Категория:Машинное обучение" revision_id: 160 wiki_created_at: 2026-09-06T22:04:38Z wiki_modified_at: 2026-09-06T22:04:38Z downloaded_at: 2026-09-07T22:17:54Z --- # PEFT **Параметро-эффективное дообучение** (англ. **Parameter-Efficient [Fine-Tuning](https://systems-analysis.info/wiki/Fine-tuning "Fine-tuning"), PEFT**) — это совокупность методов адаптации больших предварительно обученных моделей, таких как [большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM), к специфическим задачам с минимальными вычислительными и ресурсными затратами. В отличие от традиционного **полного дообучения** (*full fine-tuning*), которое требует обновления всех параметров модели, PEFT-методы фокусируются на модификации лишь небольшой части весов (менее 1-5% от общего числа), оставляя основную часть модели неизменной («замороженной»)^{[\[1\]](https://systems-analysis.info/wiki/PEFT#cite_note-survey_arxiv_2025-1)}. Этот подход позволяет значительно сократить требования к памяти, объему хранилища и времени обучения, делая процесс адаптации мощных фундаментальных моделей более доступным и устойчивым к проблеме катастрофического забывания^{[\[2\]](https://systems-analysis.info/wiki/PEFT#cite_note-mlm_problems_2025-2)}. ## Проблемы полного дообучения Традиционное полное дообучение, при котором обновляются все параметры модели, сталкивается с рядом критических проблем, которые послужили катализатором для разработки PEFT: - **Высокие вычислительные затраты:** Обновление сотен миллиардов параметров требует огромных вычислительных мощностей (высокопроизводительные GPU/TPU) и большого объёма видеопамяти (VRAM), что делает процесс дорогим и недоступным для многих исследователей. - **Неэффективность хранения:** Для каждой новой задачи необходимо хранить полную, многогигабайтную копию модели, что приводит к экспоненциальному росту требований к дисковому пространству. - **Катастрофическое забывание (Catastrophic Forgetting):** Модель, адаптируясь к новым данным, "забывает" общие знания, полученные на этапе предварительного обучения, что снижает её производительность на других задачах. - **Риск переобучения (Overfitting):** На небольших наборах данных для дообучения модели с миллиардами параметров склонны "запоминать" обучающие примеры вместо изучения обобщающих паттернов^{[\[2\]](https://systems-analysis.info/wiki/PEFT#cite_note-mlm_problems_2025-2)}. ## Таксономия методов PEFT Методы PEFT можно классифицировать по тому, каким образом они изменяют параметры модели. Существуют три основные категории: аддитивные, селективные и репараметризационные^{[\[3\]](https://systems-analysis.info/wiki/PEFT#cite_note-huggingface_peft_methods-3)}. ### Аддитивные методы Эти методы замораживают все исходные веса модели и добавляют новые, небольшие обучаемые модули. - **Адаптеры (Adapters):** Наиболее ранний аддитивный метод. Небольшие нейросетевые модули с архитектурой «бутылочного горлышка» вставляются между слоями трансформера. Обучаются только веса этих адаптеров^{[\[4\]](https://systems-analysis.info/wiki/PEFT#cite_note-houlsby2019-4)}. - **Методы на основе "мягких" промптов (Soft Prompts):** Вместо изменения весов модели, эти методы добавляют к входным данным обучаемые векторы («виртуальные [токены](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен")»), которые направляют поведение модели. Ключевые варианты: - **Prompt Tuning:** Добавляет обучаемые векторы только к входным эмбеддингам. - **Prefix-Tuning:** Добавляет обучаемые векторные префиксы к скрытым состояниям на каждом слое механизма внимания, что дает более тонкий контроль^{[\[5\]](https://systems-analysis.info/wiki/PEFT#cite_note-li2021prefix-5)}. - **P-Tuning v2:** Обобщение идеи Prefix-Tuning, которое применяет обучаемые промпты на всех слоях модели, достигая производительности, сопоставимой с полным дообучением^{[\[6\]](https://systems-analysis.info/wiki/PEFT#cite_note-liu2021ptuningv2-6)}. ### Селективные методы Эти методы не добавляют новых параметров, а выбирают и дообучают небольшое подмножество уже существующих. - **BitFit:** Экстремально экономный метод, который дообучает только векторы смещения (bias terms) и параметры слоев нормализации, обновляя менее 0.1% от общего числа параметров. - **Дифференциальное прунинг (Diff Pruning):** Использует обучаемую маску для динамического определения того, какие веса следует обновлять в процессе обучения^{[\[3\]](https://systems-analysis.info/wiki/PEFT#cite_note-huggingface_peft_methods-3)}. ### Репараметризационные методы Эта категория основана на гипотезе, что изменения весов для адаптации модели имеют низкий «внутренний ранг». Вместо обновления полноразмерных матриц весов, эти методы обновляют их низкоранговое представление. - **LoRA (Low-Rank Adaptation):** Самый популярный PEFT-метод на сегодняшний день. Он предполагает, что обновление матрицы весов \`ΔW\` можно аппроксимировать произведением двух низкоранговых матриц: \`ΔW = BA\`. В процессе дообучения замораживается исходная матрица \`W\`, а обучаются только \`A\` и \`B\`^{[\[7\]](https://systems-analysis.info/wiki/PEFT#cite_note-hu2021lora-7)}. - **QLoRA:** Комбинирует LoRA с техниками квантизации для еще большего снижения требований к памяти, позволяя дообучать модели с 65 млрд параметров на одном потребительском GPU^{[\[8\]](https://systems-analysis.info/wiki/PEFT#cite_note-dettmers2023qlora-8)}. ## Сравнение производительности и ресурсов PEFT-методы позволяют достигать производительности, сопоставимой с полным дообучением, при радикальном снижении затрат. | Модель | Метод | Обучаемые параметры (%) | Результат на бенчмарке (Avg. Accuracy) | Источник | |------------|---------------------|-------------------------|----------------------------------------|-------------------------------------------------------------------------------------| | BERT-Large | Полное дообучение | 100% | 80.4 (GLUE) | ^{[\[4\]](https://systems-analysis.info/wiki/PEFT#cite_note-houlsby2019-4)} | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | ^{[\[4\]](https://systems-analysis.info/wiki/PEFT#cite_note-houlsby2019-4)} | | LLaMA-7B | LoRA | 0.83% | 74.7% | ^{[\[9\]](https://systems-analysis.info/wiki/PEFT#cite_note-dora_paper-9)} | | LLaMA-7B | DoRA (вариант LoRA) | 0.84% | 78.1% | ^{[\[9\]](https://systems-analysis.info/wiki/PEFT#cite_note-dora_paper-9)} | Сравнительная производительность и эффективность PEFT-методов Ключевые преимущества PEFT в экономии ресурсов: - **Память GPU (VRAM):** Для модели [LLaMA](https://systems-analysis.info/wiki/LLaMA "LLaMA") 65B полное дообучение теоретически требует \>780 ГБ VRAM, тогда как **QLoRA** позволяет дообучать её на GPU с \<48 ГБ VRAM^{[\[8\]](https://systems-analysis.info/wiki/PEFT#cite_note-dettmers2023qlora-8)}. - **Объем хранилища:** Чекпоинты, сохраняемые после PEFT, занимают мегабайты, а не гигабайты. Это позволяет хранить сотни «адаптеров» для разных задач в объеме, который заняла бы одна полностью дообученная модель. ## Области применения Изначально разработанные для NLP, методы PEFT были успешно адаптированы для широкого круга задач: - **Компьютерное зрение (CV) и мультимодальные модели (VLM):** Адаптация моделей, таких как Vision Transformer (ViT) и Segment Anything Model (SAM), для задач сегментации изображений, в том числе в биомедицине. - **Генерация и анализ кода:** Настройка LLM на специфику конкретных программных проектов, внутренних API или баз кода. - **Генеративные модели:** "Стилизация" моделей генерации изображений, таких как Stable Diffusion, с помощью LoRA-адаптеров (техника Dreambooth). - **Синтез речи:** Адаптация моделей для генерации речи с определённым голосом, интонацией или эмоциональной окраской. ## См. также - [Архитектура Transformer](https://systems-analysis.info/wiki/%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_Transformer "Архитектура Transformer") - [Большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") - [AI-агент](https://systems-analysis.info/wiki/AI-%D0%B0%D0%B3%D0%B5%D0%BD%D1%82 "AI-агент") - [Agentic workflows](https://systems-analysis.info/wiki/Agentic_workflows "Agentic workflows") - [AutoGPT](https://systems-analysis.info/wiki/AutoGPT "AutoGPT") ## Ссылки - Репозиторий библиотеки PEFT на GitHub - Официальная документация библиотеки PEFT от Hugging Face ## Литература - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Примечания 1. [↑](https://systems-analysis.info/wiki/PEFT#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ ^{[2,0](https://systems-analysis.info/wiki/PEFT#cite_ref-mlm_problems_2025_2-0)} ^{[2,1](https://systems-analysis.info/wiki/PEFT#cite_ref-mlm_problems_2025_2-1)} «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ ^{[3,0](https://systems-analysis.info/wiki/PEFT#cite_ref-huggingface_peft_methods_3-0)} ^{[3,1](https://systems-analysis.info/wiki/PEFT#cite_ref-huggingface_peft_methods_3-1)} «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ ^{[4,0](https://systems-analysis.info/wiki/PEFT#cite_ref-houlsby2019_4-0)} ^{[4,1](https://systems-analysis.info/wiki/PEFT#cite_ref-houlsby2019_4-1)} ^{[4,2](https://systems-analysis.info/wiki/PEFT#cite_ref-houlsby2019_4-2)} Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/wiki/PEFT#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/wiki/PEFT#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/wiki/PEFT#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ ^{[8,0](https://systems-analysis.info/wiki/PEFT#cite_ref-dettmers2023qlora_8-0)} ^{[8,1](https://systems-analysis.info/wiki/PEFT#cite_ref-dettmers2023qlora_8-1)} Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ ^{[9,0](https://systems-analysis.info/wiki/PEFT#cite_ref-dora_paper_9-0)} ^{[9,1](https://systems-analysis.info/wiki/PEFT#cite_ref-dora_paper_9-1)} «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]