--- title: "PEFT (Parameter-Efficient Fine-Tuning) (TH)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)" language: "th" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Thai" revision_id: 5297 wiki_created_at: 2026-09-06T23:47:17Z wiki_modified_at: 2026-09-06T23:47:17Z downloaded_at: 2026-09-07T23:07:40Z --- # PEFT (Parameter-Efficient Fine-Tuning) (TH) **การ fine-tuning แบบประหยัดพารามิเตอร์** (อังกฤษ: **Parameter-Efficient Fine-Tuning, PEFT**) — คือกลุ่มวิธีการสำหรับการปรับโมเดลขนาดใหญ่ที่ผ่านการเทรนมาก่อน เช่น โมเดลภาษาขนาดใหญ่ (LLM) ให้เข้ากับงานเฉพาะทางด้วยต้นทุนด้านการคำนวณและทรัพยากรที่น้อยที่สุด ต่างจาก **full fine-tuning** แบบดั้งเดิมที่ต้องอัปเดตพารามิเตอร์ทั้งหมดของโมเดล วิธีการ PEFT มุ่งเน้นการปรับเปลี่ยนเฉพาะพารามิเตอร์ส่วนเล็กน้อย (น้อยกว่า 1–5% ของจำนวนทั้งหมด) โดยคงส่วนหลักของโมเดลไว้ไม่เปลี่ยนแปลง («แช่แข็ง»)[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-survey_arxiv_2025-1) แนวทางนี้ช่วยลดความต้องการด้านหน่วยความจำ พื้นที่จัดเก็บข้อมูล และเวลาในการเทรนได้อย่างมีนัยสำคัญ ทำให้กระบวนการปรับโมเดลพื้นฐานที่ทรงพลังนั้นเข้าถึงได้ง่ายขึ้นและมีความทนทานต่อปัญหา catastrophic forgetting[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-mlm_problems_2025-2) ## ปัญหาของ full fine-tuning การทำ full fine-tuning แบบดั้งเดิมซึ่งอัปเดตพารามิเตอร์ทั้งหมดของโมเดล เผชิญกับปัญหาสำคัญหลายประการที่เป็นแรงผลักดันให้เกิดการพัฒนา PEFT: - **ต้นทุนการคำนวณสูง:** การอัปเดตพารามิเตอร์หลายร้อยพันล้านตัวต้องใช้ทรัพยากรการคำนวณมหาศาล (GPU/TPU ประสิทธิภาพสูง) และหน่วยความจำกราฟิก (VRAM) จำนวนมาก ทำให้กระบวนการนี้มีค่าใช้จ่ายสูงและนักวิจัยจำนวนมากไม่สามารถเข้าถึงได้ - **ความไม่มีประสิทธิภาพด้านการจัดเก็บ:** สำหรับงานใหม่แต่ละงาน จำเป็นต้องจัดเก็บสำเนาโมเดลขนาดหลายกิกะไบต์อย่างครบถ้วน ส่งผลให้ความต้องการพื้นที่ดิสก์เพิ่มขึ้นแบบทวีคูณ - **Catastrophic Forgetting:** โมเดลที่ปรับตัวเข้ากับข้อมูลใหม่จะ "ลืม" ความรู้ทั่วไปที่ได้รับในขั้นตอนการเทรนล่วงหน้า ส่งผลให้ประสิทธิภาพในงานอื่นลดลง - **ความเสี่ยงต่อการ Overfitting:** บนชุดข้อมูลขนาดเล็กสำหรับการ fine-tuning โมเดลที่มีพารามิเตอร์หลายพันล้านตัวมีแนวโน้มที่จะ "จำ" ตัวอย่างการเทรนแทนที่จะเรียนรู้รูปแบบที่สามารถนำไปใช้งานได้ทั่วไป[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-mlm_problems_2025-2) ## อนุกรมวิธานของวิธีการ PEFT วิธีการ PEFT สามารถจำแนกตามวิธีที่แต่ละวิธีปรับเปลี่ยนพารามิเตอร์ของโมเดล มีสามหมวดหมู่หลัก ได้แก่ additive, selective และ reparameterization[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-huggingface_peft_methods-3) ### วิธีการแบบ Additive วิธีการเหล่านี้จะแช่แข็งน้ำหนักเดิมทั้งหมดของโมเดลและเพิ่มโมดูลขนาดเล็กที่สามารถเทรนได้ใหม่เข้าไป - **Adapters:** วิธีการ additive ที่เกิดขึ้นเร็วที่สุด โมดูล Neural Network ขนาดเล็กที่มีสถาปัตยกรรมแบบ "คอขวด" ถูกแทรกไว้ระหว่างชั้นต่าง ๆ ของ transformer โดยจะเทรนเฉพาะน้ำหนักของ adapter เหล่านี้[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-houlsby2019-4) - **วิธีการที่ใช้ Soft Prompts:** แทนที่จะเปลี่ยนน้ำหนักของโมเดล วิธีการเหล่านี้เพิ่ม vector ที่สามารถเทรนได้ («virtual token») ลงในข้อมูลนำเข้า เพื่อชี้นำพฤติกรรมของโมเดล รูปแบบหลัก ได้แก่: - **Prompt Tuning:** เพิ่ม vector ที่สามารถเทรนได้เฉพาะในส่วน embedding ของข้อมูลนำเข้า - **Prefix-Tuning:** เพิ่ม prefix vector ที่สามารถเทรนได้ไปยัง hidden state ในทุกชั้นของกลไก attention ซึ่งให้การควบคุมที่ละเอียดกว่า[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-li2021prefix-5) - **P-Tuning v2:** การขยายแนวคิดของ Prefix-Tuning ที่นำ prompt ที่สามารถเทรนได้มาใช้ในทุกชั้นของโมเดล บรรลุประสิทธิภาพที่เทียบได้กับ full fine-tuning[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-liu2021ptuningv2-6) ### วิธีการแบบ Selective วิธีการเหล่านี้ไม่เพิ่มพารามิเตอร์ใหม่ แต่เลือกและทำการ fine-tuning เฉพาะกลุ่มย่อยเล็ก ๆ ของพารามิเตอร์ที่มีอยู่แล้ว - **BitFit:** วิธีการที่ประหยัดอย่างยิ่ง ซึ่งทำการ fine-tuning เฉพาะ bias term และพารามิเตอร์ของชั้น normalization โดยอัปเดตน้อยกว่า 0.1% ของจำนวนพารามิเตอร์ทั้งหมด - **Diff Pruning:** ใช้ mask ที่สามารถเทรนได้เพื่อกำหนดแบบ dynamic ว่าน้ำหนักใดควรได้รับการอัปเดตในระหว่างการเทรน[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-huggingface_peft_methods-3) ### วิธีการแบบ Reparameterization หมวดหมู่นี้ตั้งอยู่บนสมมติฐานที่ว่าการเปลี่ยนแปลงน้ำหนักสำหรับการปรับโมเดลมี "rank ภายใน" ต่ำ แทนที่จะอัปเดต matrix น้ำหนักขนาดเต็ม วิธีการเหล่านี้จะอัปเดตการแทนค่า low-rank ของ matrix เหล่านั้น - **LoRA (Low-Rank Adaptation):** วิธีการ PEFT ที่ได้รับความนิยมมากที่สุดในปัจจุบัน วิธีนี้ตั้งสมมติฐานว่าการอัปเดต matrix น้ำหนัก \`ΔW\` สามารถประมาณได้ด้วยผลคูณของ matrix low-rank สองตัว: \`ΔW = BA\` ในระหว่าง fine-tuning จะแช่แข็ง matrix เดิม \`W\` และเทรนเฉพาะ \`A\` และ \`B\`[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-hu2021lora-7) - **QLoRA:** รวม LoRA เข้ากับเทคนิค quantization เพื่อลดความต้องการหน่วยความจำให้ยิ่งน้อยลงไปอีก ช่วยให้สามารถทำ fine-tuning โมเดลที่มี 65 พันล้านพารามิเตอร์บน GPU สำหรับผู้บริโภคทั่วไปเพียงตัวเดียว[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-dettmers2023qlora-8) ## การเปรียบเทียบประสิทธิภาพและทรัพยากร วิธีการ PEFT ช่วยให้บรรลุประสิทธิภาพที่เทียบได้กับ full fine-tuning โดยลดต้นทุนลงอย่างมีนัยสำคัญ | โมเดล | วิธีการ | พารามิเตอร์ที่เทรนได้ (%) | ผลลัพธ์บน benchmark (Avg. Accuracy) | แหล่งอ้างอิง | |------------|-------------------------|----------------------|-----------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Full fine-tuning | 100% | 80.4 (GLUE) | [\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-houlsby2019-4) | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | [\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-houlsby2019-4) | | LLaMA-7B | LoRA | 0.83% | 74.7% | [\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-dora_paper-9) | | LLaMA-7B | DoRA (รูปแบบหนึ่งของ LoRA) | 0.84% | 78.1% | [\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-dora_paper-9) | ประสิทธิภาพและความคุ้มค่าเชิงเปรียบเทียบของวิธีการ PEFT ข้อดีหลักของ PEFT ในการประหยัดทรัพยากร: - **หน่วยความจำ GPU (VRAM):** สำหรับโมเดล LLaMA 65B การทำ full fine-tuning ต้องการ VRAM มากกว่า 780 GB ในทางทฤษฎี ในขณะที่ **QLoRA** ช่วยให้สามารถทำ fine-tuning ได้บน GPU ที่มี VRAM น้อยกว่า 48 GB[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_note-dettmers2023qlora-8) - **ขนาดพื้นที่จัดเก็บ:** checkpoint ที่บันทึกหลังจาก PEFT มีขนาดเป็นเมกะไบต์ ไม่ใช่กิกะไบต์ ทำให้สามารถจัดเก็บ "adapter" หลายร้อยตัวสำหรับงานต่าง ๆ ในพื้นที่ที่โมเดลที่ผ่าน full fine-tuning เพียงตัวเดียวใช้ ## ขอบเขตการประยุกต์ใช้ แม้เดิมจะพัฒนาขึ้นสำหรับ NLP แต่วิธีการ PEFT ได้รับการนำไปใช้อย่างประสบความสำเร็จในงานหลากหลายประเภท: - **Computer Vision (CV) และ Multimodal Model (VLM):** การปรับโมเดลอย่าง Vision Transformer (ViT) และ Segment Anything Model (SAM) สำหรับงาน image segmentation รวมถึงในสาขาชีวการแพทย์ - **การสร้างและวิเคราะห์โค้ด:** การปรับแต่ง LLM ให้เข้ากับลักษณะเฉพาะของโปรเจกต์ซอฟต์แวร์ API ภายใน หรือ codebase เฉพาะทาง - **Generative Model:** การ "ปรับสไตล์" โมเดลสร้างภาพ เช่น Stable Diffusion ด้วย LoRA adapter (เทคนิค Dreambooth) - **การสังเคราะห์เสียงพูด:** การปรับโมเดลสำหรับการสร้างเสียงพูดที่มีเสียง 억양 หรืออารมณ์เฉพาะ ## ลิงก์ - คลังโค้ดไลบรารี PEFT บน GitHub - เอกสารประกอบอย่างเป็นทางการของไลบรารี PEFT จาก Hugging Face ## บรรณานุกรม - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## หมายเหตุ 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-mlm_problems_2025_2-0) [2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-mlm_problems_2025_2-1) «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-huggingface_peft_methods_3-0) [3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-huggingface_peft_methods_3-1) «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-houlsby2019_4-0) [4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-houlsby2019_4-1) [4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-houlsby2019_4-2) Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ [8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-dettmers2023qlora_8-0) [8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-dettmers2023qlora_8-1) Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ [9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-dora_paper_9-0) [9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(TH)#cite_ref-dora_paper_9-1) «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]