--- title: "PEFT (Parameter-Efficient Fine-Tuning) (ID)" source: "https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)" wiki: "systems-analysis.info/int" article: "PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)" language: "id" categories: - "Category:Indonesian" - "Category:Large language models" - "Category:Machine learning" revision_id: 5289 wiki_created_at: 2026-09-06T23:47:10Z wiki_modified_at: 2026-09-06T23:47:10Z downloaded_at: 2026-09-07T23:07:37Z --- # PEFT (Parameter-Efficient Fine-Tuning) (ID) **Fine-tuning hemat parameter** (Ingg. **Parameter-Efficient Fine-Tuning, PEFT**) — adalah sekumpulan metode adaptasi model besar yang telah dilatih sebelumnya, seperti large language model (LLM), untuk tugas-tugas spesifik dengan biaya komputasi dan sumber daya yang minimal. Berbeda dengan **full fine-tuning** tradisional yang mengharuskan pembaruan seluruh parameter model, metode PEFT berfokus pada modifikasi hanya sebagian kecil bobot (kurang dari 1–5% dari total jumlah), membiarkan sebagian besar model tetap tidak berubah («dibekukan»)^{[\[1\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-survey_arxiv_2025-1)}. Pendekatan ini memungkinkan pengurangan signifikan terhadap kebutuhan memori, kapasitas penyimpanan, dan waktu pelatihan, menjadikan proses adaptasi model fondasi yang kuat lebih terjangkau dan tahan terhadap masalah catastrophic forgetting^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-mlm_problems_2025-2)}. ## Masalah pada Full Fine-Tuning Full fine-tuning tradisional, di mana semua parameter model diperbarui, menghadapi sejumlah masalah kritis yang menjadi katalis pengembangan PEFT: - **Biaya komputasi tinggi:** Pembaruan ratusan miliar parameter membutuhkan daya komputasi yang sangat besar (GPU/TPU berkinerja tinggi) dan kapasitas memori video (VRAM) yang besar, sehingga menjadikan prosesnya mahal dan tidak terjangkau bagi banyak peneliti. - **Ketidakefisienan penyimpanan:** Untuk setiap tugas baru, diperlukan penyimpanan salinan lengkap model berukuran gigabyte, yang menyebabkan pertumbuhan eksponensial dalam kebutuhan ruang disk. - **Catastrophic Forgetting:** Model yang beradaptasi dengan data baru "melupakan" pengetahuan umum yang diperoleh pada tahap pra-pelatihan, sehingga menurunkan kinerjanya pada tugas-tugas lain. - **Risiko Overfitting:** Pada dataset kecil untuk fine-tuning, model dengan miliaran parameter cenderung "menghafal" contoh pelatihan alih-alih mempelajari pola yang dapat digeneralisasi^{[\[2\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-mlm_problems_2025-2)}. ## Taksonomi Metode PEFT Metode PEFT dapat diklasifikasikan berdasarkan cara mereka memodifikasi parameter model. Terdapat tiga kategori utama: aditif, selektif, dan reparametrisasi^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-huggingface_peft_methods-3)}. ### Metode Aditif Metode-metode ini membekukan semua bobot asli model dan menambahkan modul baru yang kecil dan dapat dilatih. - **Adapters:** Metode aditif paling awal. Modul jaringan saraf kecil dengan arsitektur "bottleneck" disisipkan di antara lapisan transformer. Hanya bobot adapter tersebut yang dilatih^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-houlsby2019-4)}. - **Metode berbasis Soft Prompts:** Alih-alih mengubah bobot model, metode-metode ini menambahkan vektor yang dapat dilatih («token virtual») ke data masukan, yang mengarahkan perilaku model. Varian utama: - **Prompt Tuning:** Menambahkan vektor yang dapat dilatih hanya ke embedding masukan. - **Prefix-Tuning:** Menambahkan prefiks vektor yang dapat dilatih ke kondisi tersembunyi pada setiap lapisan mekanisme attention, memberikan kontrol yang lebih halus^{[\[5\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-li2021prefix-5)}. - **P-Tuning v2:** Generalisasi dari ide Prefix-Tuning yang menerapkan prompt yang dapat dilatih pada semua lapisan model, mencapai kinerja yang setara dengan full fine-tuning^{[\[6\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-liu2021ptuningv2-6)}. ### Metode Selektif Metode-metode ini tidak menambahkan parameter baru, melainkan memilih dan melakukan fine-tuning pada subset kecil parameter yang sudah ada. - **BitFit:** Metode yang sangat hemat, yang hanya melakukan fine-tuning pada vektor bias (bias terms) dan parameter lapisan normalisasi, memperbarui kurang dari 0,1% dari total jumlah parameter. - **Diff Pruning:** Menggunakan masker yang dapat dilatih untuk secara dinamis menentukan bobot mana yang harus diperbarui selama proses pelatihan^{[\[3\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-huggingface_peft_methods-3)}. ### Metode Reparametrisasi Kategori ini didasarkan pada hipotesis bahwa perubahan bobot untuk adaptasi model memiliki "rank intrinsik" yang rendah. Alih-alih memperbarui matriks bobot berukuran penuh, metode-metode ini memperbarui representasi low-rank-nya. - **LoRA (Low-Rank Adaptation):** Metode PEFT paling populer saat ini. Metode ini mengasumsikan bahwa pembaruan matriks bobot \`ΔW\` dapat diaproksimasi dengan hasil kali dua matriks low-rank: \`ΔW = BA\`. Selama fine-tuning, matriks asli \`W\` dibekukan, sementara hanya \`A\` dan \`B\` yang dilatih^{[\[7\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-hu2021lora-7)}. - **QLoRA:** Menggabungkan LoRA dengan teknik kuantisasi untuk mengurangi kebutuhan memori lebih jauh lagi, memungkinkan fine-tuning model dengan 65 miliar parameter pada satu GPU konsumer^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-dettmers2023qlora-8)}. ## Perbandingan Kinerja dan Sumber Daya Metode PEFT memungkinkan pencapaian kinerja yang setara dengan full fine-tuning dengan pengurangan biaya yang drastis. | Model | Metode | Parameter yang Dilatih (%) | Hasil pada Benchmark (Avg. Accuracy) | Sumber | |------------|--------------------|----------------------------|--------------------------------------|---------------------------------------------------------------------------------------------------------------------------| | BERT-Large | Full fine-tuning | 100% | 80.4 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-houlsby2019-4)} | | BERT-Large | Adapters | 3.6% | 80.0 (GLUE) | ^{[\[4\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-houlsby2019-4)} | | LLaMA-7B | LoRA | 0.83% | 74.7% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-dora_paper-9)} | | LLaMA-7B | DoRA (varian LoRA) | 0.84% | 78.1% | ^{[\[9\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-dora_paper-9)} | Perbandingan kinerja dan efisiensi metode PEFT Keunggulan utama PEFT dalam penghematan sumber daya: - **Memori GPU (VRAM):** Untuk model LLaMA 65B, full fine-tuning secara teoritis membutuhkan \>780 GB VRAM, sementara **QLoRA** memungkinkan fine-tuning pada GPU dengan \<48 GB VRAM^{[\[8\]](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_note-dettmers2023qlora-8)}. - **Kapasitas penyimpanan:** Checkpoint yang disimpan setelah PEFT berukuran megabyte, bukan gigabyte. Hal ini memungkinkan penyimpanan ratusan "adapter" untuk berbagai tugas dalam ruang yang setara dengan satu model yang di-fine-tune secara penuh. ## Area Penerapan Awalnya dikembangkan untuk NLP, metode PEFT telah berhasil diadaptasi untuk berbagai macam tugas: - **Computer Vision (CV) dan model multimodal (VLM):** Adaptasi model seperti Vision Transformer (ViT) dan Segment Anything Model (SAM) untuk tugas segmentasi gambar, termasuk di bidang biomedis. - **Pembuatan dan analisis kode:** Penyesuaian LLM terhadap kekhasan proyek perangkat lunak tertentu, API internal, atau basis kode. - **Model generatif:** "Penggayaan" model generasi gambar seperti Stable Diffusion menggunakan adapter LoRA (teknik Dreambooth). - **Sintesis ucapan:** Adaptasi model untuk menghasilkan ucapan dengan suara, intonasi, atau nuansa emosional tertentu. ## Pranala Luar - Repositori pustaka PEFT di GitHub - Dokumentasi resmi pustaka PEFT dari Hugging Face ## Daftar Pustaka - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. ICML 2019. - Li, X.L.; Liang, P. (2021). *Prefix-Tuning: Optimizing Continuous Prompts for Generation*. arXiv:2101.00190. - Liu, X. et al. (2022). *P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks*. arXiv:2110.07602. - Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models*. arXiv:2106.10199. - Guo, D.; Rush, A.M.; Kim, Y. (2020). *Parameter-Efficient Transfer Learning with Diff Pruning*. arXiv:2012.07463. - Jiang, Z. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Chen, S. et al. (2024). *Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications*. arXiv:2404.13506. - Zhang, J. et al. (2025). *Parameter-Efficient Fine-Tuning for Foundation Models*. arXiv:2501.13787. ## Catatan 1. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-survey_arxiv_2025_1-0) «Parameter-Efficient Fine-Tuning for Foundation Models». *arXiv:2501.13787*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-mlm_problems_2025_2-0)} ^{[2.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-mlm_problems_2025_2-1)} «5 Problems Encountered Fine-Tuning LLMs with Solutions». *Machine Learning Mastery*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-huggingface_peft_methods_3-0)} ^{[3.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-huggingface_peft_methods_3-1)} «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». *Hugging Face Blog*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-houlsby2019_4-0)} ^{[4.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-houlsby2019_4-1)} ^{[4.2](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-houlsby2019_4-2)} Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». *Proceedings of the 36th International Conference on Machine Learning*. [4] 5. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-li2021prefix_5-0) Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». *arXiv:2101.00190*. [5] 6. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-liu2021ptuningv2_6-0) Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». *arXiv:2110.07602*. [6] 7. [↑](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-hu2021lora_7-0) Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-dettmers2023qlora_8-0)} ^{[8.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-dettmers2023qlora_8-1)} Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-dora_paper_9-0)} ^{[9.1](https://systems-analysis.info/int/PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)#cite_ref-dora_paper_9-1)} «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». *arXiv:2404.13506*. [9]