PEFT (Parameter-Efficient Fine-Tuning) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Fine-tuning hemat parameter (Ingg. Parameter-Efficient Fine-Tuning, PEFT) — adalah sekumpulan metode adaptasi model besar yang telah dilatih sebelumnya, seperti large language model (LLM), untuk tugas-tugas spesifik dengan biaya komputasi dan sumber daya yang minimal. Berbeda dengan full fine-tuning tradisional yang mengharuskan pembaruan seluruh parameter model, metode PEFT berfokus pada modifikasi hanya sebagian kecil bobot (kurang dari 1–5% dari total jumlah), membiarkan sebagian besar model tetap tidak berubah («dibekukan»)[1].

Pendekatan ini memungkinkan pengurangan signifikan terhadap kebutuhan memori, kapasitas penyimpanan, dan waktu pelatihan, menjadikan proses adaptasi model fondasi yang kuat lebih terjangkau dan tahan terhadap masalah catastrophic forgetting[2].

Masalah pada Full Fine-Tuning

Full fine-tuning tradisional, di mana semua parameter model diperbarui, menghadapi sejumlah masalah kritis yang menjadi katalis pengembangan PEFT:

  • Biaya komputasi tinggi: Pembaruan ratusan miliar parameter membutuhkan daya komputasi yang sangat besar (GPU/TPU berkinerja tinggi) dan kapasitas memori video (VRAM) yang besar, sehingga menjadikan prosesnya mahal dan tidak terjangkau bagi banyak peneliti.
  • Ketidakefisienan penyimpanan: Untuk setiap tugas baru, diperlukan penyimpanan salinan lengkap model berukuran gigabyte, yang menyebabkan pertumbuhan eksponensial dalam kebutuhan ruang disk.
  • Catastrophic Forgetting: Model yang beradaptasi dengan data baru "melupakan" pengetahuan umum yang diperoleh pada tahap pra-pelatihan, sehingga menurunkan kinerjanya pada tugas-tugas lain.
  • Risiko Overfitting: Pada dataset kecil untuk fine-tuning, model dengan miliaran parameter cenderung "menghafal" contoh pelatihan alih-alih mempelajari pola yang dapat digeneralisasi[2].

Taksonomi Metode PEFT

Metode PEFT dapat diklasifikasikan berdasarkan cara mereka memodifikasi parameter model. Terdapat tiga kategori utama: aditif, selektif, dan reparametrisasi[3].

Metode Aditif

Metode-metode ini membekukan semua bobot asli model dan menambahkan modul baru yang kecil dan dapat dilatih.

  • Adapters: Metode aditif paling awal. Modul jaringan saraf kecil dengan arsitektur "bottleneck" disisipkan di antara lapisan transformer. Hanya bobot adapter tersebut yang dilatih[4].
  • Metode berbasis Soft Prompts: Alih-alih mengubah bobot model, metode-metode ini menambahkan vektor yang dapat dilatih («token virtual») ke data masukan, yang mengarahkan perilaku model. Varian utama:
    • Prompt Tuning: Menambahkan vektor yang dapat dilatih hanya ke embedding masukan.
    • Prefix-Tuning: Menambahkan prefiks vektor yang dapat dilatih ke kondisi tersembunyi pada setiap lapisan mekanisme attention, memberikan kontrol yang lebih halus[5].
    • P-Tuning v2: Generalisasi dari ide Prefix-Tuning yang menerapkan prompt yang dapat dilatih pada semua lapisan model, mencapai kinerja yang setara dengan full fine-tuning[6].

Metode Selektif

Metode-metode ini tidak menambahkan parameter baru, melainkan memilih dan melakukan fine-tuning pada subset kecil parameter yang sudah ada.

  • BitFit: Metode yang sangat hemat, yang hanya melakukan fine-tuning pada vektor bias (bias terms) dan parameter lapisan normalisasi, memperbarui kurang dari 0,1% dari total jumlah parameter.
  • Diff Pruning: Menggunakan masker yang dapat dilatih untuk secara dinamis menentukan bobot mana yang harus diperbarui selama proses pelatihan[3].

Metode Reparametrisasi

Kategori ini didasarkan pada hipotesis bahwa perubahan bobot untuk adaptasi model memiliki "rank intrinsik" yang rendah. Alih-alih memperbarui matriks bobot berukuran penuh, metode-metode ini memperbarui representasi low-rank-nya.

  • LoRA (Low-Rank Adaptation): Metode PEFT paling populer saat ini. Metode ini mengasumsikan bahwa pembaruan matriks bobot `ΔW` dapat diaproksimasi dengan hasil kali dua matriks low-rank: `ΔW = BA`. Selama fine-tuning, matriks asli `W` dibekukan, sementara hanya `A` dan `B` yang dilatih[7].
  • QLoRA: Menggabungkan LoRA dengan teknik kuantisasi untuk mengurangi kebutuhan memori lebih jauh lagi, memungkinkan fine-tuning model dengan 65 miliar parameter pada satu GPU konsumer[8].

Perbandingan Kinerja dan Sumber Daya

Metode PEFT memungkinkan pencapaian kinerja yang setara dengan full fine-tuning dengan pengurangan biaya yang drastis.

Perbandingan kinerja dan efisiensi metode PEFT
Model Metode Parameter yang Dilatih (%) Hasil pada Benchmark (Avg. Accuracy) Sumber
BERT-Large Full fine-tuning 100% 80.4 (GLUE) [4]
BERT-Large Adapters 3.6% 80.0 (GLUE) [4]
LLaMA-7B LoRA 0.83% 74.7% [9]
LLaMA-7B DoRA (varian LoRA) 0.84% 78.1% [9]

Keunggulan utama PEFT dalam penghematan sumber daya:

  • Memori GPU (VRAM): Untuk model LLaMA 65B, full fine-tuning secara teoritis membutuhkan >780 GB VRAM, sementara QLoRA memungkinkan fine-tuning pada GPU dengan <48 GB VRAM[8].
  • Kapasitas penyimpanan: Checkpoint yang disimpan setelah PEFT berukuran megabyte, bukan gigabyte. Hal ini memungkinkan penyimpanan ratusan "adapter" untuk berbagai tugas dalam ruang yang setara dengan satu model yang di-fine-tune secara penuh.

Area Penerapan

Awalnya dikembangkan untuk NLP, metode PEFT telah berhasil diadaptasi untuk berbagai macam tugas:

  • Computer Vision (CV) dan model multimodal (VLM): Adaptasi model seperti Vision Transformer (ViT) dan Segment Anything Model (SAM) untuk tugas segmentasi gambar, termasuk di bidang biomedis.
  • Pembuatan dan analisis kode: Penyesuaian LLM terhadap kekhasan proyek perangkat lunak tertentu, API internal, atau basis kode.
  • Model generatif: "Penggayaan" model generasi gambar seperti Stable Diffusion menggunakan adapter LoRA (teknik Dreambooth).
  • Sintesis ucapan: Adaptasi model untuk menghasilkan ucapan dengan suara, intonasi, atau nuansa emosional tertentu.

Pranala Luar

  • Repositori pustaka PEFT di GitHub
  • Dokumentasi resmi pustaka PEFT dari Hugging Face

Daftar Pustaka

  • Hu, E.J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
  • Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. arXiv:2305.14314.
  • Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. ICML 2019.
  • Li, X.L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
  • Liu, X. et al. (2022). P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks. arXiv:2110.07602.
  • Ben Zaken, E.; Ravfogel, S.; Goldberg, Y. (2021). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-Based Masked Language Models. arXiv:2106.10199.
  • Guo, D.; Rush, A.M.; Kim, Y. (2020). Parameter-Efficient Transfer Learning with Diff Pruning. arXiv:2012.07463.
  • Jiang, Z. et al. (2024). MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning. arXiv:2405.12130.
  • Mao, K. et al. (2024). A Survey on LoRA of Large Language Models. arXiv:2407.11046.
  • Chen, S. et al. (2024). Parameter-Efficient Fine Tuning: A Comprehensive Analysis Across Applications. arXiv:2404.13506.
  • Zhang, J. et al. (2025). Parameter-Efficient Fine-Tuning for Foundation Models. arXiv:2501.13787.

Catatan

  1. ↑ «Parameter-Efficient Fine-Tuning for Foundation Models». arXiv:2501.13787. [1]
  2. ↑ 2.0 2.1 «5 Problems Encountered Fine-Tuning LLMs with Solutions». Machine Learning Mastery. [2]
  3. ↑ 3.0 3.1 «PEFT: Parameter-Efficient Fine-Tuning Methods for LLMs». Hugging Face Blog. [3]
  4. ↑ 4.0 4.1 4.2 Houlsby, N., et al. «Parameter-Efficient Transfer Learning for NLP». Proceedings of the 36th International Conference on Machine Learning. [4]
  5. ↑ Li, X.L., Liang, P. «Prefix-Tuning: Optimizing Continuous Prompts for Generation». arXiv:2101.00190. [5]
  6. ↑ Liu, X., et al. «P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks». arXiv:2110.07602. [6]
  7. ↑ Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». arXiv:2106.09685. [7]
  8. ↑ 8.0 8.1 Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». arXiv:2305.14314. [8]
  9. ↑ 9.0 9.1 «Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications». arXiv:2404.13506. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PEFT_(Parameter-Efficient_Fine-Tuning)_(ID)&oldid=5289"