Fine-tuning (deep learning) (TL)

From Systems analysis Wiki
Jump to navigation Jump to search

Dina-aralan ang Modelo (Ingles: Fine-tuning), kilala rin bilang pinong pag-aayos, — ito ay isang pamamaraan ng transfer learning sa machine learning kung saan ang mga parameter ng isang pre-trained model ay inaangkop para malutas ang isang bago at tiyak na gawain. Sa halip na sanayin ang modelo mula sa simula, na nangangailangan ng napakalaking dami ng datos at mapagkukunang pangkomputa, ang fine-tuning ay nagpapahintulot na gamitin ang kaalaman na nakalagay na sa mga timbang ng modelo at "i-ayos" ang mga ito para sa mga tiyak na pangangailangan.

Ang pamamaraang ito ay naging de facto na pamantayan sa larangan ng deep learning, lalo na sa pakikipagtulungan sa malalaking language model (LLM) at mga modelo ng computer vision.

Konsepto

Maaaring hatiin ang proseso ng fine-tuning sa dalawang pangunahing yugto:

1. Paunang Pagsasanay (Pre-training): Ang modelo (halimbawa, BERT o GPT) ay sinasamahan sa isang napakalaki at pangkalahatang dataset (halimbawa, ang buong internet) gamit ang isang self-supervised na gawain (halimbawa, hulaan ang susunod na salita). Sa yugtong ito, natututo ang modelo ng mga pangkalahatang pattern, syntax, semantika, at kaalaman tungkol sa mundo.

2. Dina-aralan ang Modelo (Fine-tuning): Ang pre-trained model ay ginagamit bilang pundasyon, at ang mga timbang nito ay inaayos sa isang maliit ngunit tiyak na may tatak na dataset para sa target na gawain.

Ang pangunahing ideya ay ang kaalaman na nakuha sa yugto ng paunang pagsasanay ay pangkalahatan at matagumpay na mailipat para malutas ang marami pang iba, mas makitid na mga gawain.

Proseso ng Fine-tuning

Kabilang sa karaniwang proseso ng fine-tuning ang mga sumusunod na hakbang:

1. Pagpili ng pre-trained model: Pinipili ang modelo na ang mga pangunahing kakayahan ay angkop sa target na gawain (halimbawa, BERT para sa mga gawaing pag-unawa sa teksto, GPT para sa henerasyon).

2. Pagbabago ng arkitektura: Isang bago, "head" na layer na tiyak sa target na gawain ay idinaragdag sa pre-trained model. Halimbawa:

  • Para sa pag-uuri ng teksto isang simpleng fully connected layer na may softmax function ang idinaragdag.
  • Para sa pagkilala ng mga pinangalanang entity (NER) isang classifier ang idinaragdag sa output ng bawat token.

3. Pagsasanay sa target na dataset: Ang buong modelo (o bahagi nito) ay sinasamahan sa bago at may tatak na dataset. Sa yugtong ito, ang mga timbang ng modelo, kasama ang mga timbang ng mga pre-trained na layer, ay ina-update gamit ang gradient descent upang mabawasan ang loss function sa bagong gawain. 4. Paggamit ng mas mababang bilis ng pag-aaral: Sa fine-tuning, karaniwang ginagamit ang mas mababang bilis ng pag-aaral kaysa sa paunang pagsasanay. Ito ay kinakailangan upang hindi "masira" ang kapaki-pakinabang na kaalaman na nakalagay na sa mga timbang ng modelo, kundi maingat lamang itong itama.

Mga Uri ng Fine-tuning

Buong Fine-tuning (Full Fine-tuning)

  • Prinsipyo: Ina-update ang lahat ng parameter ng pre-trained model kasama ang bagong "head" na layer.
  • Mga Kalamangan: Potensyal na nagbibigay ng pinakamahusay na pagganap, dahil ang buong modelo ay inaangkop sa bagong gawain.
  • Mga Kahinaan: Nangangailangan ng malaking mapagkukunang pangkomputa at memorya, dahil kailangang itago at i-update ang mga gradient para sa lahat ng parameter. May panganib ng nakaliligtaang pagkakalimot, kung saan "nakakalimutan" ng modelo ang mga pangkalahatang kaalaman na nakuha sa paunang pagsasanay.

Parameter-Efficient Fine-Tuning, PEFT

Ito ay isang pamilya ng mga pamamaraan na naglalayong bawasan ang mga gastos sa pagkomputa sa fine-tuning. Ang pangunahing ideya — i-freeze ang karamihan ng mga parameter ng pre-trained model at sanayin lamang ang maliit na bilang ng mga bago o piling umiiral na parameter.

  • Mga Halimbawa ng Pamamaraan ng PEFT:
    • Mga Adapter (Adapters): Maliit na karagdagang adapter layer ang ipinasok sa arkitektura ng Transformer, at ang mga ito lamang ang sinasamahan.
    • LoRA (Low-Rank Adaptation): Sa halip na i-update ang buong weight matrix, sinasamahan ng LoRA ang kanilang mga low-rank na update. Nagpapahintulot ito na bawasan ang bilang ng mga maaaring sanayin na parameter nang libu-libong beses.
    • Prompt Tuning: Mga maaaring sanayin na vector-"prompt" ang idinaragdag sa input data, na inaayos para malutas ang gawain, habang ang modelo mismo ay nananatiling naka-freeze.
  • Mga Kalamangan ng PEFT:
    • Kahusayan: Malaki ang pagbabawas ng mga kinakailangan sa memorya at pagkomputa.
    • Modularity: Nagpapahintulot na madaling iangkop ang isang pre-trained model para sa maraming gawain, na iniipon lamang ang maliliit na set ng mga inaangkop na timbang para sa bawat isa.

Instruction Tuning - Dina-aralan sa mga Tagubilin

Ito ay isang tiyak na uri ng fine-tuning na naglalayong mapabuti ang kakayahan ng LLM na sumunod sa mga tagubilin sa natural na wika.

  • Prinsipyo ng Pagtatrabaho: Ang modelo ay dina-aralan sa isang dataset na binubuo ng mga pares na "tagubilin — nais na output".
  • Layunin: Mapabuti ang generalization na kakayahan ng modelo sa mga bago at hindi pa nakitang gawain na maaaring mailarawan sa anyo ng mga tagubilin. Ang mga modelo tulad ng InstructGPT at FLAN-T5 ay maliwanag na halimbawa ng pamamaraang ito.

Mga Sanggunian

  • Howard, J.; Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. arXiv:1801.06146.
  • Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. arXiv:1902.00751.
  • Pfeiffer, J. et al. (2020). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. arXiv:2005.00247.
  • Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
  • Lester, B.; Al-Rfou, R.; Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv:2104.08691.
  • Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models. ACL 2022.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Han, Z. et al. (2024). Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey. arXiv:2403.14608.
  • Bian, J. et al. (2025). A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning. arXiv:2504.21099.
  • Li, X. et al. (2025). Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions. Preprints.org.

Tingnan Din

  • Malalaking Language Model
  • BERT
  • GPT
Retrieved from "https://systems-analysis.info/int/index.php?title=Fine-tuning_(deep_learning)_(TL)&oldid=2185"