Fine-tuning (deep learning) (RO)

Reglajul fin (engl. Fine-tuning), cunoscut și ca ajustare fină, este o metodă de transfer learning în Machine Learning prin care parametrii unui model pre-antrenat (pre-trained model) sunt adaptați pentru a rezolva o sarcină nouă și specifică. În loc să antreneze modelul de la zero, ceea ce necesită volume enorme de date și resurse computaționale, fine-tuning-ul permite utilizarea cunoștințelor deja codificate în ponderile modelului și „ajustarea" lor pentru nevoi concrete.

Această abordare a devenit standardul de facto în domeniul deep learning, în special în lucrul cu modele lingvistice de mari dimensiuni (LLM) și cu modele de computer vision.

Concept

Procesul de fine-tuning poate fi împărțit în două etape principale:

1. Pre-antrenare (Pre-training): Modelul (de exemplu, BERT sau GPT) este antrenat pe un set de date foarte mare și general (de exemplu, întregul internet) folosind o sarcină auto-supervizată (de exemplu, predicția următorului cuvânt). În această etapă, modelul învață tipare generale, sintaxă, semantică și cunoștințe despre lume.

2. Reglaj fin (Fine-tuning): Modelul pre-antrenat este luat ca bază, iar ponderile sale sunt ajustate pe un set de date mic, dar specific sarcinii țintă, cu etichetare manuală.

Ideea cheie este că cunoștințele dobândite în etapa de pre-antrenare sunt universale și pot fi transferate cu succes pentru a rezolva numeroase alte sarcini mai specializate.

Procesul de fine-tuning

Procesul tipic de fine-tuning include următorii pași:

1. Alegerea modelului pre-antrenat: Se selectează un model ale cărui capacități de bază sunt potrivite pentru sarcina țintă (de exemplu, BERT pentru sarcini de înțelegere a textului, GPT pentru generare).

2. Adaptarea arhitecturii: La modelul pre-antrenat se adaugă un nou strat „de cap\" (head), specific sarcinii țintă. De exemplu:

• Pentru clasificarea textului se adaugă un strat fully connected simplu cu funcția softmax.
• Pentru recunoașterea entităților numite (NER) clasificatorul se adaugă la ieșirea fiecărui token.

3. Antrenarea pe setul de date țintă: Întregul model (sau o parte a sa) este antrenat pe noul set de date etichetat. În această etapă, ponderile modelului, inclusiv ponderile straturilor pre-antrenate, sunt actualizate prin gradient descent pentru a minimiza funcția de pierdere pe noua sarcină.

4. Utilizarea unei rate de învățare mai scăzute: La fine-tuning se folosește de obicei o rată de învățare semnificativ mai mică decât la pre-antrenare. Acest lucru este necesar pentru a nu „distruge\" cunoștințele utile deja codificate în ponderile modelului, ci doar a le corecta cu atenție.

Tipuri de fine-tuning

Fine-tuning complet (Full Fine-tuning)

• Principiu: Sunt actualizați toți parametrii modelului pre-antrenat împreună cu noul strat „de cap\".
• Avantaje: Oferă potențial cea mai bună performanță, deoarece întregul model se adaptează la noua sarcină.
• Dezavantaje: Necesită resurse computaționale și memorie semnificative, deoarece trebuie stocate și actualizate gradienții pentru toți parametrii. Există riscul uitării catastrofale, când modelul „uită\" cunoștințele generale dobândite în pre-antrenare.

Fine-tuning eficient din punct de vedere parametric (Parameter-Efficient Fine-Tuning, PEFT)

Acesta este un ansamblu de metode care urmăresc reducerea costurilor computaționale la fine-tuning. Ideea principală este de a îngheța majoritatea parametrilor modelului pre-antrenat și de a antrena doar un număr mic de parametri noi sau selectați dintre cei existenți.

• Exemple de metode PEFT:
  • Adaptoare (Adapters): În arhitectura Transformer sunt inserate straturi suplimentare mici — adaptoare — și doar acestea sunt antrenate.
  • LoRA (Low-Rank Adaptation): În loc să actualizeze matricele de ponderi complete, LoRA antrenează actualizări de rang scăzut ale acestora. Aceasta permite reducerea numărului de parametri antrenabili de mii de ori.
  • Prompt Tuning: La datele de intrare se adaugă vectori-„prompturi\" antrenabili, care sunt ajustați pentru rezolvarea sarcinii, în timp ce modelul în sine rămâne înghețat.

• Avantajele PEFT:
  • Eficiență: Reduce semnificativ cerințele de memorie și computație.
  • Modularitate: Permite adaptarea ușoară a unui singur model pre-antrenat pentru numeroase sarcini, stocând doar seturi mici de ponderi adaptate pentru fiecare.

Reglaj fin pe instrucțiuni (Instruction Tuning)

Acesta este un tip specific de fine-tuning, destinat îmbunătățirii capacității LLM-urilor de a urma instrucțiuni în limbaj natural.

• Principiu de funcționare: Modelul este supus fine-tuning-ului pe un set de date format din perechi „instrucțiune — ieșire dorită\".
• Scop: Îmbunătățirea capacității de generalizare a modelului pe sarcini noi, nevăzute anterior, care pot fi descrise sub formă de instrucțiuni. Modele precum InstructGPT și FLAN-T5 sunt exemple reprezentative ale acestei abordări.

Bibliografie

• Howard, J.; Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. arXiv:1801.06146.
• Houlsby, N. et al. (2019). Parameter-Efficient Transfer Learning for NLP. arXiv:1902.00751.
• Pfeiffer, J. et al. (2020). AdapterFusion: Non-Destructive Task Composition for Transfer Learning. arXiv:2005.00247.
• Hu, E. J. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Lester, B.; Al-Rfou, R.; Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. arXiv:2104.08691.
• Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models. ACL 2022.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Han, Z. et al. (2024). Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey. arXiv:2403.14608.
• Bian, J. et al. (2025). A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning. arXiv:2504.21099.
• Li, X. et al. (2025). Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions. Preprints.org.

Vezi și

• Modele lingvistice de mari dimensiuni
• BERT
• GPT