--- title: "Fine-tuning (deep learning) (IT)" source: "https://systems-analysis.info/int/Fine-tuning_(deep_learning)_(IT)" wiki: "systems-analysis.info/int" article: "Fine-tuning_(deep_learning)_(IT)" language: "it" categories: - "Category:Italian" - "Category:Large language models" - "Category:Machine learning" revision_id: 2178 wiki_created_at: 2026-09-06T22:59:44Z wiki_modified_at: 2026-09-06T22:59:44Z downloaded_at: 2026-09-07T22:49:40Z --- # Fine-tuning (deep learning) (IT) **Ottimizzazione mirata** (in inglese Fine-tuning), nota anche come **messa a punto fine**, è un metodo di transfer learning nel machine learning in cui i parametri di un modello pre-addestrato (pre-trained model) vengono adattati per risolvere un nuovo compito specifico. Invece di addestrare un modello da zero, operazione che richiede enormi quantità di dati e risorse computazionali, il fine-tuning permette di sfruttare le conoscenze già codificate nei pesi del modello e di «calibrarle» in base alle esigenze concrete. Questo approccio è diventato lo standard de facto nel campo del deep learning, in particolare quando si lavora con i grandi modelli linguistici (LLM) e con i modelli di computer vision. ## Concetto Il processo di fine-tuning può essere suddiviso in due fasi principali: 1\. **Pre-addestramento (Pre-training):** Il modello (ad esempio BERT o GPT) viene addestrato su un insieme di dati molto ampio e generico (ad esempio l'intera internet) utilizzando un compito auto-supervisionato (ad esempio la predizione della parola successiva). In questa fase il modello apprende pattern generali, sintassi, semantica e conoscenze sul mondo. 2\. **Ottimizzazione mirata (Fine-tuning):** Il modello pre-addestrato viene utilizzato come base e i suoi pesi vengono aggiornati su un insieme di dati piccolo ma etichettato, specifico per il compito target. L'idea chiave è che le conoscenze acquisite nella fase di pre-addestramento sono universali e possono essere trasferite con successo per risolvere molti altri compiti più specifici. ## Processo di fine-tuning Il tipico processo di fine-tuning comprende i seguenti passi: 1\. **Scelta del modello pre-addestrato:** Si seleziona un modello le cui capacità di base siano adatte al compito target (ad esempio BERT per compiti di comprensione del testo, GPT per la generazione). 2\. **Adattamento dell'architettura:** Al modello pre-addestrato viene aggiunto un nuovo strato «testa» (head) specifico per il compito target. Ad esempio: - Per la **classificazione del testo** si aggiunge un semplice strato completamente connesso con funzione softmax. - Per il **riconoscimento delle entità nominate (NER)** il classificatore viene aggiunto all'output di ogni token. 3\. **Addestramento sul dataset target:** L'intero modello (o una sua parte) viene addestrato sul nuovo dataset etichettato. In questa fase i pesi del modello, inclusi i pesi degli strati pre-addestrati, vengono aggiornati tramite discesa del gradiente per minimizzare la funzione di perdita sul nuovo compito. 4. **Utilizzo di un tasso di apprendimento più basso:** Durante il fine-tuning si utilizza generalmente un tasso di apprendimento significativamente inferiore rispetto al pre-addestramento. Questo è necessario per non «distruggere» le conoscenze utili già codificate nei pesi del modello, ma semplicemente correggerle con cautela. ## Tipologie di fine-tuning ### Full Fine-tuning - Ottimizzazione completa - **Principio:** Vengono aggiornati tutti i parametri del modello pre-addestrato insieme al nuovo strato «testa». - **Vantaggi:** Garantisce potenzialmente le migliori prestazioni, poiché l'intero modello si adatta al nuovo compito. - **Svantaggi:** Richiede risorse computazionali e memoria significative, poiché è necessario memorizzare e aggiornare i gradienti per tutti i parametri. Esiste il rischio del **catastrophic forgetting** (dimenticanza catastrofica), in cui il modello «dimentica» le conoscenze generali acquisite durante il pre-addestramento. ### Parameter-Efficient Fine-Tuning - Ottimizzazione a efficienza parametrica (PEFT) Si tratta di una famiglia di metodi volti a ridurre i costi computazionali durante il fine-tuning. L'idea principale è congelare la maggior parte dei parametri del modello pre-addestrato e addestrare solo un piccolo numero di parametri nuovi o selezionati tra quelli esistenti. - **Esempi di metodi PEFT:** - **Adapters (Adattatori):** Nell'architettura del Transformer vengono inseriti piccoli strati adattatori aggiuntivi, e vengono addestrati solo questi. - **LoRA (Low-Rank Adaptation):** Invece di aggiornare le matrici dei pesi complete, LoRA addestra i loro aggiornamenti a basso rango. Ciò consente di ridurre il numero di parametri addestrabili di migliaia di volte. - **Prompt Tuning:** Agli input vengono aggiunti vettori-«prompt» addestrabili, che vengono calibrati per risolvere il compito, mentre il modello stesso rimane congelato. - **Vantaggi del PEFT:** - **Efficienza:** Riduce significativamente i requisiti di memoria e le esigenze computazionali. - **Modularità:** Permette di adattare facilmente un singolo modello pre-addestrato a molteplici compiti, conservando solo piccoli insiemi di pesi adattati per ciascuno. ## Instruction Tuning - Ottimizzazione tramite istruzioni Si tratta di un tipo specifico di fine-tuning volto a migliorare la capacità degli LLM di seguire istruzioni in linguaggio naturale. - **Principio di funzionamento:** Il modello viene ottimizzato su un dataset composto da coppie «istruzione — output desiderato». - **Obiettivo:** Migliorare la capacità di generalizzazione del modello su compiti nuovi e mai visti in precedenza, che possono essere descritti sotto forma di istruzioni. Modelli come InstructGPT e FLAN-T5 sono esempi emblematici di questo approccio. ## Vedi anche - Grandi modelli linguistici - BERT - GPT ## Letteratura - Howard, J.; Ruder, S. (2018). *Universal Language Model Fine-tuning for Text Classification*. arXiv:1801.06146. - Houlsby, N. et al. (2019). *Parameter-Efficient Transfer Learning for NLP*. arXiv:1902.00751. - Pfeiffer, J. et al. (2020). *AdapterFusion: Non-Destructive Task Composition for Transfer Learning*. arXiv:2005.00247. - Hu, E. J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Lester, B.; Al-Rfou, R.; Constant, N. (2021). *The Power of Scale for Parameter-Efficient Prompt Tuning*. arXiv:2104.08691. - Ben Zaken, A.; Goldberg, Y.; Ravfogel, S. (2022). *BitFit: Simple Parameter-Efficient Fine-Tuning for Transformer-based Masked Language-Models*. ACL 2022. - Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155. - Han, Z. et al. (2024). *Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey*. arXiv:2403.14608. - Bian, J. et al. (2025). *A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning*. arXiv:2504.21099. - Li, X. et al. (2025). *Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques and Future Directions*. Preprints.org.