Encoder-only models (IT)

I modelli solo encoder (in inglese Encoder-Only Models) sono una classe di architetture di grandi modelli linguistici (LLM) basate esclusivamente sulla parte codificante (encoder) dell'architettura Transformer. A differenza dei modelli che utilizzano un decoder o l'architettura completa encoder-decoder, questi modelli sono specializzati nei compiti di comprensione del linguaggio naturale (Natural Language Understanding, NLU).

Il modello di punta e pioniere di questo approccio è BERT (Bidirectional Encoder Representations from Transformers), sviluppato da Google nel 2018.

Concetto e architettura

L'idea fondamentale dei modelli solo encoder consiste nella creazione di rappresentazioni contestualizzate profonde (embedding) per ciascun token nella sequenza di input. Grazie al meccanismo di self-attention nel Transformer, ogni token può «vedere» e interagire con tutti gli altri token nella sequenza, consentendo al modello di catturare un contesto ricco.

La caratteristica chiave è la bidirezionalità: la rappresentazione di ciascun token viene costruita sulla base sia del contesto sinistro che di quello destro simultaneamente. Questo li distingue radicalmente dai modelli autoregressivi solo decoder (come GPT), che per loro natura sono unidirezionali.

Dal punto di vista architetturale, il modello è composto da uno stack di $N$ strati encoder identici. Ciascuno strato è formato da due principali sotto-strati:

1. Attenzione multi-testa (Multi-Head Self-Attention): Calcola la rappresentazione contestualizzata per ciascun token.
2. Rete neurale completamente connessa (Feed-Forward Network): Applica una trasformazione non lineare alla rappresentazione di ciascun token.

In uscita, il modello genera una sequenza di vettori della stessa lunghezza della sequenza di input, dove ciascun vettore costituisce una rappresentazione ricca del corrispondente token di input.

Compiti di pre-addestramento

Per insegnare al modello a comprendere il linguaggio in un contesto bidirezionale, vengono utilizzati speciali compiti di pre-addestramento auto-supervisionati:

Modellazione del linguaggio mascherato (Masked Language Modeling, MLM)

Questo è il compito principale e più importante per i modelli solo encoder, introdotto per la prima volta in BERT.

• Principio di funzionamento: Dalla sequenza di input viene nascosta (mascherata) casualmente una piccola percentuale di token (solitamente il 15%). Il compito del modello è predire i valori originali di questi token mascherati, utilizzando il contesto bidirezionale che li circonda.
• Obiettivo: Questo compito costringe il modello ad apprendere profondi legami semantici e sintattici tra le parole.

Predizione della frase successiva (Next Sentence Prediction, NSP)

Questo compito (anch'esso presente nel BERT originale) è stato concepito per insegnare al modello a comprendere le relazioni tra frasi.

• Principio di funzionamento: Al modello viene fornita una coppia di frasi e deve determinare se la seconda frase è una continuazione logica della prima nel testo originale.
• Stato attuale: Ricerche successive (ad esempio, nel modello RoBERTa) hanno dimostrato che NSP è meno efficace di MLM, ed è spesso sostituita da altri compiti o eliminata del tutto.

Applicazioni

I modelli solo encoder non sono progettati per la generazione di testo in forma libera, poiché privi di un decoder autoregressivo. La loro forza risiede nell'analisi e nella comprensione del testo. Le rappresentazioni vettoriali di output del modello vengono utilizzate per affrontare un'ampia gamma di compiti NLU:

• Classificazione del testo: Per compiti come l'analisi del sentiment o la classificazione tematica, si utilizza la rappresentazione del token speciale `[CLS]`, aggiunto all'inizio di ogni sequenza. Il suo vettore finale aggrega le informazioni sull'intera sequenza.
• Classificazione a livello di token: Per compiti come il riconoscimento di entità nominate (NER) o l'etichettatura delle parti del discorso (POS-tagging), si utilizzano le rappresentazioni vettoriali di ciascun singolo token.
• Risposta a domande (Question Answering): Nei compiti in cui la risposta è un frammento del testo fornito (extractive QA), il modello viene addestrato a predire i token iniziale e finale della risposta.
• Ottenimento di embedding: I modelli encoder vengono spesso utilizzati come codificatori di testo universali per ottenere embedding di alta qualità di frasi o documenti, che possono poi essere impiegati nei motori di ricerca o per compiti di similarità semantica.

Modelli principali e loro evoluzione

• BERT (2018): Pioniere dell'architettura, che ha stabilito nuovi record su numerosi benchmark NLP.
• RoBERTa (2019): «BERT ottimizzato in modo robusto». Ha dimostrato che le prestazioni di BERT possono essere significativamente migliorate tramite un addestramento più prolungato su una maggiore quantità di dati e l'eliminazione del compito NSP.
• ALBERT (2019): «A Lite BERT». Modello con un numero di parametri notevolmente ridotto grazie a tecniche di fattorizzazione degli embedding e condivisione dei parametri tra strati.
• DistilBERT (2019): Versione ridotta di BERT, creata tramite distillazione della conoscenza, più veloce e leggera pur conservando la maggior parte delle prestazioni dell'originale.
• ELECTRA (2020): Ha introdotto un compito di pre-addestramento più efficiente — replaced token detection, in cui il modello impara a distinguere i token originali da quelli «falsi» generati da un piccolo modello generatore.
• DeBERTa (2020): Ha introdotto il meccanismo di «attenzione disaccoppiata» (disentangled attention), che codifica separatamente il contenuto e le posizioni relative dei token.

Vedi anche

• BERT