BERTScore (metric) (IT)
BERTScore — è una metrica automatica per valutare la qualità del testo generato, basata sulla misurazione della similarità semantica tramite embedding contestuali estratti da modelli linguistici pre-addestrati, come BERT. La metrica è stata proposta nel 2019 da un gruppo di ricercatori guidati da Tianyi Zhang nell'articolo «BERTScore: Evaluating Text Generation with BERT»[1].
A differenza delle metriche tradizionali come BLEU e ROUGE, che si basano sulla corrispondenza esatta di n-grammi, BERTScore è in grado di rilevare l'equivalenza semantica anche quando le parole e le formulazioni differiscono, tenendo conto di sinonimi e parafrasi[2].
Metodologia di calcolo
Il metodo BERTScore si articola in più fasi:
- Ottenimento degli embedding contestuali: Entrambi i testi (di riferimento e generato) vengono suddivisi in token e passati attraverso un modello transformer pre-addestrato (ad esempio BERT o RoBERTa). Per ciascun token viene estratta la sua rappresentazione vettoriale contestuale (embedding).
- Calcolo della similarità coseno: Per tutte le coppie di token dei due testi viene calcolata la similarità coseno, formando una matrice di similarità tra token[3].
- Calcolo di precision, recall e F1: Sulla base della matrice di similarità, per ciascun token nel testo generato viene individuato il token più simile nel testo di riferimento, consentendo di calcolare la precision. Analogamente, per ciascun token del riferimento viene individuato il token più vicino nel testo generato, ottenendo la recall. Il valore finale di BERTScore è la misura F₁ bilanciata, che combina precision e recall:
La metrica è flessibile: è possibile scegliere diversi modelli pre-addestrati, pesare i token in base alla loro importanza (tramite pesi IDF) e applicare trasformazioni lineari ai punteggi per migliorarne l'interpretabilità[3].
Applicazione ed efficacia
BERTScore viene impiegato per valutare la qualità in diversi compiti di generazione del testo:
- Traduzione automatica: Rileva la conservazione del significato anche quando le costruzioni traduttive differiscono da quelle di riferimento.
- Riassunto automatico: È in grado di riconoscere che formulazioni diverse possono trasmettere gli stessi fatti chiave, risultando più flessibile di ROUGE.
- Sistemi di dialogo: Aiuta a misurare la pertinenza di una risposta confrontandola con quella di riferimento a livello semantico.
Una valutazione su larga scala condotta dagli autori ha dimostrato che il coefficiente di correlazione di BERTScore con le valutazioni umane è notevolmente superiore a quello di metriche come BLEU e ROUGE. Inoltre, la metrica ha mostrato una maggiore robustezza nei confronti di casi complessi di parafrasi[1].
Vantaggi
- Considerazione della semantica: Confronta i testi a livello di significato, tenendo conto di sinonimi e parafrasi.
- Alta correlazione con il giudizio umano: I punteggi di BERTScore si allineano meglio ai giudizi umani sulla qualità del testo rispetto alle metriche tradizionali.
- Universalità e trasferibilità: La metrica non è vincolata a una lingua o a un compito specifico: è sufficiente scegliere il modello pre-addestrato appropriato.
- Assenza di necessità di addestramento: BERTScore è una metrica non addestrabile, a differenza di metriche più complesse (come BLEURT) che richiedono un pre-addestramento su corpus di valutazioni.
- Integrazione di modelli moderni: Sfrutta la potenza dei transformer per estrarre caratteristiche contestuali profonde.
Limiti e critiche
- Elevato costo computazionale: Il calcolo basato sugli embedding richiede risorse notevolmente maggiori rispetto al conteggio degli n-grammi e spesso necessita dell'utilizzo di GPU[2].
- Dipendenza dal modello: La qualità della valutazione è direttamente legata alla qualità del modello pre-addestrato. La scelta del modello e dello strato da cui estrarre gli embedding influenza il risultato, il che può causare problemi di riproducibilità[4].
- Mancata considerazione di fatti e struttura: BERTScore si concentra sulla similarità semantica locale e non garantisce la comprensione della struttura del testo o dell'accuratezza fattuale. Un testo con frasi riorganizzate o errori fattuali può ricevere un punteggio elevato[3].
- Bassa interpretabilità: A differenza di BLEU/ROUGE, il punteggio di BERTScore è meno trasparente, rendendo più difficile l'analisi degli errori.
- Bias sociali: La metrica eredita gli stereotipi e i bias presenti nei modelli pre-addestrati. Uno studio del 2022 ha dimostrato che le metriche basate su LLM (incluso BERTScore) mostrano un bias sociale significativamente maggiore rispetto alle metriche tradizionali[5].
Importanza e ruolo nella valutazione
BERTScore rappresenta un importante passo avanti nello sviluppo dei metodi di valutazione del testo generato, poiché consente di considerare l'equivalenza semantica e non solo le corrispondenze lessicali. Nonostante nessuna metrica automatica sia in grado di misurare perfettamente la qualità del testo, BERTScore si è affermato come uno strumento affidabile che integra gli approcci classici (come BLEU e ROUGE) senza sostituirli completamente.
Nella pratica, BERTScore viene spesso utilizzato in combinazione con la valutazione manuale da parte di esperti e con altre metriche, al fine di ottenere una visione più completa e approfondita di quanto efficacemente i modelli generino testi coerenti e semanticamente adeguati[2].
Collegamenti esterni
- Repository ufficiale di BERTScore su GitHub
Note
- ↑ 1.0 1.1 Zhang, Tianyi, et al. «BERTScore: Evaluating Text Generation with BERT». arXiv:1904.09675 [cs.CL], 22 апр. 2019 г. [1]
- ↑ 2.0 2.1 2.2 «BERTScore: New Metrics for Language Models». Analytics Vidhya. [2]
- ↑ 3.0 3.1 3.2 Sojasingarayar, Abonia. «BERTScore Explained in 5 minutes». Medium. [3]
- ↑ Alakulju, D., et al. «Reproducibility of BERTScore». Theseus.fi. [4]
- ↑ Peyrard, M., et al. «BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation». arXiv:2210.07626 [cs.CL], 14 окт. 2022 г. [5]