Valutazione LLM

La valutazione dei modelli linguistici di grandi dimensioni (LLM) è una disciplina nel campo dell'intelligenza artificiale che fornisce metodi standardizzati per misurare le capacità, i limiti e i rischi dei modelli linguistici. Man mano che gli LLM vengono integrati in settori chiave come la sanità e la finanza, la loro valutazione oggettiva diventa indispensabile per garantire sicurezza, affidabilità ed equità.

La valutazione degli LLM svolge diverse funzioni fondamentali:

• Misurazione delle capacità: Confronto oggettivo delle prestazioni di diversi modelli su attività standardizzate.
• Monitoraggio dei progressi: Registrazione dei risultati raggiunti e identificazione delle aree che richiedono ulteriori miglioramenti.
• Minimizzazione dei rischi: Individuazione di risultati potenzialmente dannosi, come pregiudizi, allucinazioni e problemi di sicurezza.
• Informazione di sviluppatori e utenti: Fornitura di informazioni trasparenti per la scelta del modello più adatto a una specifica applicazione.

Principali approcci e metodologie

La valutazione moderna degli LLM ha avuto inizio con la comparsa di benchmark completi come GLUE (General Language Understanding Evaluation), che ha stabilito lo standard per la valutazione della comprensione generale del linguaggio. Man mano che i modelli hanno iniziato a superare le prestazioni umane su GLUE, sono stati sviluppati successori più sofisticati, come SuperGLUE.

Un cambiamento fondamentale si è verificato con l'introduzione di benchmark multitask come MMLU e BIG-bench, che testano i modelli su un'ampia gamma di conoscenze e capacità di ragionamento, andando oltre i puri compiti linguistici.

Metriche e benchmark principali

Metriche automatiche

• Perpllessità (Perplexity): Una metrica fondamentale che misura quanto bene il modello prevede il testo. Una perpllessità più bassa indica una maggiore sicurezza del modello nelle proprie previsioni.
• BLEU e ROUGE: Metriche basate su n-grammi che misurano la sovrapposizione lessicale tra il testo generato e quello di riferimento. BLEU si concentra sulla precisione, ROUGE sul richiamo.
• BERTScore: Una metrica semantica che utilizza gli embedding di BERT per calcolare la similarità semantica. È in grado di cogliere sinonimia e parafrasi, rendendola più accurata rispetto alle metriche basate su n-grammi.

Benchmark specializzati

Per valutare capacità specifiche sono stati sviluppati benchmark mirati:

• Generazione di codice: HumanEval valuta la capacità del modello di generare codice corretto a partire da una descrizione testuale, verificandone la funzionalità tramite unit test.
• Senso comune: HellaSwag testa la comprensione del modello del mondo fisico e delle relazioni causali attraverso la previsione del completamento più probabile di situazioni quotidiane.
• Conoscenze accademiche: MMLU (Massive Multitask Language Understanding) copre 57 discipline, dalla matematica elementare al diritto e alla medicina, verificando l'ampiezza dell'erudizione del modello.
• Limiti delle capacità: BIG-bench (Beyond the Imitation Game) è un progetto collaborativo che raccoglie 204 attività progettate per individuare le capacità emergenti — abilità che compaiono improvvisamente quando il modello raggiunge scale critiche.

Valutazione della sicurezza e degli aspetti etici

• Pregiudizio: Per valutare i pregiudizi sociali e demografici vengono utilizzati dataset come BBQ (Bias Benchmark for Question Answering) e BOLD (Bias in Open-ended Language generation Dataset).
• Tossicità: Benchmark come RealToxicityPrompts forniscono prompt che provocano la generazione di contenuti tossici, al fine di valutare la robustezza del modello.
• Robustezza: Viene valutata tramite attacchi avversariali. Il framework PromptRobust fornisce un insieme completo di prompt per verificare la robustezza del modello a livello di caratteri, parole e frasi.

Standard e framework contemporanei

• HELM (Holistic Evaluation of Language Models): Un'iniziativa dell'Università di Stanford che propone una metodologia «olistica». HELM valuta i modelli secondo molteplici dimensioni: accuratezza, robustezza, equità, pregiudizio, tossicità ed efficienza.
• ISO/IEC 42001:2023: Il primo standard internazionale per i sistemi di gestione dell'IA, che stabilisce i requisiti per la governance dell'IA lungo l'intero ciclo di vita.
• Regolamento UE 2024/1689 (EU AI Act): La prima regolamentazione completa sull'IA, che richiede valutazioni standardizzate per i modelli di uso generale con rischi sistemici.
• NIST AI Risk Management Framework 1.0: Un framework volontario per lo sviluppo e il dispiegamento di un'IA affidabile, elaborato dal National Institute of Standards and Technology degli Stati Uniti.

Problemi e limiti dei metodi esistenti

• Saturazione dei benchmark: Molti modelli raggiungono punteggi quasi perfetti sui benchmark più diffusi, determinando il fenomeno dell'«inseguimento dei benchmark», in cui i modelli vengono ottimizzati per test specifici piuttosto che per capacità generali.
• Contaminazione dei dati: Un problema critico in cui i dati di test del benchmark finiscono accidentalmente nel set di addestramento, producendo risultati di valutazione gonfiati e non equi.
• Bassa correlazione con i giudizi umani: Le metriche automatiche come BLEU e ROUGE spesso correlano scarsamente con la valutazione della qualità da parte degli esseri umani, specialmente in attività creative e aperte.

Ricerche attuali e tendenze

• Paradigma LLM-as-a-Judge: Utilizzo di LLM potenti (ad esempio GPT-4) come «giudici» per valutare le risposte di altri modelli. Questo approccio offre un'alternativa scalabile alla costosa valutazione umana.
• Valutazione dinamica e adattiva: Piattaforme come LMArena presentano un sistema crowdsourcing con rating Elo per la valutazione in tempo reale dei modelli nell'interazione diretta con gli utenti.
• Approcci ibridi: Combinazione di metriche automatizzate con il giudizio umano e la valutazione degli LLM per ottenere un quadro più completo e affidabile delle prestazioni del modello.

Il panorama della valutazione degli LLM continua a evolversi, muovendosi verso la creazione di framework multidimensionali, standardizzati e riproducibili, che tengano conto non solo dell'accuratezza, ma anche degli aspetti sociali ed etici dell'applicazione delle tecnologie di intelligenza artificiale.

Riferimenti

• Stanford HELM — sito ufficiale del progetto Holistic Evaluation of Language Models.
• Chatbot Arena — piattaforma per la valutazione comparativa dei chatbot basata sulle preferenze umane.

Bibliografia

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.