Evaluarea LLM

Evaluarea modelelor lingvistice de mari dimensiuni (LLM) — este o disciplină din domeniul inteligenței artificiale care furnizează metode standardizate pentru măsurarea capacităților, limitărilor și riscurilor modelelor lingvistice. Pe măsură ce LLM-urile se integrează în domenii-cheie, precum sănătatea și finanțele, evaluarea lor obiectivă devine necesară pentru asigurarea siguranței, fiabilității și echității.

Evaluarea LLM îndeplinește mai multe funcții fundamentale:

• Măsurarea capacităților: Compararea obiectivă a performanței diferitelor modele pe sarcini standardizate.
• Urmărirea progresului: Înregistrarea realizărilor și identificarea domeniilor care necesită îmbunătățiri ulterioare.
• Minimizarea riscurilor: Identificarea rezultatelor potențial dăunătoare, precum prejudecățile, halucinațiile și problemele de siguranță.
• Informarea dezvoltatorilor și utilizatorilor: Furnizarea de informații transparente pentru alegerea celui mai potrivit model pentru o aplicație specifică.

Abordări și metodologii principale

Evaluarea modernă a LLM a început odată cu apariția benchmark-urilor complexe, precum GLUE (General Language Understanding Evaluation), care a stabilit standardul pentru evaluarea înțelegerii generale a limbajului. Pe măsură ce modelele au început să depășească rezultatele umane pe GLUE, au fost dezvoltați succesori mai sofisticați, precum SuperGLUE.

O schimbare fundamentală a avut loc odată cu introducerea benchmark-urilor multisarcină, precum MMLU și BIG-bench, care testează modelele pe un spectru larg de cunoștințe și capacități de raționament, depășind cadrul sarcinilor pur lingvistice.

Metrici și benchmark-uri cheie

Metrici automate

• Perplexitate (Perplexity): O metrică fundamentală care măsoară cât de bine prezice modelul un text. O perplexitate mai scăzută indică o mai mare încredere a modelului în predicțiile sale.
• BLEU și ROUGE: Metrici bazate pe n-grame, care măsoară suprapunerea lexicală dintre textul generat și textul de referință. BLEU se concentrează pe precizie, ROUGE — pe acoperire.
• BERTScore: O metrică semantică care utilizează embedding-uri din BERT pentru a calcula similaritatea semantică. Aceasta poate surprinde sinonimia și reformularea, ceea ce o face mai precisă decât metricile bazate pe n-grame.

Benchmark-uri specializate

Pentru evaluarea unor capacități specifice au fost dezvoltate benchmark-uri țintite:

• Generarea de cod: HumanEval evaluează capacitatea modelului de a genera cod de program corect pe baza unei descrieri textuale, verificând funcționalitatea acestuia prin teste unitare.
• Simț comun: HellaSwag testează înțelegerea de către model a lumii fizice și a relațiilor cauză-efect prin predicția celui mai probabil final al unei situații cotidiene.
• Cunoștințe academice: MMLU (Massive Multitask Language Understanding) acoperă 57 de discipline, de la matematică elementară la drept și medicină, verificând amplitudinea erudiției modelului.
• Limitele capacităților: BIG-bench (Beyond the Imitation Game) — este un proect colaborativ care reunește 204 sarcini concepute pentru a identifica capacitățile emergente — abilități care apar brusc atunci când modelul atinge dimensiuni critice.

Evaluarea siguranței și a aspectelor etice

• Prejudecăți: Pentru evaluarea prejudecăților sociale și demografice sunt utilizate dataset-uri precum BBQ (Bias Benchmark for Question Answering) și BOLD (Bias in Open-ended Language generation Dataset).
• Toxicitate: Benchmark-uri precum RealToxicityPrompts furnizează solicitări care provoacă generarea de conținut toxic, pentru a evalua rezistența modelului.
• Robustețe: Este evaluată cu ajutorul atacurilor adversariale. Framework-ul PromptRobust furnizează un set comprehensiv de solicitări pentru testarea rezistenței modelului la nivelul caracterelor, cuvintelor și propozițiilor.

Standarde și framework-uri moderne

• HELM (Holistic Evaluation of Language Models): O inițiativă a Universității Stanford care propune o metodologie „holistică". HELM evaluează modelele după multiple dimensiuni: precizie, robustețe, echitate, prejudecăți, toxicitate și eficiență.
• ISO/IEC 42001:2023: Primul standard internațional pentru sistemele de management al IA, stabilind cerințe pentru guvernanța IA pe întregul ciclu de viață.
• Regulamentul UE 2024/1689 (EU AI Act): Prima reglementare complexă a IA, care impune evaluări standardizate pentru modelele de uz general cu riscuri sistemice.
• NIST AI Risk Management Framework 1.0: Un framework voluntar pentru dezvoltarea și implementarea unei IA fiabile, elaborat de Institutul Național de Standarde și Tehnologie din SUA.

Probleme și limitări ale metodelor existente

• Saturarea benchmark-urilor: Multe modele ating scoruri aproape perfecte pe benchmark-urile populare, ceea ce conduce la fenomenul „urmăririi benchmark-urilor", când modelele sunt optimizate pentru teste specifice, nu pentru capacități generale.
• Contaminarea datelor: O problemă critică prin care datele de testare ale unui benchmark ajung accidental în setul de antrenament, conducând la rezultate de evaluare umflate și incorecte.
• Corelație scăzută cu judecata umană: Metricile automate, precum BLEU și ROUGE, corelează adesea slab cu evaluarea calității de către oameni, în special în sarcinile creative și deschise.

Cercetări actuale și tendințe

• Paradigma LLM-as-a-Judge: Utilizarea unor LLM-uri puternice (de exemplu, GPT-4) în calitate de „judecători" pentru evaluarea răspunsurilor altor modele. Această abordare oferă o alternativă scalabilă la evaluarea umană costisitoare.
• Evaluare dinamică și adaptivă: Platforme precum LMArena prezintă un sistem crowdsourcing cu ratinguri Elo pentru evaluarea reală a modelelor în interacțiunea directă cu utilizatorii.
• Abordări hibride: Combinarea metricilor automate cu judecata umană și evaluarea LLM pentru a obține o imagine mai completă și mai fiabilă a performanței modelului.

Peisajul evaluării LLM continuă să evolueze, îndreptându-se spre crearea unor framework-uri multidimensionale, standardizate și reproductibile, care iau în considerare nu doar precizia, ci și aspectele sociale și etice ale aplicării tehnologiilor IA.

Referințe

• Stanford HELM — site-ul oficial al proiectului Holistic Evaluation of Language Models.
• Chatbot Arena — platformă pentru evaluarea comparativă a chatbot-urilor pe baza preferințelor umane.

Bibliografie

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.