Evaluatie van LLM

Evaluatie van grote taalmodellen (LLM) — dit is een discipline binnen de kunstmatige intelligentie die gestandaardiseerde methoden biedt voor het meten van de mogelijkheden, beperkingen en risico's van taalmodellen. Naarmate LLM's worden geïntegreerd in kritieke sectoren zoals de gezondheidszorg en de financiële sector, wordt hun objectieve beoordeling noodzakelijk om veiligheid, betrouwbaarheid en eerlijkheid te waarborgen.

De evaluatie van LLM's vervult een aantal fundamentele functies:

• Meting van mogelijkheden: Objectieve vergelijking van de prestaties van verschillende modellen op gestandaardiseerde taken.
• Voortgangsregistratie: Vastleggen van prestaties en identificeren van gebieden die verdere verbetering vereisen.
• Minimalisering van risico's: Identificeren van potentieel schadelijke uitkomsten, zoals vooroordelen, hallucinaties en veiligheidsproblemen.
• Informatievoorziening aan ontwikkelaars en gebruikers: Transparante informatie verstrekken voor het kiezen van het meest geschikte model voor een specifieke toepassing.

Belangrijkste benaderingen en methodologieën

Moderne LLM-evaluatie begon met de komst van uitgebreide benchmarks zoals GLUE (General Language Understanding Evaluation), die de standaard stelde voor de beoordeling van algemeen taalbegrip. Naarmate modellen de menselijke resultaten op GLUE begonnen te overtreffen, werden er geavanceerdere opvolgers ontwikkeld, zoals SuperGLUE.

Een fundamentele verschuiving vond plaats met de introductie van multitaak-benchmarks zoals MMLU en BIG-bench, die modellen testen op een breed spectrum aan kennis en redeneervaardigheden, voorbij louter linguïstische taken.

Belangrijkste metrieken en benchmarks

Automatische metrieken

• Perplexiteit (Perplexity): Een fundamentele metriek die meet hoe goed een model tekst voorspelt. Een lagere perplexiteit wijst op meer vertrouwen van het model in zijn voorspellingen.
• BLEU en ROUGE: Op n-gram gebaseerde metrieken die de lexicale overeenkomst meten tussen gegenereerde en referentieteksten. BLEU richt zich op precisie, ROUGE op volledigheid.
• BERTScore: Een semantische metriek die embeddings uit BERT gebruikt om semantische gelijkenis te berekenen. Deze metriek kan synoniemen en parafrasen detecteren, waardoor ze nauwkeuriger is dan op n-gram gebaseerde metrieken.

Gespecialiseerde benchmarks

Voor de beoordeling van specifieke vaardigheden zijn gerichte benchmarks ontwikkeld:

• Codegeneratie: HumanEval beoordeelt het vermogen van een model om correcte programmacode te genereren op basis van een tekstbeschrijving, en verifieert de functionaliteit ervan met behulp van unit-tests.
• Gezond verstand: HellaSwag test het begrip van modellen van de fysieke wereld en oorzaak-gevolgrelaties door het voorspellen van de meest waarschijnlijke afloop van alledaagse situaties.
• Academische kennis: MMLU (Massive Multitask Language Understanding) omvat 57 vakgebieden, van elementaire wiskunde tot recht en geneeskunde, en toetst de breedte van de kennis van het model.
• Grenzen van mogelijkheden: BIG-bench (Beyond the Imitation Game) is een samenwerkingsproject dat 204 taken bundelt, ontwikkeld om emergente vaardigheden te identificeren — vaardigheden die plotseling verschijnen wanneer een model een kritische schaal bereikt.

Beoordeling van veiligheid en ethische aspecten

• Vooroordelen: Voor de beoordeling van sociale en demografische vooroordelen worden datasets gebruikt zoals BBQ (Bias Benchmark for Question Answering) en BOLD (Bias in Open-ended Language generation Dataset).
• Toxiciteit: Benchmarks zoals RealToxicityPrompts bieden prompts die de generatie van toxische inhoud uitlokken, om de robuustheid van het model te beoordelen.
• Robuustheid: Wordt beoordeeld met behulp van adversariële aanvallen. Het framework PromptRobust biedt een uitgebreide reeks prompts om de robuustheid van het model te testen op het niveau van tekens, woorden en zinnen.

Moderne standaarden en frameworks

• HELM (Holistic Evaluation of Language Models): Een initiatief van de Stanford Universiteit dat een "holistische" methodologie voorstelt. HELM beoordeelt modellen op meerdere dimensies: nauwkeurigheid, robuustheid, eerlijkheid, vooroordelen, toxiciteit en efficiëntie.
• ISO/IEC 42001:2023: De eerste internationale standaard voor AI-beheersystemen, die vereisten stelt aan het beheer van AI gedurende de volledige levenscyclus.
• EU-verordening 2024/1689 (EU AI Act): De eerste uitgebreide AI-regulering, die gestandaardiseerde beoordelingen vereist voor AI-modellen voor algemeen gebruik met systeemrisico's.
• NIST AI Risk Management Framework 1.0: Een vrijwillig framework voor de ontwikkeling en het gebruik van betrouwbare AI, ontwikkeld door het Nationaal Instituut voor Standaarden en Technologie van de Verenigde Staten.

Problemen en beperkingen van bestaande methoden

• Benchmark-verzadiging: Veel modellen bereiken bijna perfecte scores op populaire benchmarks, wat leidt tot het fenomeen van "benchmark-jagen", waarbij modellen worden geoptimaliseerd voor specifieke tests in plaats van voor algemene mogelijkheden.
• Gegevenscontaminatie: Een kritisch probleem waarbij testgegevens van een benchmark per ongeluk in de trainingsset terechtkomen, wat leidt tot opgeblazen en oneerlijke evaluatieresultaten.
• Lage correlatie met menselijk oordeel: Automatische metrieken zoals BLEU en ROUGE correleren vaak slecht met de kwaliteitsbeoordeling door mensen, met name bij creatieve en open taken.

Actueel onderzoek en tendensen

• Het LLM-as-a-Judge paradigma: Het gebruik van krachtige LLM's (zoals GPT-4) als "rechters" om de antwoorden van andere modellen te beoordelen. Deze aanpak biedt een schaalbaar alternatief voor de kostbare menselijke evaluatie.
• Dynamische en adaptieve evaluatie: Platforms zoals LMArena introduceren een crowdsourced systeem met Elo-ratings voor de evaluatie van modellen in real-time interactie met gebruikers.
• Hybride benaderingen: Het combineren van geautomatiseerde metrieken met menselijk oordeel en LLM-evaluatie om een vollediger en betrouwbaarder beeld te krijgen van de modelprestaties.

Het landschap van LLM-evaluatie blijft evolueren, met een beweging naar de ontwikkeling van meerdimensionale, gestandaardiseerde en reproduceerbare frameworks die niet alleen nauwkeurigheid in aanmerking nemen, maar ook de sociale en ethische aspecten van de toepassing van AI-technologieën.

Verwijzingen

• Stanford HELM — de officiële website van het Holistic Evaluation of Language Models project.
• Chatbot Arena — een platform voor de vergelijkende beoordeling van chatbots op basis van menselijke voorkeuren.

Literatuur

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.