ROUGE (metric) (NL)

ROUGE (acroniem van het Engels Recall-Oriented Understudy for Gisting Evaluation — «Een op volledigheid gerichte plaatsvervanger voor de evaluatie van samenvattingen») — dit is een verzameling automatische metrieken voor het beoordelen van de kwaliteit van door systemen gegenereerde tekstsamenvattingen (samenvattingen). De beoordeling vindt plaats door de automatisch gegenereerde samenvatting te vergelijken met een of meerdere referentiesamenvattingen die door mensen zijn opgesteld.

Oorspronkelijk werd de metriek ontwikkeld voor taken op het gebied van automatische tekstsamenvatting, maar zij wordt ook toegepast bij de beoordeling van de kwaliteit van machinevertaling. Anders dan de metriek BLEU, die de nauwkeurigheid (precision) beoordeelt, richt ROUGE zich op volledigheid (recall) — zij geeft aan welk deel van de relevante fragmenten uit de referentiesamenvatting is gereproduceerd in de gegenereerde tekst.

De verzameling ROUGE-metrieken werd in 2004 voorgesteld door onderzoeker Chin-Yew Lin uit het Instituut voor Informatiewetenschappen van de Universiteit van Zuid-Californië. De ROUGE-metrieken zijn de de-facto standaard geworden voor de evaluatie van samenvattingsalgoritmen, met name na hun gebruik in grote wedstrijden zoals DUC (Document Understanding Conference).

Belangrijkste varianten van de ROUGE-metrieken

De ROUGE-familie omvat verschillende verwante metrieken, die elk de inhoudelijke overlapping meten aan de hand van verschillende criteria:

• ROUGE-N: Meet de overlapping op basis van n-grammen (reeksen van n woorden).
  • ROUGE-1 berekent de overlapping van unigrammen (afzonderlijke woorden).
  • ROUGE-2 berekent de overlapping van bigrammen (paren opeenvolgende woorden).

• ROUGE-L: Gebaseerd op de langste gemeenschappelijke deelrij (Longest Common Subsequence, LCS) tussen de gegenereerde en de referentiesamenvatting. Deze metriek houdt rekening met overeenkomsten op het niveau van de zinsstructuur, omdat zij de langste reeks woorden meet die in dezelfde volgorde voorkomt, maar niet noodzakelijkerwijs aaneengesloten.

• ROUGE-W: Een modificatie van ROUGE-L (Weighted LCS), die een groter gewicht toekent aan gemeenschappelijke deelrijen die bestaan uit aaneengesloten woorden, waarmee continue woordovereenkomsten worden beloond.

• ROUGE-S en ROUGE-SU: Metrieken op basis van de overeenkomst van overgeslagen bigrammen (skip-bigrams). Een overgeslagen bigramme is elk paar woorden dat in beide teksten in dezelfde volgorde voorkomt, maar niet noodzakelijkerwijs aaneengesloten. Dit maakt het mogelijk om overeenkomsten met tussenliggende woorden te meten.
  • ROUGE-SU is een uitbreiding van ROUGE-S, die ook de overeenkomst van unigrammen in aanmerking neemt om een nulscore te vermijden voor samenvattingen zonder overeenkomende woordparen.

Elke metriek kan worden berekend in termen van volledigheid (recall), nauwkeurigheid (precision) of hun harmonisch gemiddelde (F-maat). Traditioneel ligt bij samenvattingstaken de nadruk op volledigheid (ROUGE-N recall), omdat het belangrijk is dat het model zo veel mogelijk essentiële informatie uit de brontekst haalt.

Toepassing en betekenis

De ROUGE-metrieken zijn een standaardinstrument geworden voor de objectieve beoordeling van samenvattingsalgoritmen. Vanaf het midden van de jaren 2000 hebben vrijwel alle wedstrijden op het gebied van automatische samenvatting (zoals DUC en TAC) ROUGE gebruikt voor het rangschikken van systemen. De populariteit van de metriek is te verklaren door haar eenvoud en bewezen effectiviteit: de overlapping van n-grammen bleek een voldoende betrouwbare indicator voor de weergave van de inhoud van een samenvatting.

Met de opkomst van neurale netwerk-modellen en LLM's is de rol van ROUGE behouden gebleven, maar is de interpretatie complexer geworden. Moderne modellen genereren samenvattingen van zo hoge kwaliteit dat traditionele metrieken een «plafond» kunnen bereiken en nuances in kwaliteit slecht kunnen onderscheiden, wat de ontwikkeling van nieuwe evaluatiemethoden heeft gestimuleerd.

Beperkingen en kritiek

Ondanks haar populariteit kent ROUGE bekende beperkingen:

• Oppervlakkig karakter: De metriek steunt uitsluitend op lexicale overeenkomst en is niet in staat semantische equivalentie te beoordelen. Zij kan een goede samenvatting onderwaarderen als daarin synoniemen of omschrijvingen worden gebruikt.
• Negeren van tekstkwaliteit: ROUGE beoordeelt niet de grammaticale correctheid, samenhang of leesbaarheid van de tekst. Een model kan een hoge score behalen door eenvoudigweg belangrijke fragmenten uit de referentie te herhalen, zelfs als de resulterende tekst onsamenhangend is.
• Afhankelijkheid van de referentiesamenvatting: De kwaliteit van de beoordeling hangt direct af van de kwaliteit en volledigheid van de referentiesamenvatting. Als de referentie slecht is geschreven, zal de beoordeling onbetrouwbaar zijn.
• Geen beoordeling van feiten: De metriek is niet in staat de feitelijke nauwkeurigheid te controleren. Een samenvatting kan een hoge ROUGE-score behalen, maar toch onjuiste feiten bevatten, als deze zijn overgenomen uit de bron en niet uit de referentie.

Alternatieven en moderne benaderingen

De beperkingen van ROUGE hebben geleid tot de ontwikkeling van alternatieve evaluatiemethoden:

• Semantisch gerichte metrieken: Proberen gelijkenis op betekenisniveau te meten in plaats van exacte woordovereenkomst. Voorbeelden zijn BERTScore, dat de vectorrepresentaties (embeddings) van de gegenereerde en de referentietekst vergelijkt.
• Gecombineerde metrieken: Combineren lexicale en semantische criteria. Zo vult de aanpak ROUGE-SEM het klassieke ROUGE aan met een module voor semantische gelijkenis op basis van embeddings, om parafraseringen beter te kunnen beoordelen.
• Metrieken op basis van LLM: Moderne benaderingen waarbij krachtige modellen (zoals GPT) als «rechter» worden ingezet om de kwaliteit van samenvattingen aan de hand van meerdere criteria te beoordelen, waarbij de deskundige beoordeling door een mens wordt nagebootst.

Tot besluit heeft ROUGE zich bewezen als een eenvoudig en doeltreffend instrument voor de evaluatie van automatische samenvattingen. Ondanks de opkomst van geavanceerdere metrieken blijft ROUGE, met al zijn tekortkomingen, een onmisbaar basisinstrument in het arsenaal van NLP-onderzoekers.

Verwijzingen

• Origineel artikel van Chin-Yew Lin over ROUGE (2004)