ROUGE (metric) (PL)

ROUGE (akronim od ang. Recall-Oriented Understudy for Gisting Evaluation — „Zastępczy oceniacz do streszczania, zorientowany na pełność") — to zestaw automatycznych metryk służących do oceny jakości streszczeń tekstowych generowanych przez systemy. Ocena jest przeprowadzana poprzez porównanie automatycznie wygenerowanego streszczenia z jednym lub kilkoma wzorcowymi (referencyjnymi) streszczeniami stworzonymi przez ludzi.

Początkow metrika została opracowana dla zadań automatycznego streszczania tekstu, jednak jest również stosowana w ocenie jakości tłumaczenia maszynowego. W odróżnieniu od metryki BLEU, która ocenia dokładność (precision), ROUGE koncentruje się na pełności (recall) — pokazuje, jaka część istotnych fragmentów z wzorcowego streszczenia została odtworzona w wygenerowanym tekście.

Zestaw metryk ROUGE został zaproponowany w 2004 roku przez badacza Chin-Yew Lina (Chin-Yew Lin) z Instytutu Nauk Informacyjnych Uniwersytetu Południowej Kalifornii. Metryki ROUGE stały się de facto standardem oceny algorytmów streszczania, zwłaszcza po ich zastosowaniu na dużych konkursach, takich jak DUC (Document Understanding Conference).

Podstawowe warianty metryk ROUGE

Rodzina ROUGE obejmuje kilka powiązanych metryk, z których każda mierzy pokrycie treści według różnych kryteriów:

• ROUGE-N: Mierzy pokrycie pod względem n-gramów (sekwencji n słów).
  • ROUGE-1 oblicza pokrycie unigramów (pojedynczych słów).
  • ROUGE-2 oblicza pokrycie bigramów (par kolejnych słów).

• ROUGE-L: Opiera się na najdłuższej wspólnej podciągu (Longest Common Subsequence, LCS) między wygenerowanym a wzorcowym streszczeniem. Metryka ta uwzględnia zgodność na poziomie struktury zdania, ponieważ mierzy najdłuższą sekwencję słów występujących w tej samej kolejności, lecz niekoniecznie bezpośrednio po sobie.

• ROUGE-W: Modyfikacja ROUGE-L (Weighted LCS), która przypisuje większą wagę tym wspólnym podciągom, które składają się ze słów następujących bezpośrednio po sobie, nagradzając ciągłe dopasowanie fraz.

• ROUGE-S i ROUGE-SU: Metryki oparte na dopasowaniu bigramów z pominięciem (skip-bigrams). Bigramem z pominięciem jest dowolna para słów występująca w obu tekstach w tej samej kolejności, lecz niekoniecznie sąsiadująca. Pozwala to uwzględniać dopasowania z przerwami między słowami.
  • ROUGE-SU jest rozszerzeniem ROUGE-S, które uwzględnia również dopasowanie unigramów, aby uniknąć zerowej oceny dla streszczeń bez dopasowanych par słów.

Każda z metryk może być obliczana w kategoriach pełności (recall), dokładności (precision) lub ich średniej harmonicznej (miara F). Tradycyjnie w zadaniach streszczania nacisk kładzie się na pełność (ROUGE-N recall), ponieważ ważne jest, aby model wydobył jak najwięcej kluczowych informacji z tekstu źródłowego.

Zastosowanie i znaczenie

Metryki ROUGE stały się standardowym narzędziem do obiektywnej oceny algorytmów streszczania. Począwszy od połowy lat 2000. praktycznie wszystkie konkursy dotyczące automatycznego streszczania (np. DUC i TAC) wykorzystywały ROUGE do rankingowania systemów. Popularność metryki wynika z jej prostoty i udowodnionej skuteczności: pokrycie n-gramów okazało się wystarczająco wiarygodnym wskaźnikiem odzwierciedlającym treść streszczenia.

Po pojawieniu się modeli sieci neuronowych i LLM rola ROUGE utrzymała się, jednak interpretacja stała się bardziej złożona. Nowoczesne modele generują streszczenia o tak wysokiej jakości, że tradycyjne metryki mogą osiągać „sufit" i słabo rozróżniać niuanse jakości, co pobudziło do opracowania nowych metod oceny.

Ograniczenia i krytyka

Pomimo popularności ROUGE posiada znane ograniczenia:

• Powierzchowny charakter: Metryka opiera się wyłącznie na dopasowaniu leksykalnym i nie jest w stanie ocenić równoważności semantycznej. Może zaniżyć ocenę dobrego streszczenia, jeśli zostały w nim użyte synonimy lub parafrazy.
• Ignorowanie jakości tekstu: ROUGE nie ocenia poprawności gramatycznej, spójności ani czytelności tekstu. Model może uzyskać wysoki wynik, po prostu powtarzając ważne fragmenty ze wzorca, nawet jeśli wynikowy tekst jest niespójny.
• Zależność od wzorcowego streszczenia: Jakość oceny bezpośrednio zależy od jakości i kompletności streszczenia referencyjnego. Jeśli wzorzec jest napisany słabo, ocena będzie mało wiarygodna.
• Brak oceny faktów: Metryka nie jest w stanie zweryfikować faktycznej dokładności. Streszczenie może uzyskać wysoki wynik ROUGE, ale zawierać błędne fakty, jeśli zostały one skopiowane ze źródła, a nie z wzorca.

Alternatywy i nowoczesne podejścia

Ograniczenia ROUGE skłoniły do opracowania alternatywnych metod oceny:

• Metryki zorientowane semantycznie: Starają się mierzyć podobieństwo na poziomie znaczenia, a nie dokładnego dopasowania słów. Przykłady obejmują BERTScore, który porównuje reprezentacje wektorowe (embeddingi) wygenerowanego i wzorcowego tekstu.
• Metryki kombinowane: Łączą kryteria leksykalne i semantyczne. Na przykład podejście ROUGE-SEM uzupełnia klasyczny ROUGE modułem podobieństwa semantycznego opartego na embeddingach, aby lepiej oceniać sparafrazowane teksty.
• Metryki oparte na LLM: Nowoczesne podejścia, w których potężne modele (np. GPT) pełnią rolę „sędziego" oceniającego jakość streszczeń według kilku kryteriów, naśladując ekspercką ocenę człowieka.

Podsumowując, ROUGE ugruntowała swoją pozycję jako proste i skuteczne narzędzie do oceny automatycznych streszczeń. Pomimo pojawienia się bardziej zaawansowanych metryk, ROUGE — przy wszystkich swoich wadach — pozostaje nieodzownym podstawowym narzędziem w arsenale badaczy NLP.

Odnośniki

• Oryginalna praca Chin-Yew Lina o ROUGE (2004)