ROUGE (metric) (RO)

ROUGE (acronim din engl. Recall-Oriented Understudy for Gisting Evaluation — „Evaluator substitut pentru rezumare, orientat spre completitudine") — este un set de metrici automate pentru evaluarea calității rezumatelor textuale generate de sisteme. Evaluarea se realizează prin compararea rezumatului generat automat cu unul sau mai multe rezumate de referință (etalon) create de oameni.

Inițial, metrica a fost dezvoltată pentru sarcinile de rezumare automată a textului, însă este aplicată și la evaluarea calității traducerii automate. Spre deosebire de metrica BLEU, care evaluează precizia (precision), ROUGE se concentrează pe completitudine (recall) — aceasta arată ce parte din fragmentele semnificative ale rezumatului de referință a fost reprodusă în textul generat.

Setul de metrici ROUGE a fost propus în 2004 de cercetătorul Chin-Yew Lin din cadrul Institutului de Știința Informației al Universității din California de Sud. Metricile ROUGE au devenit standardul de facto pentru evaluarea algoritmilor de rezumare, în special după utilizarea lor în competiții majore, precum DUC (Document Understanding Conference).

Variantele principale ale metricilor ROUGE

Familia ROUGE include mai multe metrici corelate, fiecare măsurând intersecția de conținut după criterii diferite:

• ROUGE-N: Măsoară intersecția pe baza n-gramelor (secvențe de n cuvinte).
  • ROUGE-1 calculează intersecția unigramelor (cuvinte individuale).
  • ROUGE-2 calculează intersecția bigramelor (perechi de cuvinte consecutive).

• ROUGE-L: Se bazează pe cea mai lungă subșecvență comună (Longest Common Subsequence, LCS) dintre rezumatul generat și cel de referință. Această metrică ține cont de potrivirea la nivelul structurii propoziției, deoarece măsoară cea mai lungă secvență de cuvinte care apare în aceeași ordine, dar nu neapărat consecutiv.

• ROUGE-W: Modificare a ROUGE-L (Weighted LCS), care acordă o pondere mai mare subșecvențelor comune formate din cuvinte consecutive, încurajând potrivirea continuă a frazelor.

• ROUGE-S și ROUGE-SU: Metrici bazate pe potrivirea bigramelor cu omisiuni (skip-bigrams). O bigramă cu omisiune este orice pereche de cuvinte care apare în ambele texte în aceeași ordine, dar nu neapărat consecutiv. Aceasta permite luarea în considerare a potrivirilor cu omisiuni între cuvinte.
  • ROUGE-SU este o extensie a ROUGE-S care ține cont și de potrivirea unigramelor, pentru a evita un scor nul pentru rezumatele fără perechi de cuvinte potrivite.

Fiecare dintre metrici poate fi calculată în termeni de completitudine (recall), precizie (precision) sau media lor armonică (F-măsură). În mod tradițional, pentru sarcinile de rezumare accentul se pune pe completitudine (ROUGE-N recall), deoarece este important ca modelul să extragă cât mai multe informații cheie din textul sursă.

Aplicare și importanță

Metricile ROUGE au devenit un instrument standard pentru evaluarea obiectivă a algoritmilor de rezumare. Începând cu mijlocul anilor 2000, aproape toate competițiile de rezumare automată (de exemplu, DUC și TAC) au folosit ROUGE pentru ierarhizarea sistemelor. Popularitatea metricii se explică prin simplitatea și eficiența sa dovedită: intersecția n-gramelor s-a dovedit a fi un indicator suficient de fiabil pentru reflectarea conținutului rezumatelor.

Odată cu apariția modelelor neuronale și a LLM-urilor, rolul ROUGE s-a menținut, dar interpretarea a devenit mai complexă. Modelele moderne generează rezumate de o calitate atât de înaltă, încât metricile tradiționale pot atinge un „plafon" și diferențiază slab nuanțele de calitate, ceea ce a stimulat dezvoltarea unor noi metode de evaluare.

Limitări și critici

În ciuda popularității sale, ROUGE prezintă limitări cunoscute:

• Caracter superficial: Metrica se bazează exclusiv pe potrivirea lexicală și nu este capabilă să evalueze echivalența semantică. Poate subevalua un rezumat bun dacă acesta folosește sinonime sau reformulări.
• Ignorarea calității textului: ROUGE nu evaluează corectitudinea gramaticală, coerența sau lizibilitatea expunerii. Un model poate obține un scor ridicat repetând pur și simplu fragmente importante din etalon, chiar dacă textul rezultat este incoerent.
• Dependența de rezumatul de referință: Calitatea evaluării depinde în mod direct de calitatea și completitudinea rezumatului de referință. Dacă etalonul este scris slab, evaluarea va fi nesigură.
• Absența evaluării faptelor: Metrica nu este capabilă să verifice acuratețea factuală. Un rezumat poate obține un scor ROUGE ridicat, dar să conțină fapte eronate, dacă acestea au fost copiate din sursă și nu din etalon.

Alternative și abordări moderne

Limitările ROUGE au stimulat dezvoltarea unor metode alternative de evaluare:

• Metrici orientate semantic: Încearcă să măsoare similaritatea la nivelul semnificației, nu al potrivirii exacte a cuvintelor. Exemple includ BERTScore, care compară reprezentările vectoriale (embedding-urile) textelor generate și de referință.
• Metrici combinate: Îmbină criterii lexicale și semantice. De exemplu, abordarea ROUGE-SEM completează ROUGE clasic cu un modul de similaritate semantică bazat pe embedding-uri, pentru a evalua mai bine textele reformulate.
• Metrici bazate pe LLM: Abordări moderne în care modele puternice (de exemplu, GPT) sunt folosite în rolul de „judecător" pentru evaluarea calității rezumatelor după mai multe criterii, imitând evaluarea experților umani.

În concluzie, ROUGE s-a dovedit a fi un instrument simplu și eficient pentru evaluarea sumarizărilor automate. În ciuda apariției unor metrici mai sofisticate, ROUGE, cu toate limitările sale, rămâne un instrument de bază indispensabil în arsenalul cercetătorilor NLP.

Referințe

• Articolul original al lui Chin-Yew Lin despre ROUGE (2004)