BERTScore (metric) (HU)

BERTScore — egy automatikus metrika a generált szöveg minőségének értékelésére, amely szemantikai hasonlóságot mér előre betanított nyelvi modellek, például a BERT kontextuális embedding-jei segítségével. A metrikát 2019-ben javasolta Tianyi Zhang vezette kutatócsoport a „BERTScore: Evaluating Text Generation with BERT" című munkában.

A hagyományos metrikákkal – például a BLEU-val és a ROUGE-zsal – ellentétben, amelyek az n-gramok pontos egyezésén alapulnak, a BERTScore képes felismerni a jelentésbeli egyenértékűséget akkor is, ha a szavak és a megfogalmazások eltérnek egymástól, figyelembe véve a szinonimákat és a parafrázisokat.

Számítási módszertan

A BERTScore módszer több lépésből áll:

1. Kontextuális embedding-ek kinyerése: Mindkét szöveget (a referenciát és a generáltat) tokenekre bontják, majd átvezetik egy előre betanított transformer modellen (például BERT-en vagy RoBERTa-n). Minden tokenhez kinyerik annak kontextuális vektoros reprezentációját (embedding-jét).
2. Koszinusz-hasonlóság kiszámítása: A két szöveg összes tokenpárjára kiszámítják a koszinusz-hasonlóságot, és felépítik a tokenek hasonlósági mátrixát.
3. Pontosság, fedés és F1-mérték kiszámítása: A hasonlósági mátrix alapján a generált szöveg minden tokenjéhez megtalálják a referenciaszöveg leghasonlóbb tokenjét, amelyből kiszámítható a pontosság (precision). Hasonlóképpen, a referencia minden tokenjéhez megtalálják a generált szöveg legközelebbi tokenjét, ami megadja a fedést (recall). A BERTScore végső értéke a kiegyensúlyozott F₁-mérték, amely ötvözi a pontosságot és a fedést:

   $R_{extBERT}=\frac{1}{|x|}\sum _{x_i\in x}\underset{y_j\in y}{max}{x}_i^T{y}_j(extRecall)$
   $P_{extBERT}=\frac{1}{|y|}\sum _{y_j\in y}\underset{x_i\in x}{max}{x}_i^T{y}_j(extPrecision)$
   $F_{extBERT}=2\frac{P_{extBERT}\cdot R_{extBERT}}{P_{extBERT}+R_{extBERT}}$

A metrika rugalmas: különböző előre betanított modellek választhatók, a tokenek fontosságuk szerint súlyozhatók (IDF-súlyokkal), és az értékek lineárisan transzformálhatók a jobb értelmezhetőség érdekében.

Alkalmazás és hatékonyság

A BERTScore különféle szöveggenerálási feladatok minőségértékelésére alkalmazható:

• Gépi fordítás: Rögzíti a jelentésmegőrzést még akkor is, ha a fordítási szerkezetek eltérnek a referenciától.
• Automatikus összefoglalás: Képes felismerni, hogy különböző megfogalmazások ugyanazokat a kulcstényeket közvetíthetik, ami rugalmasabbá teszi a ROUGE-nál.
• Párbeszédes rendszerek: Segít mérni a válasz relevanciáját azáltal, hogy a referenciával hasonlítja össze szemantikai szinten.

A szerzők által végzett nagyszabású értékelés megmutatta, hogy a BERTScore és az emberi értékelések közötti korrelációs együttható lényegesen magasabb, mint a BLEU- és ROUGE-típusú metrikáké. Emellett a metrika fokozott ellenállóképességet mutatott az összetett parafrázisok esetén.

Előnyök

• Szemantika figyelembevétele: A szövegeket jelentés szintjén hasonlítja össze, figyelembe véve a szinonimákat és a parafrázisokat.
• Magas korreláció az emberi értékeléssel: A BERTScore értékelései jobban összhangban vannak az emberi szövegminőség-ítéletekkel, mint a hagyományos metrikák.
• Univerzalitás és hordozhatóság: A metrika nem kötődik meghatározott nyelvhez vagy feladathoz – elegendő a megfelelő előre betanított modellt kiválasztani.
• Tanítás szükségtelensége: A BERTScore egy nem tanítható metrika, szemben az összetettebb metrikákkal (például a BLEURT-tel), amelyek előzetes betanítást igényelnek értékelési korpuszokon.
• Modern modellek integrálása: A transformer-ek erejét használja fel mély kontextuális jellemzők kinyeréséhez.

Korlátok és kritika

• Magas számítási igény: Az embedding-alapú számítás lényegesen több erőforrást igényel, mint az n-gramok megszámlálása, és gyakran GPU használatát teszi szükségessé.
• Modellfüggőség: Az értékelés minősége közvetlenül függ az előre betanított modell minőségétől. Az embedding-ek kinyeréséhez választott modell és réteg befolyásolja az eredményt, ami reprodukálhatósági problémákat okozhat.
• Tények és struktúra figyelmen kívül hagyása: A BERTScore a lokális szemantikai hasonlóságra összpontosít, és nem garantálja a szövegszerkezet vagy a ténybeli pontosság megértését. Egy felcserélt mondatokkal vagy ténybeli hibákkal teli szöveg magas pontszámot kaphat.
• Alacsony értelmezhetőség: A BLEU/ROUGE-zsal ellentétben a BERTScore mutató kevésbé átlátható, ami megnehezíti a hibaelemzést.
• Társadalmi torzítások (bias): A metrika örökli az előre betanított modellekbe ágyazott sztereotípiákat és torzításokat. Egy 2022-es kutatás megmutatta, hogy az LLM-alapú metrikák (köztük a BERTScore) lényegesen nagyobb társadalmi bias-t mutatnak, mint a hagyományos metrikák.

Jelentőség és szerep az értékelésben

A BERTScore fontos lépést jelent a generált szöveg értékelési módszereinek fejlődésében, mivel lehetővé teszi a szemantikai egyenértékűség figyelembevételét, nem csupán a lexikai egyezések detektálását. Bár egyetlen automatikus metrika sem képes tökéletesen mérni a szöveg minőségét, a BERTScore megbízható eszköznek bizonyult, amely kiegészíti – nem pedig teljes mértékben felváltja – a klasszikus megközelítéseket (mint a BLEU és a ROUGE).

A gyakorlatban a BERTScore-t gyakran alkalmazzák kézi szakértői értékeléssel és más metrikákkal együtt, hogy teljesebb és mélyebb képet kapjanak arról, mennyire sikeresen generálnak a modellek összefüggő és szemantikailag helyes szövegeket.

Hivatkozások

• A BERTScore hivatalos GitHub-repozitóriuma