BLEU (Bilingual Evaluation Understudy) (PL)

BLEU (od ang. Bilingual Evaluation Understudy — „dwujęzyczny zastępczy ewaluator") — to algorytm do automatycznej oceny jakości tekstu przetłumaczonego maszynowo. Ocena jest dokonywana poprzez porównanie tłumaczenia-kandydata z jednym lub kilkoma wzorcowymi (referencyjnymi) tłumaczeniami ludzkimi. Jakość określana jest stopniem leksykalnego podobieństwa tłumaczenia maszynowego do tłumaczenia profesjonalnego. Jak zauważali autorzy: „im bliższe jest tłumaczenie maszynowe tłumaczeniu profesjonalnego człowieka, tym jest lepsze".

Metoda została zaproponowana w 2002 roku przez grupę badaczy z IBM pod kierownictwem Kishora Papineni'ego i stała się jedną z pierwszych metryk wykazujących wysoką korelację z ocenami ekspertów-tłumaczy. BLEU szybko zyskał popularność dzięki prostocie obliczania, niezależności od języka oraz dobremu pokrywaniu się z oceną ludzką na poziomie korpusu tekstów.

Metodyka obliczania BLEU

BLEU ocenia tłumaczenie poprzez zliczanie dopasowań n-gramów (sekwencji złożonych z n słów) między tłumaczeniem-kandydatem a tłumaczeniami referencyjnymi.

1. Zmodyfikowana precyzja n-gramów

Na początku dla n-gramów różnej długości (zazwyczaj od 1 do 4) obliczana jest ich precyzja ($p_n$) — udział n-gramów z tłumaczenia-kandydata, które występują w tłumaczeniach referencyjnych. Przy tym liczba dopasowań dla każdego n-gramu jest ograniczona do maksymalnej liczby jego wystąpień w którymkolwiek z tekstów referencyjnych, aby uniknąć zawyżania oceny za powtarzanie tego samego słowa.

2. Agregowanie i średnia geometryczna

Aby uzyskać jedną ocenę, precyzje dla 1-, 2-, 3- i 4-gramów są agregowane za pomocą średniej geometrycznej. Służy to temu, aby niska precyzja dla jednego typu n-gramów (np. 4-gramów) znacząco wpływała na wynik końcowy, odzwierciedlając niską jakość długich fraz. $\sqrt[4]{p_1\cdot p_2\cdot p_3\cdot p_4}$

3. Kara za krótkość (Brevity Penalty)

Aby zapobiec uzyskiwaniu zawyżonych ocen dzięki zbyt krótkim, lecz precyzyjnym tłumaczeniom, BLEU wprowadza karę za krótkość (Brevity Penalty, BP). Jeśli długość tłumaczenia-kandydata (c) jest istotnie mniejsza niż długość tłumaczenia referencyjnego (r), końcowy wynik BLEU ulega zmniejszeniu. Kara obliczana jest według wzoru: $extBP=\{\begin{array}{cc}1& extifc>r\\ e^{1-r/c}& extifc\le r\end{array}$

4. Końcowy wzór BLEU

Ostateczny wynik BLEU obliczany jest jako iloczyn kary za krótkość i średniej geometrycznej precyzji n-gramów: $extBLEU=extBP\cdot \exp (\sum _{n=1}^N{w}_n\log p_n)$ gdzie N — maksymalna długość n-gramów (zazwyczaj 4), a $w_n$ — wagi (zazwyczaj $1/N$).

Wartość BLEU mieści się w przedziale od 0 do 1 (często mnożona przez 100 i wyrażana w procentach). Im bliższy jedności (100%) jest wynik, tym tłumaczenie uważane jest za „bliższe ludzkiemu".

Zastosowanie i znaczenie

Od momentu publikacji metryka BLEU stała się de facto standardem oceny systemów tłumaczenia maszynowego (TM). Pozwoliła przełamać „wąskie gardło" w rozwoju systemów TM — czasochłonność i kosztowność ręcznej oceny. Twórcy systemów uzyskali możliwość szybkiego mierzenia efektów zmian w modelach i sprawnego odrzucania nieudanych rozwiązań.

BLEU dobrze koreluje z ocenami ludzkimi na poziomie całego korpusu tekstów, jednak jest zawodny przy ocenie pojedynczych zdań. Dlatego metryka była szeroko stosowana w standaryzowanych konkursach z zakresu TM (np. NIST i WMT) do porównywania systemów.

Ograniczenia i krytyka

Pomimo szerokiego zastosowania, BLEU ma szereg istotnych ograniczeń:

• Brak oceny semantycznej: BLEU mierzy jedynie powierzchowne dopasowanie słów i nie jest w stanie ocenić, czy sens tekstu źródłowego został poprawnie oddany. Tłumaczenie może uzyskać wysoki wynik, a jednocześnie być gramatycznie niepoprawne lub zniekształcać znaczenie.
• Ignorowanie synonimów i parafraz: Algorytm penalizuje tłumaczenia używające synonimów lub innych sformułowań niż w tekście referencyjnym, nawet jeśli są one całkowicie poprawne. Stosowanie wielu tekstów referencyjnych łagodzi, lecz nie rozwiązuje w pełni tego problemu.
• Wrażliwość na tokenizację: Wyniki BLEU są silnie uzależnione od sposobu podziału tekstu na tokeny. Różne implementacje tokenizatorów mogą prowadzić do różnych wartości, czyniąc porównywanie modeli nieprawidłowym. Aby rozwiązać ten problem, zaproponowano standard SacreBLEU, ujednolicający obliczanie metryki.
• Trudności w zastosowaniu do niektórych języków: BLEU słabo sprawdza się w przypadku języków nieposiadających wyraźnych separatorów słów (np. chińskiego lub japońskiego) bez uprzedniej segmentacji.

Alternatywy i współczesne podejścia

Z czasem, aby przezwyciężyć niedostatki BLEU, zaproponowano nowe automatyczne metryki:

• METEOR: Uwzględnia dopasowania synonimów, stemming i kolejność słów.
• ROUGE: Stosowany do oceny streszczania tekstów, koncentruje się na pełności (recall), a nie na precyzji.
• Uczące się metryki (Learned Metrics): Współczesne podejścia wykorzystujące modele Machine Learning do uwzględnienia podobieństwa semantycznego. Metryki takie jak BLEURT i COMET wykazują znacznie wyższą korelację z ocenami ludzkimi niż klasyczny BLEU.

W latach 20. XXI wieku BLEU utracił status bezwzględnego standardu, ustępując miejsca dokładniejszym metodom. Niemniej jednak pozostaje ważnym kamieniem milowym w historii oceny TM i nadal jest stosowany jako bazowy punkt odniesienia przy pomiarze postępu.

Odnośniki

• Czym jest ocena BLEU? — Dokumentacja Microsoft Azure