BLEU (Bilingual Evaluation Understudy) (HE)

BLEU (מאנגלית Bilingual Evaluation Understudy — «מעריך-ממלא-מקום דו-לשוני») — הוא אלגוריתם להערכה אוטומטית של איכות טקסט שתורגם על ידי מכונה. ההערכה מתבצעת על ידי השוואת תרגום-המועמד לאחד או יותר תרגומים אנושיים עיוניים (ייחוסיים). האיכות נקבעת לפי מידת הקרבה הלקסיקלית של התרגום המכוני לתרגום מקצועי. כפי שציינו המחברים, «ככל שהתרגום המכוני קרוב יותר לתרגומו של איש מקצוע אנושי, כך הוא טוב יותר».

השיטה הוצעה בשנת 2002 על ידי קבוצת חוקרים מ-IBM בהנהגת קישור פפיני והפכה לאחת המדדים הראשונים שהראו מתאם גבוה עם הערכות מומחי תרגום. BLEU זכה לפופולריות מהירה הודות לפשטות החישוב, אי-התלות בשפה והתאמה טובה להערכה האנושית ברמת קורפוס הטקסטים.

מתודולוגיית חישוב BLEU

BLEU מעריך תרגום על ידי ספירת התאמות n-גרמות (רצפים של n מילים) בין תרגום-המועמד לתרגומי הייחוס.

1. דיוק n-גרמות מותאם

תחילה מחשבים עבור n-גרמות באורכים שונים (בדרך כלל מ-1 עד 4) את הדיוק שלהן ($p_n$) — שיעור ה-n-גרמות מתרגום-המועמד המופיעות בתרגומי הייחוס. כמות ההתאמות עבור כל n-גרמה מוגבלת למספר המרבי של הופעותיה בכל אחד מטקסטי הייחוס, כדי למנוע הגזמה בציון עקב חזרה על אותה מילה.

2. צבירה וממוצע גיאומטרי

כדי לקבל ציון אחיד, הדיוקים עבור 1-, 2-, 3- ו-4-גרמות נצברים באמצעות ממוצע גיאומטרי. הדבר נעשה כדי שדיוק נמוך עבור סוג אחד של n-גרמות (למשל 4-גרמות) ישפיע משמעותית על הציון הסופי, ויבטא איכות ירודה של ביטויים ארוכים. $\sqrt[4]{p_1\cdot p_2\cdot p_3\cdot p_4}$

3. עונש קצרוּת (Brevity Penalty)

כדי למנוע קבלת ציונים מנופחים בזכות תרגומים קצרים מדי אך מדויקים, BLEU מציג עונש קצרות (Brevity Penalty, BP). אם אורך תרגום-המועמד (c) קצר משמעותית מאורך תרגום הייחוס (r), ציון ה-BLEU הסופי מופחת. העונש מחושב לפי הנוסחה: $\text{BP}=\{\begin{array}{cc}1& \text{if }c>r\\ e^{1-r/c}& \text{if }c\le r\end{array}$

4. נוסחת BLEU הסופית

ציון ה-BLEU הסופי מחושב כמכפלת עונש הקצרות בממוצע הגיאומטרי של דיוקי ה-n-גרמות: $\text{BLEU}=\text{BP}\cdot \exp (\sum _{n=1}^N{w}_n\log p_n)$ כאשר N — האורך המרבי של n-גרמות (בדרך כלל 4), ו-$w_n$ — משקלים (בדרך כלל $1/N$).

ערך ה-BLEU נמצא בטווח שבין 0 ל-1 (לרוב מוכפל ב-100 ומבוטא באחוזים). ככל שהתוצאה קרובה יותר ל-1 (100%), כך התרגום נחשב «קרוב יותר לתרגום אנושי».

שימוש וחשיבות

מאז פרסומו הפך מדד ה-BLEU לסטנדרט דה-פקטו להערכת מערכות תרגום מכונה (MT). הוא אפשר להתגבר על «צוואר הבקבוק» בפיתוח מערכות MT — משך הזמן והעלות הגבוהה של הערכה ידנית. המפתחים קיבלו את האפשרות למדוד במהירות את השפעת השינויים במודלים ולסנן בזריזות פתרונות כושלים.

BLEU מתאם היטב עם הערכות אנושיות ברמת הקורפוס כולו, אך אינו אמין להערכת משפטים בודדים. לפיכך נעשה שימוש נרחב במדד בתחרויות MT סטנדרטיות (כגון NIST ו-WMT) להשוואת מערכות.

מגבלות וביקורת

חרף הפצתו הנרחבת, ל-BLEU יש מספר מגבלות מהותיות:

• היעדר הערכה סמנטית: BLEU מודד אך ורק חפיפה שטחית של מילים ואינו מסוגל להעריך האם המשמעות של הטקסט המקורי הועברה נכונה. תרגום עשוי לקבל ציון גבוה, אך להיות שגוי מבחינה דקדוקית או לעוות את המשמעות.
• התעלמות מנרדפים ופרפרזות: האלגוריתם מעניש תרגומים המשתמשים בנרדפים או בניסוחים שונים מאלו שבתרגום הייחוס, גם אם הם נכונים לחלוטין. שימוש במספר תרגומי ייחוס מקל, אך אינו פותר בעיה זו לגמרי.
• רגישות לטוקניזציה: תוצאות ה-BLEU תלויות מאוד בדרך פיצול הטקסט לטוקנים. מימושים שונים של tokenizer עשויים להוביל לערכים שונים, ולהפוך את השוואת המודלים לבלתי תקינה. לפתרון בעיה זו הוצע הסטנדרט SacreBLEU, המאחד את חישוב המדד.
• קושי ביישום לשפות מסוימות: BLEU עובד בצורה גרועה עם שפות שאין להן מפרידי מילים ברורים (כגון סינית או יפנית), ללא פילוח מוקדם.

חלופות וגישות עכשוויות

עם הזמן הוצעו מדדים אוטומטיים חדשים כדי להתגבר על חסרונות ה-BLEU:

• METEOR: לוקח בחשבון התאמות נרדפים, stemming וסדר מילים.
• ROUGE: משמש להערכת סיכום טקסטים, תוך התמקדות בשלמות (recall) ולא בדיוק.
• Learned Metrics (מדדים נלמדים): גישות עכשוויות המשתמשות במודלי Machine Learning כדי לחשב קרבה סמנטית. מדדים כגון BLEURT ו-COMET מראים מתאם גבוה משמעותית עם הערכות אנושיות בהשוואה ל-BLEU הקלאסי.

בשנות ה-2020 איבד BLEU את מעמדו כסטנדרט בלתי-מעורער, ונסוג לטובת שיטות מדויקות יותר. עם זאת, הוא נותר אבן דרך חשובה בהיסטוריה של הערכת MT וממשיך לשמש כנקודת ייחוס בסיסית למדידת ההתקדמות.

קישורים

• מהי הערכת BLEU? — תיעוד Microsoft Azure