BLEU (Bilingual Evaluation Understudy) (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

BLEU (từ tiếng Anh Bilingual Evaluation Understudy — «bộ đánh giá thay thế song ngữ») — là một thuật toán để tự động đánh giá chất lượng văn bản được dịch bởi máy. Việc đánh giá được thực hiện bằng cách so sánh bản dịch ứng viên với một hoặc nhiều bản dịch tham chiếu của con người[1]. Chất lượng được xác định bởi mức độ gần gũi về từ vựng giữa bản dịch máy và bản dịch chuyên nghiệp. Như các tác giả đã nhận xét, «bản dịch máy càng gần với bản dịch của người chuyên nghiệp thì càng tốt»[2].

Phương pháp này được đề xuất vào năm 2002 bởi một nhóm nhà nghiên cứu từ IBM dưới sự dẫn dắt của Kishore Papineni và trở thành một trong những chỉ số đầu tiên thể hiện mức độ tương quan cao với đánh giá của các chuyên gia dịch thuật. BLEU nhanh chóng trở nên phổ biến nhờ sự đơn giản trong tính toán, tính độc lập ngôn ngữ và sự trùng khớp tốt với đánh giá của con người ở cấp độ toàn bộ kho ngữ liệu[1].

Phương pháp tính BLEU

BLEU đánh giá bản dịch bằng cách đếm số lần trùng khớp của các n-gram (chuỗi n từ liên tiếp) giữa bản dịch ứng viên và các bản dịch tham chiếu.

1. Độ chính xác n-gram hiệu chỉnh

Đầu tiên, với các n-gram có độ dài khác nhau (thường từ 1 đến 4), độ chính xác (pn) được tính — tức là tỷ lệ n-gram trong bản dịch ứng viên xuất hiện trong các bản dịch tham chiếu[3]. Đồng thời, số lần trùng khớp của mỗi n-gram được giới hạn bởi số lần xuất hiện tối đa của nó trong bất kỳ văn bản tham chiếu nào, nhằm tránh việc thổi phồng điểm số do lặp lại cùng một từ.

2. Tổng hợp và trung bình nhân

Để thu được một điểm đánh giá duy nhất, độ chính xác của các 1-gram, 2-gram, 3-gram và 4-gram được tổng hợp bằng trung bình nhân. Điều này nhằm đảm bảo rằng độ chính xác thấp đối với một loại n-gram nào đó (ví dụ: 4-gram) sẽ ảnh hưởng mạnh đến điểm số cuối cùng, phản ánh chất lượng kém của các cụm từ dài. p1⋅p2⋅p3⋅p44

3. Hình phạt độ ngắn (Brevity Penalty)

Để ngăn chặn việc đạt điểm cao nhờ các bản dịch quá ngắn nhưng chính xác, BLEU áp dụng hình phạt độ ngắn (Brevity Penalty, BP). Nếu độ dài bản dịch ứng viên (c) ngắn hơn đáng kể so với độ dài bản dịch tham chiếu (r), điểm BLEU cuối cùng sẽ bị giảm. Hình phạt được tính theo công thức: BP={1if c>re1−r/cif c≤r

4. Công thức BLEU cuối cùng

Điểm BLEU cuối cùng được tính là tích của hình phạt độ ngắn và trung bình nhân của các độ chính xác n-gram[4]: BLEU=BP⋅exp⁡(∑n=1Nwnlog⁡pn) trong đó N — độ dài n-gram tối đa (thường là 4), còn wn — là các trọng số (thường là 1/N).

Giá trị BLEU nằm trong khoảng từ 0 đến 1 (thường được nhân với 100 và biểu thị theo phần trăm). Kết quả càng gần 1 (100%) thì bản dịch được coi là càng «gần với bản dịch của con người».

Ứng dụng và tầm quan trọng

Kể từ khi được công bố, chỉ số BLEU đã trở thành tiêu chuẩn thực tế để đánh giá các hệ thống dịch máy (MT). Nó cho phép vượt qua «nút cổ chai» trong sự phát triển của các hệ thống MT — sự tốn thời gian và chi phí cao của việc đánh giá thủ công. Các nhà phát triển có được khả năng đo lường nhanh chóng tác động của các thay đổi trong mô hình và loại bỏ kịp thời những giải pháp không hiệu quả[2].

BLEU có mức tương quan tốt với đánh giá của con người ở cấp độ toàn bộ kho ngữ liệu, nhưng không đáng tin cậy khi đánh giá từng câu riêng lẻ[3]. Do đó, chỉ số này được sử dụng rộng rãi trong các cuộc thi MT được chuẩn hóa (ví dụ: NIST và WMT) để so sánh các hệ thống.

Hạn chế và chỉ trích

Mặc dù được sử dụng rộng rãi, BLEU có một số hạn chế đáng kể:

  • Không đánh giá ngữ nghĩa: BLEU chỉ đo lường sự trùng khớp bề mặt của các từ và không thể đánh giá liệu ý nghĩa của văn bản gốc có được truyền đạt chính xác hay không. Một bản dịch có thể đạt điểm cao nhưng lại sai về mặt ngữ pháp hoặc làm sai lệch ý nghĩa[5].
  • Bỏ qua từ đồng nghĩa và diễn giải: Thuật toán phạt các bản dịch sử dụng từ đồng nghĩa hoặc cách diễn đạt khác so với bản tham chiếu, ngay cả khi chúng hoàn toàn chính xác. Việc sử dụng nhiều bản tham chiếu giúp giảm bớt nhưng không giải quyết hoàn toàn vấn đề này.
  • Nhạy cảm với token hóa: Kết quả BLEU phụ thuộc nhiều vào cách phân tách văn bản thành các token. Các cách triển khai tokenizer khác nhau có thể dẫn đến các giá trị khác nhau, khiến việc so sánh các mô hình trở nên không chính xác. Để giải quyết vấn đề này, tiêu chuẩn SacreBLEU đã được đề xuất nhằm thống nhất cách tính chỉ số[1].
  • Khó áp dụng cho một số ngôn ngữ: BLEU hoạt động kém với các ngôn ngữ không có dấu phân cách từ rõ ràng (ví dụ: tiếng Trung hoặc tiếng Nhật) nếu không có phân đoạn trước.

Các phương án thay thế và cách tiếp cận hiện đại

Theo thời gian, các chỉ số tự động mới đã được đề xuất để khắc phục những hạn chế của BLEU:

  • METEOR: Tính đến sự trùng khớp của từ đồng nghĩa, stemming và thứ tự từ.
  • ROUGE: Được áp dụng để đánh giá tóm tắt văn bản, tập trung vào độ bao phủ (recall) thay vì độ chính xác.
  • Learned Metrics - Chỉ số học được: Các cách tiếp cận hiện đại sử dụng mô hình Machine Learning để tính đến sự gần gũi ngữ nghĩa. Các chỉ số như BLEURT và COMET thể hiện mức tương quan với đánh giá của con người cao hơn đáng kể so với BLEU truyền thống[6].

Vào những năm 2020, BLEU đã mất đi vị thế tiêu chuẩn tuyệt đối, nhường chỗ cho các phương pháp chính xác hơn[7]. Tuy nhiên, nó vẫn là một cột mốc quan trọng trong lịch sử đánh giá MT và tiếp tục được sử dụng như một điểm tham chiếu cơ sở khi đo lường sự tiến bộ.

Liên kết

  • Điểm đánh giá BLEU là gì? — Tài liệu Microsoft Azure

Ghi chú

  1. ↑ 1.0 1.1 1.2 «BLEU». Wikipedia. [1]
  2. ↑ 2.0 2.1 Papineni, Kishore, et al. «Bleu: a Method for Automatic Evaluation of Machine Translation». Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002. [2]
  3. ↑ 3.0 3.1 «BLEU». MT Companion 4.0 documentation. [3]
  4. ↑ Callison-Burch, Chris, et al. «BLEU: a Method for Automatic Evaluation of Machine Translation». Proceedings of the EACL 2006 Workshop on Statistical Machine Translation, 2006. [4]
  5. ↑ Cardete, Jorge. «Beyond BLEU Score. When it comes to the nuanced world of...». The Deep Hub | Medium. [5]
  6. ↑ «BLEURT: метрика для оценки моделей для генерации текста». Neurohive. [6]
  7. ↑ «Chief Digital and Artificial Intelligence Office > Lexicon». ai.mil. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=BLEU_(Bilingual_Evaluation_Understudy)_(VI)&oldid=644"