BERTScore (metric) (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

BERTScore — là một độ đo tự động để đánh giá chất lượng văn bản được tạo sinh, dựa trên việc đo độ tương đồng ngữ nghĩa thông qua các embedding ngữ cảnh từ các mô hình ngôn ngữ được tiền huấn luyện như BERT. Độ đo này được đề xuất vào năm 2019 bởi một nhóm các nhà nghiên cứu dẫn đầu bởi Tianyi Zhang trong công trình «BERTScore: Evaluating Text Generation with BERT»[1].

Khác với các độ đo truyền thống như BLEU và ROUGE — vốn dựa trên sự khớp chính xác của n-gram — BERTScore cho phép phát hiện sự tương đương về nghĩa ngay cả khi các từ và cách diễn đạt khác nhau, có tính đến từ đồng nghĩa và cách diễn giải lại[2].

Phương pháp tính toán

Phương pháp BERTScore bao gồm một số bước:

  1. Lấy embedding ngữ cảnh: Cả hai văn bản (văn bản tham chiếu và văn bản được tạo sinh) được tách thành các token và đưa qua mô hình transformer được tiền huấn luyện (ví dụ, BERT hoặc RoBERTa). Với mỗi token, biểu diễn vector ngữ cảnh (embedding) của nó được trích xuất.
  2. Tính độ tương đồng cosine: Với tất cả các cặp token từ hai văn bản, độ tương đồng cosine được tính toán và ma trận tương đồng token được hình thành[3].
  3. Tính độ chính xác, độ bao phủ và F1: Dựa trên ma trận tương đồng, với mỗi token trong văn bản được tạo sinh, token tương đồng nhất trong văn bản tham chiếu được tìm ra, qua đó tính được độ chính xác (precision). Tương tự, với mỗi token của văn bản tham chiếu, token gần nhất trong văn bản được tạo sinh được tìm ra, cho ra độ bao phủ (recall). Giá trị cuối cùng của BERTScore là F₁ cân bằng, kết hợp độ chính xác và độ bao phủ:
   RBERT=1|x|∑xi∈xmaxyj∈yxiTyj(Recall)
   PBERT=1|y|∑yj∈ymaxxi∈xxiTyj(Precision)
   FBERT=2PBERT⋅RBERTPBERT+RBERT

Độ đo này có tính linh hoạt: có thể lựa chọn các mô hình tiền huấn luyện khác nhau, gán trọng số cho các token theo tầm quan trọng của chúng (thông qua trọng số IDF) và biến đổi tuyến tính các điểm số để dễ diễn giải hơn[3].

Ứng dụng và hiệu quả

BERTScore được áp dụng để đánh giá chất lượng trong nhiều bài toán tạo sinh văn bản:

  • Dịch máy: Nắm bắt việc bảo toàn ý nghĩa ngay cả khi các cấu trúc dịch thuật khác với văn bản tham chiếu.
  • Tóm tắt văn bản tự động: Có khả năng xác định rằng các cách diễn đạt khác nhau có thể truyền tải những sự kiện chính giống nhau, khiến nó linh hoạt hơn ROUGE.
  • Hệ thống hội thoại: Giúp đo lường mức độ phù hợp của câu trả lời bằng cách so sánh nó với câu trả lời tham chiếu ở cấp độ ý nghĩa.

Đánh giá quy mô lớn do các tác giả thực hiện cho thấy hệ số tương quan của BERTScore với đánh giá của con người cao hơn đáng kể so với các độ đo như BLEU và ROUGE. Ngoài ra, độ đo này thể hiện khả năng chịu đựng tốt hơn với các trường hợp diễn giải lại phức tạp[1].

Ưu điểm

  • Tính đến ngữ nghĩa: So sánh các văn bản ở cấp độ ý nghĩa, có tính đến từ đồng nghĩa và cách diễn giải lại.
  • Tương quan cao với đánh giá của con người: Điểm BERTScore phù hợp hơn với nhận định của con người về chất lượng văn bản so với các độ đo truyền thống.
  • Tính đa năng và khả năng chuyển đổi: Độ đo không bị ràng buộc với một ngôn ngữ hay bài toán cụ thể; chỉ cần lựa chọn mô hình tiền huấn luyện phù hợp.
  • Không cần huấn luyện: BERTScore là một độ đo không cần huấn luyện, khác với các độ đo phức tạp hơn (ví dụ, BLEURT) đòi hỏi phải tiền huấn luyện trên các tập ngữ liệu đánh giá.
  • Tích hợp các mô hình hiện đại: Tận dụng sức mạnh của các mô hình transformer để trích xuất các đặc trưng ngữ cảnh sâu.

Hạn chế và chỉ trích

  • Chi phí tính toán cao: Việc tính toán dựa trên embedding đòi hỏi nhiều tài nguyên hơn đáng kể so với việc đếm n-gram và thường yêu cầu sử dụng GPU[2].
  • Phụ thuộc vào mô hình: Chất lượng đánh giá gắn liền trực tiếp với chất lượng của mô hình tiền huấn luyện. Việc lựa chọn mô hình và lớp để trích xuất embedding ảnh hưởng đến kết quả, điều này có thể gây ra vấn đề về khả năng tái tạo[4].
  • Không tính đến sự kiện và cấu trúc: BERTScore tập trung vào độ tương đồng ngữ nghĩa cục bộ và không đảm bảo việc hiểu cấu trúc văn bản hay độ chính xác thực tế. Một văn bản có các cụm từ bị đảo vị trí hoặc có lỗi thực tế vẫn có thể nhận được điểm cao[3].
  • Khả năng diễn giải thấp: Khác với BLEU/ROUGE, điểm BERTScore ít minh bạch hơn, gây khó khăn cho việc phân tích lỗi.
  • Thiên kiến xã hội (bias): Độ đo này kế thừa các định kiến và thiên lệch được nhúng vào các mô hình tiền huấn luyện. Một nghiên cứu năm 2022 cho thấy các độ đo dựa trên LLM (bao gồm BERTScore) thể hiện thiên kiến xã hội đáng kể hơn nhiều so với các độ đo truyền thống[5].

Ý nghĩa và vai trò trong đánh giá

BERTScore đại diện cho một bước tiến quan trọng trong sự phát triển của các phương pháp đánh giá văn bản được tạo sinh, vì nó cho phép tính đến sự tương đương về nghĩa chứ không chỉ các khớp từ vựng. Mặc dù không có độ đo tự động nào có thể đo lường hoàn hảo chất lượng văn bản, BERTScore đã khẳng định mình là một công cụ đáng tin cậy, bổ sung cho các phương pháp cổ điển (như BLEU và ROUGE) chứ không thay thế hoàn toàn chúng.

Trên thực tế, BERTScore thường được sử dụng kết hợp với đánh giá thủ công của chuyên gia và các độ đo khác để có được cái nhìn toàn diện và sâu sắc hơn về mức độ thành công mà các mô hình tạo sinh văn bản mạch lạc và phù hợp về mặt ngữ nghĩa[2].

Liên kết

  • Kho lưu trữ chính thức của BERTScore trên GitHub

Ghi chú

  1. ↑ 1.0 1.1 Zhang, Tianyi, et al. «BERTScore: Evaluating Text Generation with BERT». arXiv:1904.09675 [cs.CL], 22 апр. 2019 г. [1]
  2. ↑ 2.0 2.1 2.2 «BERTScore: New Metrics for Language Models». Analytics Vidhya. [2]
  3. ↑ 3.0 3.1 3.2 Sojasingarayar, Abonia. «BERTScore Explained in 5 minutes». Medium. [3]
  4. ↑ Alakulju, D., et al. «Reproducibility of BERTScore». Theseus.fi. [4]
  5. ↑ Peyrard, M., et al. «BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation». arXiv:2210.07626 [cs.CL], 14 окт. 2022 г. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=BERTScore_(metric)_(VI)&oldid=563"