GLUE Benchmark (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

GLUE (viết tắt của General Language Understanding Evaluation, «Đánh giá hiểu ngôn ngữ tổng quát») — là một benchmark đa nhiệm vụ dùng để đánh giá chất lượng các mô hình xử lý ngôn ngữ tự nhiên (NLU). Benchmark này được đề xuất vào năm 2018 bởi một nhóm các nhà nghiên cứu từ Đại học New York, Đại học Washington và DeepMind, bao gồm Alex Wang và Samuel Bowman, và đã được phổ biến rộng rãi trong cộng đồng nghiên cứu[1].

Mục tiêu chính của GLUE là cung cấp một bộ kiểm tra thống nhất, trung lập và thách thức để so sánh các khả năng của mô hình NLU trên một tập hợp đa dạng các nhiệm vụ, vượt ra ngoài một lĩnh vực cụ thể. Benchmark bao gồm một nền tảng trực tuyến với bảng xếp hạng (leaderboard), đảm bảo việc so sánh mô hình một cách khách quan và ngăn chặn việc tinh chỉnh theo dữ liệu kiểm tra, vì nhãn thực sự cho một phần các bài kiểm tra không được công bố và chỉ có thể truy cập thông qua máy chủ đánh giá. Để đạt được kết quả cao, mô hình được kỳ vọng phải có khả năng trích xuất các biểu diễn ngôn ngữ phổ quát và chuyển giao kiến thức hiệu quả giữa các loại nhiệm vụ khác nhau.

Thành phần và các nhiệm vụ của benchmark

Benchmark GLUE bao gồm chín nhiệm vụ hiểu ngôn ngữ khác nhau, dựa trên các dataset hiện có và khó đối với AI. Tất cả các nhiệm vụ được trình bày dưới dạng phân loại hoặc hồi quy trên một câu hoặc một cặp câu[1].

  • CoLA (Corpus of Linguistic Acceptability) — nhiệm vụ xác định tính chấp nhận được về mặt ngữ pháp của một câu. Chỉ số chất lượng — Hệ số tương quan Matthews.
  • SST-2 (Stanford Sentiment Treebank) — nhiệm vụ xác định sắc thái (tích cực/tiêu cực) của bình luận về phim. Chỉ số — độ chính xác (accuracy).
  • MRPC (Microsoft Research Paraphrase Corpus) — nhiệm vụ phát hiện paraphrase trong một cặp câu từ các nguồn tin tức. Chỉ số — độ chính xác và F1-score.
  • QQP (Quora Question Pairs) — nhiệm vụ xác định các câu hỏi trùng lặp từ cộng đồng Quora. Chỉ số — độ chính xác và F1-score.
  • STS-B (Semantic Textual Similarity Benchmark) — nhiệm vụ so sánh ngữ nghĩa hai câu. Mô hình cần dự đoán mức độ gần nhau về ý nghĩa theo thang điểm từ 1 đến 5. Chỉ số — hệ số tương quan Pearson và Spearman.
  • MNLI (Multi-Genre Natural Language Inference) — nhiệm vụ nhận dạng suy luận văn bản trên các cặp câu từ các nguồn đa thể loại (kéo theo, mâu thuẫn, trung lập). Kết quả được đánh giá riêng trên tập con khớp (matched) và không khớp (mismatched).
  • QNLI (Question Natural Language Inference) — nhiệm vụ được tạo ra bằng cách chuyển đổi dataset SQuAD. Yêu cầu xác định xem một câu trong đoạn văn có chứa câu trả lời cho câu hỏi đã cho hay không.
  • RTE (Recognizing Textual Entailment) — dataset tổng hợp về suy luận văn bản, kết hợp nhiều bộ sưu tập nhỏ. Nhiệm vụ — phân loại nhị phân mối quan hệ giữa các câu.
  • WNLI (Winograd NLI) — phiên bản sửa đổi của lược đồ Winograd, được điều chỉnh theo định dạng NLI. Nhiệm vụ giải quyết anaphora: hệ thống được cho một câu với đại từ không rõ ràng và cần chỉ ra đại từ đó đề cập đến đối tượng nào trong hai đối tượng.

Phương pháp đánh giá

Để đánh giá trên GLUE, các nhà nghiên cứu gửi dự đoán của mô hình lên một máy chủ chuyên dụng, sau đó nhận được kết quả tính toán tự động các chỉ số cho từng nhiệm vụ và điểm tổng hợp.

  • GLUE-score — chỉ số tổng kết, được tính là giá trị trung bình của kết quả trên tất cả chín nhiệm vụ chính.
  • Leaderboard — bảng công khai phản ánh tình trạng hiện tại và cho thấy mô hình nào xử lý tốt hơn các nhiệm vụ NLU. Việc sử dụng các tập kiểm tra ẩn đảm bảo sự so sánh công bằng.
  • Tập chẩn đoán — bộ đặc biệt gồm 1100 ví dụ được chú thích thủ công bởi các chuyên gia để phân tích ngôn ngữ học tinh tế. Nó không ảnh hưởng đến xếp hạng mà phục vụ như một công cụ phân tích định tính để kiểm tra các hiện tượng ngôn ngữ nào (ngữ nghĩa từ vựng, logic, kiến thức thông thường) mà mô hình có thể nhận biết và những gì gây khó khăn cho nó[1].

Kết quả và ảnh hưởng đến ngành

Khi GLUE ra mắt vào năm 2018, các mô hình tốt nhất thời điểm đó (ví dụ: BiLSTM với ELMo) đạt kết quả tổng hợp khoảng 70 điểm (theo thang 0–100), thấp hơn đáng kể so với mức con người (khoảng 87 điểm)[2].

Sự xuất hiện của GLUE và leaderboard mở đã thúc đẩy tiến bộ mạnh mẽ trong lĩnh vực transfer learning trong NLP.

  • Đến tháng 5 năm 2019, chưa đầy một năm, thế hệ mô hình mới dựa trên transformer (trước hết là BERT) đã nâng mức state-of-the-art lên 83,9 điểm.
  • Trong nửa sau năm 2019, benchmark GLUE thực tế đã bị «vượt qua»: các hệ thống tốt nhất đã tiến sát đến mức con người, và trên một số nhiệm vụ thậm chí còn vượt qua[3].

GLUE đã đóng vai trò to lớn như điểm tham chiếu thống nhất trong quá trình phát triển các mô hình hiểu ngôn ngữ. Nhờ nó, các nhà nghiên cứu có thể so sánh trực tiếp các kiến trúc khác nhau trên một tập hợp nhiệm vụ toàn diện, xác định điểm mạnh và điểm yếu của các phương pháp tiếp cận, và nhanh chóng chia sẻ thành tựu thông qua leaderboard công khai.

SuperGLUE: Phát triển tiếp theo

Thành công nhanh chóng của GLUE dẫn đến việc chỉ một năm sau, nhóm tác giả tương tự cùng với các đồng nghiệp từ Facebook AI đã giới thiệu một bộ phức hợp mới, khó hơn có tên SuperGLUE[4].

SuperGLUE được công bố vào cuối năm 2019 như một bộ kiểm tra «bám víu hơn» (stickier), nhằm mục đích tạo lại khoảng cách giữa khả năng của các mô hình hiện đại và con người. Nó bao gồm tám nhiệm vụ đòi hỏi hiểu ngôn ngữ sâu hơn, cũng như cải thiện bộ công cụ và quy tắc cho người tham gia. Mặc dù GLUE vẫn tiếp tục được sử dụng như bài kiểm tra cơ bản, trọng tâm chính của sự cải tiến cạnh tranh đã chuyển sang SuperGLUE và các benchmark chuyên biệt hơn khác.

Liên kết ngoài

  • Trang web chính thức của GLUE Benchmark
  • Trang GLUE trên Papers With Code với kết quả của các mô hình

Tài liệu tham khảo

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Ghi chú

  1. ↑ 1.0 1.1 1.2 Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv:1804.07461, 2019. [1]
  2. ↑ Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». arXiv:1905.10425, 2019. [2]
  3. ↑ Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS 2019. [3]
  4. ↑ «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». VentureBeat. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=GLUE_Benchmark_(VI)&oldid=2440"