SuperGLUE (benchmark) (VI)

SuperGLUE — là một benchmark toàn diện (bộ bài kiểm tra) để đánh giá các hệ thống xử lý ngôn ngữ tự nhiên, đặc biệt là các mô hình ngôn ngữ lớn (LLM). Nó được giới thiệu vào năm 2019 bởi một nhóm các nhà nghiên cứu do Alex Wang từ Đại học New York dẫn đầu, với sự tham gia của Facebook AI Research và các tổ chức khác.

Việc tạo ra SuperGLUE xuất phát từ thực tế là đến giữa năm 2019, benchmark tiền nhiệm GLUE đã trở thành "bài toán dễ" đối với các mô hình hiện đại: điểm tổng hợp của các mô hình tốt nhất trên GLUE đạt 88,4, vượt qua mức trung bình của con người (87,1). Do đó, dư địa để tiếp tục tiến bộ đã thu hẹp lại. Để đáp lại điều này, các tác giả đã phát triển SuperGLUE như một lựa chọn thay thế khó khăn hơn, có khả năng cung cấp bài kiểm tra nghiêm ngặt hơn về khả năng hiểu ngôn ngữ của các mô hình. Mục tiêu của SuperGLUE là cung cấp một thước đo trung lập và khó "huấn luyện hướng đến" về tiến bộ trong lĩnh vực hiểu ngôn ngữ tổng quát cho tiếng Anh. Người ta kỳ vọng rằng việc cải thiện đáng kể kết quả trên SuperGLUE sẽ đòi hỏi những đổi mới thực chất trong các phương pháp Machine Learning — ví dụ, học hiệu quả hơn trên các tập mẫu nhỏ, học đa nhiệm vụ và học tự giám sát. Nói cách khác, SuperGLUE bao gồm các bài kiểm tra dễ đối với con người nhưng khó đối với trí tuệ máy móc, nhằm kích thích việc phát triển các mô hình có khả năng hiểu ngôn ngữ thực sự sâu sắc.

Đặc điểm và sự khác biệt so với GLUE

SuperGLUE phần lớn lặp lại định dạng của GLUE — nó cung cấp một điểm chất lượng tích hợp duy nhất trên tổng hợp các nhiệm vụ, bảng xếp hạng công khai và bộ công cụ để phân tích mô hình. Tuy nhiên, SuperGLUE mang lại một số cải tiến và đổi mới so với người tiền nhiệm:

• Các bài kiểm tra khó hơn: SuperGLUE lựa chọn tám nhiệm vụ khó nhất. Hai trong số đó được kế thừa từ GLUE (là những bài khó nhất ở đó), số còn lại được chọn từ các ứng viên mới dựa trên mức độ khó của chúng đối với các mô hình NLP hiện đại. Do đó, benchmark tập trung vào những khía cạnh hiểu biết mà các mô hình trước đây cho thấy kết quả tệ nhất.
• Đa dạng định dạng: nếu trong GLUE tất cả các nhiệm vụ đều quy về phân loại câu hoặc cặp câu, thì SuperGLUE bao gồm một phổ định dạng rộng hơn. Ngoài phân loại, còn có thêm các nhiệm vụ về giải quyết đồng tham chiếu và trả lời câu hỏi, đòi hỏi mô hình phải hiểu văn bản liên kết và suy luận logic.
• Đánh giá của con người trên tất cả các nhiệm vụ: đối với mỗi nhiệm vụ trong SuperGLUE, mức hiệu suất cơ bản của con người (non-expert) đã được tính toán, xác nhận rằng ngay cả các mô hình mạnh như BERT cũng kém hơn đáng kể so với con người tại thời điểm ra mắt benchmark. Sự hiện diện của mốc tham chiếu con người (~90% tổng hợp) đảm bảo "dư địa" để mô hình phát triển và đóng vai trò là mục tiêu định hướng.
• Quy tắc và công cụ minh bạch: các quy tắc đăng kết quả lên bảng xếp hạng đã được xem xét lại (để đảm bảo so sánh công bằng và ghi nhận đóng góp của các tác giả dataset). Ngoài ra, một bộ công cụ mã nguồn mở mới cũng được công bố để thuận tiện cho việc fine-tuning và học đa nhiệm vụ của các mô hình trên dữ liệu SuperGLUE.

Tổng hợp lại, những biện pháp này khiến SuperGLUE trở thành bài kiểm tra đáng tin cậy hơn về năng lực ngôn ngữ tổng quát của các mô hình, không cho phép đạt được điểm cao nhờ gian lận hẹp hoặc điều chỉnh theo các định dạng cụ thể của GLUE cũ.

Bộ nhiệm vụ của SuperGLUE

SuperGLUE gồm tám nhiệm vụ, bao gồm các khía cạnh khác nhau của việc hiểu văn bản.

• BoolQ (Boolean Questions - Câu hỏi Đúng/Sai): nhiệm vụ kiểu hỏi-đáp (QA), trong đó mỗi ví dụ có một đoạn văn ngắn (trích từ Wikipedia) và một câu hỏi cần trả lời "có" hoặc "không". Các câu hỏi được đặt ra bởi người dùng (từ các truy vấn tìm kiếm Google) và yêu cầu trích xuất thông tin rõ ràng hoặc tiềm ẩn từ văn bản; chỉ số chất lượng là tỷ lệ câu trả lời đúng (accuracy).
• CB (CommitmentBank - Ngân hàng Cam kết): nhiệm vụ kéo theo logic (textual entailment) với ba lớp. Dataset bao gồm các văn bản ngắn chứa các câu phức; yêu cầu xác định mức độ mà tác giả văn bản cam kết với tính đúng đắn của phát biểu được nhúng. Về bản chất, đây là kiểm tra xem liệu một khẳng định có được rút ra từ ngữ cảnh đã cho hay không. Nhiệm vụ này khó do kích thước mẫu nhỏ (khoảng 250 ví dụ) và sự mất cân bằng lớp; chất lượng được đánh giá bằng độ chính xác và điểm F1 trung bình theo lớp.
• COPA (Choice of Plausible Alternatives - Lựa chọn Phương án Hợp lý): nhiệm vụ về lập luận nhân-quả. Mô hình được cung cấp một tiền đề (một câu) và cần chọn nguyên nhân hoặc kết quả đúng từ hai phương án. Tất cả các ví dụ COPA được xây dựng thủ công và đòi hỏi hiểu biết thông thường để thiết lập mối quan hệ nhân-quả. Chủ đề bao gồm các tình huống từ blog và bách khoa toàn thư chuyên ngành; chỉ số là độ chính xác (tỷ lệ lựa chọn đúng). Ví dụ: cho câu "đứa trẻ có được miễn dịch với bệnh" và câu hỏi "nguyên nhân là gì?" — con người ngay lập tức hiểu rằng câu trả lời đúng là "nó đã được tiêm vaccine", trong khi mô hình phải đoán mối liên hệ nhân-quả.
• MultiRC (Multi-Sentence Reading Comprehension - Hiểu đọc Đa câu): nhiệm vụ về hiểu văn bản đa câu với yếu tố lựa chọn nhiều đáp án. Mô hình nhận một đoạn văn, một câu hỏi về nội dung đoạn văn và danh sách các câu trả lời có thể; cần xác định những câu trả lời nào đúng (mỗi câu hỏi có thể có nhiều câu trả lời đúng). Đặc điểm: để trả lời câu hỏi thường cần tổng hợp thông tin từ nhiều câu trong văn bản, qua đó kiểm tra khả năng liên kết dữ kiện của mô hình. Chất lượng được đo bằng hai chỉ số: F1 theo câu trả lời (tính đến các tập hợp đúng một phần) và Exact Match - tỷ lệ câu hỏi được trả lời với tập hợp câu trả lời hoàn toàn đúng.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset - Dataset Hiểu đọc với Lập luận Thông thường): nhiệm vụ về đọc hiểu với việc sử dụng kiến thức. Đây là bài kiểm tra Cloze được chỉnh sửa: cho một văn bản tin tức (bài báo CNN/Daily Mail) và một câu với một từ thực thể bị bỏ trống; mô hình phải chọn thực thể nào từ văn bản phù hợp để điền vào chỗ trống. Các phương án trả lời được xác định là tất cả các thực thể được đề cập trong bài báo, và chúng có thể trùng nhau về bản chất. Để giải quyết thành công, cần hiểu ngữ cảnh và có hiểu biết thông thường. Chỉ số là token-level F1 tối đa và Exact Match (khớp chính xác) cho các câu trả lời dự đoán.
• RTE (Recognizing Textual Entailment - Nhận dạng Kéo theo Văn bản): nhiệm vụ phân loại nhị phân về kéo theo văn bản (entailment vs. not entailment). Bộ dữ liệu kết hợp các ví dụ từ nhiều cuộc thi nhận dạng suy luận văn bản (chuỗi RTE 1-5). Mỗi bài kiểm tra chứa một cặp đoạn văn bản (premise-hypothesis); mô hình phải xác định liệu giả thuyết có xuất phát từ văn bản hay không. Không giống nhiều dataset lớn, RTE khá nhỏ (khoảng 2,5 nghìn ví dụ huấn luyện), nhưng cho thấy lợi ích đáng kể từ transfer learning: độ chính xác tăng từ ~56% (mức đoán ngẫu nhiên) lên ~86% với sự xuất hiện của các mô hình như BERT. Tuy nhiên, tại thời điểm ra mắt SuperGLUE, độ chính xác của các mô hình vẫn còn kém con người khoảng 8 điểm phần trăm, vì vậy RTE được đưa vào như một trong những nhiệm vụ vẫn còn khoảng cách so với mức người.
• WiC (Word-in-Context - Từ trong Ngữ cảnh): nhiệm vụ về giải quyết sự mơ hồ của nghĩa từ trong ngữ cảnh (WSD). Cho hai câu độc lập, mỗi câu đều có chứa cùng một từ đa nghĩa; cần xác định liệu từ đó có được dùng với cùng một nghĩa trong cả hai trường hợp không. Dữ liệu được lấy từ các tài nguyên từ điển (WordNet, VerbNet, Wiktionary), do đó bao gồm nhiều loại từ và nghĩa. Nhiệm vụ được hình thức hóa như phân loại nhị phân và được đánh giá theo tỷ lệ câu trả lời đúng. WiC đòi hỏi mô hình phải hiểu những khác biệt ngữ nghĩa tinh tế, thực chất kiểm tra ngữ nghĩa từ vựng.
• WSC (Winograd Schema Challenge - Thách thức Lược đồ Winograd): nhiệm vụ về giải quyết đồng tham chiếu với việc sử dụng hiểu biết thông thường. Mỗi bài kiểm tra bao gồm một câu chứa một đại từ và danh sách hai thực thể (danh từ) từ cùng câu đó. Yêu cầu xác định thực thể nào trong số các danh từ được đề xuất mà đại từ đã cho đề cập đến. Ví dụ về câu Winograd kinh điển: "Chiếc cúp không vừa vào vali vì nó quá nhỏ" — con người hiểu rằng "nó" đề cập đến cái vali (cái vali quá nhỏ). Những ví dụ như vậy không thể giải quyết được nếu không có kiến thức thường ngày và ngữ cảnh. Trong GLUE đã có một biến thể đơn giản hóa của nhiệm vụ này (WNLI), nhưng các mô hình trong một thời gian dài không thể vượt qua ngay cả mức ngẫu nhiên trên đó. Chỉ những kỹ thuật đặc biệt, chẳng hạn như thêm dữ liệu ngoài với các ví dụ tương tự, mới nâng chất lượng mô hình trên WSC lên ~90% vào năm 2019. Tuy nhiên, con người giải quyết các bài kiểm tra WSC hầu như không mắc lỗi (~96-100% câu trả lời đúng). Trong SuperGLUE, phiên bản gốc của WSC được đưa vào ở định dạng phân loại nhị phân (đối với mỗi cặp "đại từ-thực thể", mô hình trả lời liệu chúng có đồng tham chiếu hay không). Nhiệm vụ này vẫn là một trong những bài kiểm tra khó nhất, đòi hỏi lập luận thông thường.

Tất cả các bài kiểm tra của SuperGLUE đều có tập kiểm tra đóng với các câu trả lời không được công bố cho nhà phát triển. Các mô hình gửi dự đoán của mình lên máy chủ, nơi điểm tổng hợp được tính toán — độ chính xác trung bình theo nhiệm vụ (đối với các nhiệm vụ có nhiều chỉ số, chỉ số nội bộ được trung bình hóa trước). Điểm SuperGLUE duy nhất này giúp đơn giản hóa việc so sánh các mô hình theo mức độ trí tuệ ngôn ngữ tổng thể.

Kết quả và tiến bộ của các mô hình

Khi ra mắt SuperGLUE, các tác giả đã đưa ra kết quả của một mô hình cơ sở mạnh (BERT được tăng cường) làm mốc tham chiếu — và chúng thấp hơn đáng kể so với con người trên tất cả các nhiệm vụ. Trung bình, mô hình tốt nhất lúc đó đạt điểm thấp hơn khoảng 20 điểm so với con người theo chỉ số tích hợp. Ở một số nhiệm vụ riêng lẻ, khoảng cách đặc biệt lớn: ví dụ, trong nhiệm vụ WSC, mô hình chỉ đạt ~65% độ chính xác so với 100% của con người (kém ~35 điểm). Ngay cả ở các nhiệm vụ có vẻ "dễ hơn" (BoolQ, CB, RTE, WiC), các hệ thống tự động cũng kém ~10 điểm so với mức người. Những khác biệt này xác nhận rằng SuperGLUE thực sự đặt ra thách thức nghiêm trọng cho các công nghệ hiện tại và không thể được giải quyết một cách tầm thường.

Tuy nhiên, chỉ vài tháng sau khi SuperGLUE xuất hiện, tiến bộ nhanh chóng đã bắt đầu. Cuối năm 2019, các nhà nghiên cứu của Google đã giới thiệu mô hình T5 (Text-To-Text Transfer Transformer) với 11 tỷ tham số, đạt kết quả tổng hợp 88,9, tiệm cận rất gần mức người ~89,8. Trên thực tế, T5 đã cải thiện kỷ lục trước đó trên SuperGLUE ngay lập tức 4,3 điểm và giảm tỷ lệ lỗi gần một phần ba, chỉ để lại khoảng cách tối thiểu 0,9 điểm so với chỉ số của con người. Các nhà phát triển lưu ý rằng SuperGLUE được chọn lọc có chủ đích sao cho các nhiệm vụ dễ đối với con người, vì vậy việc mô hình đạt ~89% là một cột mốc quan trọng.

Người đầu tiên vượt qua chất lượng trung bình của con người là mô hình DeBERTa (Decoding-enhanced BERT with disentangled attention) của Microsoft. Vào tháng 1 năm 2021, các nhà nghiên cứu thông báo rằng phiên bản DeBERTa với 1,5 tỷ tham số đạt 89,9 điểm, nhỉnh hơn mốc tham chiếu người là 89,8. Đây là lần đầu tiên một mô hình đơn lẻ vượt qua con người theo chỉ số SuperGLUE. Ngoài ra, một ensemble gồm nhiều mô hình DeBERTa đã nâng kỷ lục lên ~90,3 điểm. Mô hình DeBERTa vượt qua người dẫn đầu trước đó (Google T5) khoảng 0,6% và chứng minh hiệu quả của các ý tưởng mới trong kiến trúc Transformer (biểu diễn riêng biệt nội dung và vị trí từ, bộ giải mã mask được cải tiến, v.v.).

Tiến bộ không dừng lại ở đó: khi quy mô và độ phức tạp của các mô hình ngôn ngữ tăng lên, kết quả trên SuperGLUE tiếp tục được cải thiện. Đến cuối năm 2021, mô hình T-NLRv5 của Microsoft (dòng Microsoft Turing NLR) đứng đầu bảng xếp hạng — nó càng mở rộng thêm khoảng cách vượt trên mức người. Những nhiệm vụ GLUE cuối cùng chưa được máy tính giải quyết (ví dụ, những tinh tế của NLI) đã được mô hình này "khép lại", tiến gần đến sự ngang bằng hoàn toàn với con người ngay cả ở những nhiệm vụ con khó nhất.

Trong giai đoạn 2022-2023, ngưỡng mức người trên SuperGLUE đã được vượt qua một cách tự tin bởi nhiều mô hình lớn độc lập. Ví dụ, mô hình PaLM của Google (540 tỷ tham số) khi fine-tuning trên các nhiệm vụ SuperGLUE đạt khoảng 90,4 điểm, và mô hình GPT-4 (do OpenAI phát triển) cho kết quả còn cao hơn đôi chút. Đến giữa năm 2023, bảng xếp hạng SuperGLUE có nhiều mô hình với điểm trên 90 (tức là vượt qua mức người trung bình). Có thể nói rằng benchmark hầu như đã được giải quyết bởi các hệ thống hiện đại: điểm của các mô hình tốt nhất cao đến mức vượt qua khả năng của hầu hết người dùng không có chuyên môn. Thành công này chứng minh sự tiến bộ khổng lồ trong NLP trong một thời gian ngắn, nhưng đồng thời chỉ ra sự cần thiết phải có các bài kiểm tra mới, thậm chí khó hơn cho các mô hình mới nhất. Các benchmark tiếp theo đã bắt đầu xuất hiện (ví dụ: MMLU, BIG-Bench và những cái khác), được thiết kế để kiểm tra các mô hình về khả năng hiểu biết rộng hơn và tri thức vượt ra ngoài phạm vi các nhiệm vụ của SuperGLUE.

Ảnh hưởng và các nghiên cứu tiếp theo

SuperGLUE, do đó, đã được khẳng định là một giai đoạn quan trọng trong sự phát triển của các phương pháp đánh giá trong xử lý ngôn ngữ. Trong giới nghiên cứu và học thuật, kết quả của nó đã trở thành một loại "thước đo" cho các kiến trúc LLM mới: việc đạt hoặc vượt qua mức người trên SuperGLUE được coi là dấu hiệu của một mô hình tiên tiến với khả năng hiểu ngôn ngữ sâu sắc. Điều này cũng được phản ánh trong thực tiễn — nhiều mô hình ngôn ngữ hiện đại đạt được kết quả cao trên SuperGLUE đã trở thành nền tảng cho các hệ thống ứng dụng hỏi-đáp, tác nhân đối thoại, hệ thống tóm tắt văn bản và nhiều ứng dụng khác. SuperGLUE tiếp tục được các nhà nghiên cứu sử dụng để fine-tuning và so sánh các thuật toán, mặc dù vị trí tiên phong hiện đang dần chuyển sang các ranh giới đánh giá trí tuệ nhân tạo mới hơn.

Liên kết ngoài

• Trang web chính thức của SuperGLUE
• Bài báo gốc về SuperGLUE (NeurIPS)
• Bài báo của Microsoft về việc DeBERTa đạt mức người
• Trang dataset SuperGLUE trên Papers With Code

Tài liệu tham khảo

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Chú thích

</references>