SuperGLUE (benchmark) (ID)

SuperGLUE — adalah benchmark komprehensif (sekumpulan tugas uji) untuk mengevaluasi sistem pemrosesan bahasa alami, khususnya model bahasa besar (LLM). Benchmark ini diperkenalkan pada tahun 2019 oleh sekelompok peneliti yang dipimpin oleh Alex Wang dari New York University dengan partisipasi Facebook AI Research dan organisasi lainnya.

Penciptaan SuperGLUE dipicu oleh fakta bahwa pada pertengahan 2019, benchmark pendahulunya, GLUE, telah menjadi "tugas yang mudah" bagi model-model mutakhir: skor agregat model terbaik pada GLUE mencapai 88,4, melampaui rata-rata kemampuan manusia (87,1). Dengan demikian, ruang untuk kemajuan lebih lanjut semakin menyempit. Sebagai respons, para penulis mengembangkan SuperGLUE sebagai alternatif yang lebih menantang, yang mampu memberikan pengujian pemahaman bahasa model secara lebih ketat. Tujuan SuperGLUE adalah menyediakan tolok ukur yang netral dan sulit "diakali" untuk mengukur kemajuan dalam pemahaman bahasa umum bahasa Inggris. Diharapkan bahwa peningkatan hasil yang nyata pada SuperGLUE akan memerlukan inovasi substansial dalam metode Machine Learning — misalnya, pembelajaran yang lebih efisien pada sampel kecil, pembelajaran multitugas, dan pembelajaran self-supervised. Dengan kata lain, SuperGLUE menyertakan tugas-tugas yang mudah bagi manusia namun sulit bagi kecerdasan mesin, guna mendorong pengembangan model dengan pemahaman bahasa yang benar-benar mendalam.

Fitur dan Perbedaan dari GLUE

SuperGLUE sebagian besar mengikuti format GLUE — menawarkan satu skor kualitas terpadu atas keseluruhan tugas, leaderboard publik, dan perangkat analisis model. Namun, SuperGLUE membawa sejumlah peningkatan dan inovasi dibandingkan pendahulunya:

• Tugas yang lebih menantang: SuperGLUE menyeleksi delapan tugas paling sulit. Dua di antaranya diwarisi dari GLUE (sebagai tugas paling sulit di sana), sementara sisanya dipilih dari kandidat baru berdasarkan tingkat kesulitannya bagi model NLP mutakhir. Dengan demikian, benchmark ini berfokus pada aspek pemahaman di mana model sebelumnya menunjukkan hasil terburuk.
• Beragam format: jika semua tugas dalam GLUE bermuara pada klasifikasi kalimat atau pasangan kalimat, maka SuperGLUE mencakup spektrum format yang lebih luas. Selain klasifikasi, ditambahkan tugas resolusi koreferensi dan tanya jawab, yang menuntut model untuk memahami teks kohesif dan melakukan penalaran logis.
• Evaluasi manusia pada semua tugas: untuk setiap tugas SuperGLUE, dihitung tingkat kinerja manusia dasar (non-ahli), yang mengonfirmasi bahwa bahkan model kuat seperti BERT jauh tertinggal dari manusia pada saat benchmark diluncurkan. Keberadaan acuan manusia (~90% secara agregat) memberikan "ruang gerak" bagi pertumbuhan model dan berfungsi sebagai target yang hendak dicapai.
• Aturan dan alat yang transparan: aturan pengiriman hasil ke leaderboard telah direvisi (untuk memastikan perbandingan yang adil dan pengakuan kontribusi penulis dataset). Selain itu, diterbitkan perangkat kode sumber terbuka baru untuk memudahkan fine-tuning dan pembelajaran multitugas model pada data SuperGLUE.

Secara keseluruhan, langkah-langkah ini menjadikan SuperGLUE sebagai uji yang lebih andal untuk kemampuan bahasa umum model, yang tidak memungkinkan pencapaian hasil tinggi melalui kecurangan sempit atau penyesuaian terhadap format spesifik GLUE sebelumnya.

Kumpulan Tugas SuperGLUE

SuperGLUE terdiri dari delapan tugas, yang mencakup berbagai aspek pemahaman teks.

• BoolQ (Boolean Questions): tugas bertipe tanya-jawab (QA), di mana setiap contoh disertai teks pendek (kutipan dari Wikipedia) dan pertanyaan yang harus dijawab dengan "ya" atau "tidak". Pertanyaan dibuat oleh pengguna (dari kueri penelusuran Google) dan memerlukan ekstraksi fakta eksplisit maupun implisit dari teks; metrik kualitasnya adalah proporsi jawaban benar (accuracy).
• CB (CommitmentBank): tugas inferensi logis (textual entailment) dengan tiga kelas. Dataset ini terdiri dari teks-teks pendek yang memuat kalimat kompleks; model harus menentukan sejauh mana penulis teks berkomitmen terhadap kebenaran klaim yang tersematkan. Pada dasarnya, ini adalah pemeriksaan apakah suatu pernyataan dapat disimpulkan dari konteks yang diberikan. Tugas ini sulit karena ukuran sampel yang kecil (sekitar 250 contoh) dan ketidakseimbangan kelas; kualitas dievaluasi berdasarkan akurasi dan F1-measure yang dirata-ratakan per kelas.
• COPA (Choice of Plausible Alternatives): tugas penalaran sebab-akibat. Model diberikan premis (satu kalimat) dan harus memilih penyebab atau akibat yang benar dari dua pilihan yang tersedia. Semua contoh COPA dibuat secara manual dan memerlukan akal sehat untuk menetapkan hubungan sebab-akibat. Topiknya mencakup situasi dari blog dan ensiklopedia khusus; metriknya adalah akurasi (proporsi pilihan yang benar). Contoh: diberikan kalimat "anak itu mendapat kekebalan terhadap penyakit" dengan pertanyaan "apa penyebabnya?" — manusia langsung memahami bahwa jawaban yang benar adalah "ia mendapat vaksin", sementara model harus menebak hubungan kausal tersebut.
• MultiRC (Multi-Sentence Reading Comprehension): tugas pemahaman teks multi-kalimat dengan elemen pilihan ganda. Model menerima sebuah paragraf teks, pertanyaan tentang isi paragraf tersebut, dan daftar jawaban yang mungkin; model harus menentukan jawaban mana yang benar (setiap pertanyaan dapat memiliki beberapa jawaban benar). Keistimewaannya: untuk menjawab pertanyaan, biasanya diperlukan penggabungan informasi dari beberapa kalimat dalam teks, yang menguji kemampuan model untuk menghubungkan fakta. Kualitas diukur dengan dua metrik: F1 atas jawaban (memperhitungkan set yang sebagian benar) dan Exact Match — proporsi pertanyaan yang dijawab dengan set jawaban sepenuhnya benar.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): tugas membaca dengan pemahaman dan penggunaan pengetahuan. Ini merupakan uji Cloze yang dimodifikasi: diberikan teks berita (artikel CNN/Daily Mail) dan sebuah kalimat dengan kata entitas yang dihilangkan; model harus memilih entitas mana dari teks yang sesuai untuk mengisi kekosongan tersebut. Pilihan jawaban ditetapkan sebagai semua entitas yang disebutkan dalam artikel, yang mungkin secara substansial tumpang tindih. Untuk menyelesaikannya dengan baik, diperlukan pemahaman konteks dan akal sehat. Metriknya adalah token-level F1 maksimum dan Exact Match (kecocokan tepat) atas jawaban yang diprediksi.
• RTE (Recognizing Textual Entailment): tugas klasifikasi biner untuk inferensi teks (entailment vs. not entailment). Dataset ini menggabungkan contoh-contoh dari beberapa kompetisi pengenalan inferensi teks (seri RTE 1-5). Setiap tugas memuat pasangan fragmen teks (premis-hipotesis); model harus menentukan apakah hipotesis mengikuti dari teks tersebut. Tidak seperti banyak dataset besar, RTE cukup kecil (sekitar 2.500 contoh pelatihan), tetapi menunjukkan peningkatan signifikan dari transfer learning: akurasi meningkat dari ~56% (tingkat tebakan acak) menjadi ~86% dengan munculnya model seperti BERT. Namun demikian, pada saat peluncuran SuperGLUE, akurasi model masih tertinggal sekitar 8 poin persentase dari kemampuan manusia, sehingga RTE dimasukkan sebagai salah satu tugas yang masih memiliki kesenjangan dengan tingkat manusia.
• WiC (Word-in-Context): tugas disambiguasi makna kata dalam konteks (WSD). Diberikan dua kalimat independen, yang masing-masing memuat kata polisemi yang sama; model harus menentukan apakah kata tersebut digunakan dalam makna yang sama di kedua kasus. Data diambil dari sumber daya leksikal (WordNet, VerbNet, Wiktionary), sehingga mencakup spektrum kata dan makna yang luas. Tugas ini diformalisasi sebagai klasifikasi biner dan dievaluasi berdasarkan proporsi jawaban yang benar. WiC menuntut model untuk memahami perbedaan makna yang halus, yang pada dasarnya menguji semantik leksikal.
• WSC (Winograd Schema Challenge): tugas resolusi koreferensi menggunakan akal sehat. Setiap tugas terdiri dari satu kalimat yang memuat sebuah kata ganti, serta daftar dua entitas (kata benda) dari kalimat yang sama. Model harus menentukan kata benda mana dari yang tersedia yang dirujuk oleh kata ganti tersebut. Contoh kalimat winograd klasik: "Trofi itu tidak muat ke dalam koper karena ia terlalu kecil" — manusia langsung memahami bahwa "ia" merujuk pada koper (koper itulah yang terlalu kecil). Contoh-contoh semacam itu tidak dapat diselesaikan tanpa pengetahuan sehari-hari dan konteks. Dalam GLUE sudah terdapat versi sederhana dari tugas ini (WNLI), tetapi model-model lama tidak dapat melampaui bahkan tingkat keacakan di sana. Hanya teknik khusus, seperti penambahan data eksternal dengan contoh serupa, yang meningkatkan kualitas model pada WSC hingga ~90% pada tahun 2019. Namun, manusia menyelesaikan tugas WSC hampir tanpa kesalahan (~96-100% jawaban benar). SuperGLUE menyertakan versi asli WSC dalam format klasifikasi biner (untuk setiap pasangan "kata ganti-entitas", model menjawab apakah keduanya merujuk pada hal yang sama). Tugas ini tetap menjadi salah satu uji paling sulit yang memerlukan penalaran berbasis common sense.

Semua uji SuperGLUE memiliki set pengujian tertutup dengan jawaban yang tidak diketahui oleh para pengembang. Model mengirimkan prediksinya ke server, di mana dihitung skor agregat — akurasi yang dirata-ratakan atas semua tugas (untuk tugas dengan beberapa metrik, metrik internal dirata-ratakan terlebih dahulu). Satu skor SuperGLUE yang terpadu ini menyederhanakan perbandingan model berdasarkan tingkat kecerdasan bahasa secara keseluruhan.

Hasil dan Kemajuan Model

Saat peluncuran SuperGLUE, para penulis menyajikan hasil model dasar yang kuat (BERT yang diperkuat) sebagai acuan — dan hasilnya ternyata jauh di bawah kemampuan manusia pada semua tugas. Secara rata-rata, model terbaik saat itu memperoleh sekitar 20 poin lebih rendah dari manusia berdasarkan metrik terpadu. Pada tugas-tugas tertentu, kesenjangan tersebut sangat besar: misalnya, pada tugas WSC, model hanya mencapai ~65% akurasi dibandingkan 100% milik manusia (selisih ~35 poin). Bahkan pada tugas yang terlihat "lebih mudah" (BoolQ, CB, RTE, WiC), sistem otomatis tertinggal ~10 poin dari tingkat kemampuan manusia. Perbedaan-perbedaan ini mengonfirmasi bahwa SuperGLUE memang memberikan tantangan serius bagi teknologi yang ada dan tidak dapat diselesaikan secara trivial.

Namun demikian, hanya beberapa bulan setelah SuperGLUE muncul, kemajuan pesat pun dimulai. Pada akhir 2019, peneliti Google memperkenalkan model T5 (Text-To-Text Transfer Transformer) dengan 11 miliar parameter, yang berhasil meraih skor agregat 88,9, mendekati tingkat kemampuan manusia ~89,8. Faktanya, T5 memperbaiki rekor sebelumnya di SuperGLUE sebesar 4,3 poin dan mengurangi proporsi kesalahan hampir sepertiga, menyisakan kesenjangan minimal hanya 0,9 poin dari skor manusia. Para pengembang mencatat bahwa SuperGLUE sengaja disusun sedemikian rupa sehingga tugas-tugasnya mudah bagi manusia, sehingga pencapaian model pada level ~89% merupakan tonggak pencapaian penting.

Yang pertama berhasil melampaui tingkat kualitas rata-rata manusia adalah model dari Microsoft, yaitu DeBERTa (Decoding-enhanced BERT with disentangled attention). Pada Januari 2021, para peneliti mengumumkan bahwa versi DeBERTa dengan 1,5 miliar parameter memperoleh 89,9 poin, sedikit di atas acuan manusia sebesar 89,8. Ini merupakan kali pertama sebuah model tunggal melampaui kemampuan manusia berdasarkan metrik SuperGLUE. Selain itu, ansambel dari beberapa model DeBERTa meningkatkan rekor menjadi ~90,3 poin. Model DeBERTa mengungguli pemimpin sebelumnya (Google T5) sekitar 0,6% dan mendemonstrasikan efektivitas ide-ide baru dalam arsitektur Transformer (representasi konten dan posisi kata yang terpisah, decoder mask yang ditingkatkan, dan lain-lain).

Kemajuan tidak berhenti di situ: seiring dengan bertambahnya ukuran dan kompleksitas model bahasa, hasil pada SuperGLUE terus meningkat. Menjelang akhir 2021, model Microsoft T-NLRv5 (keluarga Microsoft Turing NLR) muncul di puncak leaderboard — model ini semakin memperlebar kesenjangan melampaui tingkat kemampuan manusia. Tugas-tugas GLUE yang sebelumnya belum terpecahkan oleh mesin (misalnya, nuansa NLI) berhasil "ditutup" oleh model ini, yang mendekati paritas penuh dengan manusia bahkan pada sub-tugas paling sulit sekalipun.

Pada tahun 2022-2023, ambang batas tingkat kemampuan manusia di SuperGLUE telah berhasil dilampaui secara meyakinkan oleh beberapa model besar yang independen. Misalnya, model PaLM dari Google (540 miliar parameter) saat di-fine-tune pada tugas SuperGLUE mencapai sekitar 90,4 poin, sementara model GPT-4 (dikembangkan oleh OpenAI) menunjukkan hasil sedikit lebih tinggi. Pada pertengahan 2023, tabel leaderboard SuperGLUE memuat beberapa model dengan skor di atas 90 (yaitu melampaui rata-rata tingkat kemampuan manusia). Dapat dikatakan bahwa benchmark ini hampir terpecahkan oleh sistem modern: skor model terbaik sedemikian tingginya sehingga melampaui kemampuan sebagian besar orang yang tidak terlatih khusus. Keberhasilan ini membuktikan kemajuan luar biasa dalam NLP dalam waktu singkat, namun sekaligus menunjukkan perlunya pengujian baru yang bahkan lebih menantang untuk model-model terkini. Benchmark-benchmark penerus pun mulai bermunculan (misalnya, MMLU, BIG-Bench, dan lain-lain), yang dirancang untuk menguji model pada pemahaman lebih luas dan pengetahuan ensiklopedis yang melampaui cakupan tugas SuperGLUE.

Dampak dan Penelitian Lanjutan

SuperGLUE dengan demikian telah mengukuhkan dirinya sebagai tonggak penting dalam pengembangan metodologi evaluasi pemrosesan bahasa. Di kalangan para antusias dan ilmiah, hasilnya menjadi semacam "kertas lakmus" bagi arsitektur LLM baru: pencapaian atau pelampauan tingkat kemampuan manusia pada SuperGLUE dipandang sebagai tanda model mutakhir dengan pemahaman bahasa yang mendalam. Hal ini juga tercermin dalam praktik — banyak model bahasa modern yang mencapai hasil tinggi pada SuperGLUE menjadi fondasi bagi sistem terapan seperti tanya-jawab, agen percakapan, sistem peringkasan teks, dan lain-lain. SuperGLUE terus digunakan oleh para peneliti untuk fine-tuning dan perbandingan algoritma, meskipun posisi terdepan kini secara bertahap beralih ke tolok ukur baru dalam evaluasi kecerdasan buatan.

Tautan

• Situs web resmi SuperGLUE
• Artikel asli SuperGLUE (NeurIPS)
• Artikel Microsoft tentang pencapaian tingkat manusia oleh DeBERTa
• Halaman dataset SuperGLUE di Papers With Code

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Catatan

</references>