--- title: "SuperGLUE (benchmark) (ID)" source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)" wiki: "systems-analysis.info/int" article: "SuperGLUE_(benchmark)_(ID)" language: "id" categories: - "Category:Indonesian" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 7008 wiki_created_at: 2026-09-07T00:14:30Z wiki_modified_at: 2026-09-07T00:14:30Z downloaded_at: 2026-09-07T23:16:53Z --- # SuperGLUE (benchmark) (ID) **SuperGLUE** — adalah **benchmark** komprehensif (sekumpulan tugas uji) untuk mengevaluasi sistem pemrosesan bahasa alami, khususnya **model bahasa besar** (LLM)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Benchmark ini diperkenalkan pada tahun 2019 oleh sekelompok peneliti yang dipimpin oleh Alex Wang dari New York University dengan partisipasi Facebook AI Research dan organisasi lainnya[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Penciptaan SuperGLUE dipicu oleh fakta bahwa pada pertengahan 2019, benchmark pendahulunya, GLUE, telah menjadi "tugas yang mudah" bagi model-model mutakhir: skor agregat model terbaik pada GLUE mencapai 88,4, melampaui rata-rata kemampuan manusia (87,1)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dengan demikian, ruang untuk kemajuan lebih lanjut semakin menyempit[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Sebagai respons, para penulis mengembangkan SuperGLUE sebagai alternatif yang lebih menantang, yang mampu memberikan pengujian pemahaman bahasa model secara lebih ketat[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Tujuan SuperGLUE adalah menyediakan tolok ukur yang netral dan sulit "diakali" untuk mengukur kemajuan dalam pemahaman bahasa umum bahasa Inggris[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Diharapkan bahwa peningkatan hasil yang nyata pada SuperGLUE akan memerlukan inovasi substansial dalam metode Machine Learning — misalnya, pembelajaran yang lebih efisien pada sampel kecil, pembelajaran multitugas, dan pembelajaran self-supervised[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dengan kata lain, SuperGLUE menyertakan tugas-tugas yang mudah bagi manusia namun sulit bagi kecerdasan mesin[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1), guna mendorong pengembangan model dengan pemahaman bahasa yang benar-benar mendalam. ## Fitur dan Perbedaan dari GLUE SuperGLUE sebagian besar mengikuti format GLUE — menawarkan satu **skor kualitas terpadu** atas keseluruhan tugas, **leaderboard** publik, dan **perangkat analisis** model[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Namun, SuperGLUE membawa sejumlah peningkatan dan inovasi dibandingkan pendahulunya[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1): - **Tugas yang lebih menantang**: SuperGLUE menyeleksi **delapan tugas paling sulit**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dua di antaranya diwarisi dari GLUE (sebagai tugas paling sulit di sana), sementara sisanya dipilih dari kandidat baru berdasarkan tingkat kesulitannya bagi model NLP mutakhir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dengan demikian, benchmark ini berfokus pada aspek pemahaman di mana model sebelumnya menunjukkan hasil terburuk. - **Beragam format**: jika semua tugas dalam GLUE bermuara pada klasifikasi kalimat atau pasangan kalimat, maka SuperGLUE mencakup **spektrum format yang lebih luas**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Selain klasifikasi, ditambahkan tugas **resolusi koreferensi** dan **tanya jawab**, yang menuntut model untuk memahami teks kohesif dan melakukan **penalaran logis**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **Evaluasi manusia pada semua tugas**: untuk setiap tugas SuperGLUE, dihitung **tingkat kinerja manusia dasar** (non-ahli)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1), yang mengonfirmasi bahwa bahkan model kuat seperti BERT jauh tertinggal dari manusia pada saat benchmark diluncurkan[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Keberadaan **acuan manusia** (~90% secara agregat) memberikan "ruang gerak" bagi pertumbuhan model dan berfungsi sebagai target yang hendak dicapai[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **Aturan dan alat yang transparan**: aturan pengiriman hasil ke leaderboard telah direvisi (untuk memastikan perbandingan yang adil dan pengakuan kontribusi penulis dataset)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Selain itu, diterbitkan perangkat kode sumber terbuka baru untuk memudahkan fine-tuning dan pembelajaran multitugas model pada data SuperGLUE[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Secara keseluruhan, langkah-langkah ini menjadikan SuperGLUE sebagai uji yang lebih andal untuk **kemampuan bahasa umum** model, yang tidak memungkinkan pencapaian hasil tinggi melalui kecurangan sempit atau penyesuaian terhadap format spesifik GLUE sebelumnya[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). ## Kumpulan Tugas SuperGLUE SuperGLUE terdiri dari **delapan tugas**, yang mencakup berbagai aspek pemahaman teks. - **BoolQ** (Boolean Questions): tugas bertipe **tanya-jawab (QA)**, di mana setiap contoh disertai teks pendek (kutipan dari Wikipedia) dan pertanyaan yang harus dijawab dengan "ya" atau "tidak"[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Pertanyaan dibuat oleh pengguna (dari kueri penelusuran Google) dan memerlukan ekstraksi fakta eksplisit maupun implisit dari teks; metrik kualitasnya adalah proporsi jawaban benar (accuracy)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **CB** (CommitmentBank): tugas **inferensi logis** (textual entailment) dengan tiga kelas[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dataset ini terdiri dari teks-teks pendek yang memuat kalimat kompleks; model harus menentukan sejauh mana penulis teks **berkomitmen terhadap kebenaran** klaim yang tersematkan[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Pada dasarnya, ini adalah pemeriksaan apakah suatu pernyataan dapat disimpulkan dari konteks yang diberikan. Tugas ini sulit karena ukuran sampel yang kecil (sekitar 250 contoh) dan ketidakseimbangan kelas; kualitas dievaluasi berdasarkan akurasi dan F1-measure yang dirata-ratakan per kelas[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **COPA** (Choice of Plausible Alternatives): tugas **penalaran sebab-akibat**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Model diberikan premis (satu kalimat) dan harus memilih penyebab atau akibat yang benar dari dua pilihan yang tersedia[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Semua contoh COPA dibuat secara manual dan memerlukan **akal sehat** untuk menetapkan hubungan sebab-akibat. Topiknya mencakup situasi dari blog dan ensiklopedia khusus; metriknya adalah akurasi (proporsi pilihan yang benar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Contoh: diberikan kalimat "anak itu mendapat kekebalan terhadap penyakit" dengan pertanyaan "apa penyebabnya?" — manusia langsung memahami bahwa jawaban yang benar adalah "ia mendapat vaksin", sementara model harus menebak hubungan kausal tersebut[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **MultiRC** (Multi-Sentence Reading Comprehension): tugas **pemahaman teks multi-kalimat** dengan elemen pilihan ganda[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Model menerima sebuah paragraf teks, pertanyaan tentang isi paragraf tersebut, dan daftar jawaban yang mungkin; model harus menentukan jawaban mana yang benar (setiap pertanyaan dapat memiliki beberapa jawaban benar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Keistimewaannya: untuk menjawab pertanyaan, biasanya diperlukan penggabungan informasi dari beberapa kalimat dalam teks, yang menguji kemampuan model untuk **menghubungkan fakta**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Kualitas diukur dengan dua metrik: F1 atas jawaban (memperhitungkan set yang sebagian benar) dan Exact Match — proporsi pertanyaan yang dijawab dengan set jawaban sepenuhnya benar[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): tugas **membaca dengan pemahaman dan penggunaan pengetahuan**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Ini merupakan uji Cloze yang dimodifikasi: diberikan teks berita (artikel CNN/Daily Mail) dan sebuah kalimat dengan kata entitas yang dihilangkan; model harus memilih entitas mana dari teks yang sesuai untuk mengisi kekosongan tersebut[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Pilihan jawaban ditetapkan sebagai semua entitas yang disebutkan dalam artikel, yang mungkin secara substansial tumpang tindih[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Untuk menyelesaikannya dengan baik, diperlukan pemahaman konteks dan akal sehat. Metriknya adalah token-level F1 maksimum dan Exact Match (kecocokan tepat) atas jawaban yang diprediksi[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). - **RTE** (Recognizing Textual Entailment): tugas klasifikasi biner untuk **inferensi teks** (entailment vs. not entailment)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dataset ini menggabungkan contoh-contoh dari beberapa kompetisi pengenalan inferensi teks (seri RTE 1-5)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Setiap tugas memuat pasangan fragmen teks (premis-hipotesis); model harus menentukan apakah hipotesis mengikuti dari teks tersebut. Tidak seperti banyak dataset besar, RTE cukup kecil (sekitar 2.500 contoh pelatihan), tetapi menunjukkan peningkatan signifikan dari transfer learning: akurasi meningkat dari ~56% (tingkat tebakan acak) menjadi ~86% dengan munculnya model seperti BERT[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Namun demikian, pada saat peluncuran SuperGLUE, akurasi model masih tertinggal sekitar 8 poin persentase dari kemampuan manusia[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1), sehingga RTE dimasukkan sebagai salah satu tugas yang masih memiliki kesenjangan dengan tingkat manusia. - **WiC** (Word-in-Context): tugas **disambiguasi makna kata dalam konteks** (WSD)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Diberikan dua kalimat independen, yang masing-masing memuat kata polisemi yang sama; model harus menentukan apakah kata tersebut digunakan **dalam makna yang sama** di kedua kasus[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Data diambil dari sumber daya leksikal (WordNet, VerbNet, Wiktionary), sehingga mencakup spektrum kata dan makna yang luas[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Tugas ini diformalisasi sebagai klasifikasi biner dan dievaluasi berdasarkan proporsi jawaban yang benar. WiC menuntut model untuk memahami perbedaan makna yang halus, yang pada dasarnya menguji **semantik leksikal**. - **WSC** (Winograd Schema Challenge): tugas **resolusi koreferensi menggunakan akal sehat**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Setiap tugas terdiri dari satu kalimat yang memuat sebuah kata ganti, serta daftar dua entitas (kata benda) dari kalimat yang sama[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Model harus menentukan kata benda mana dari yang tersedia yang **dirujuk oleh kata ganti tersebut**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Contoh kalimat winograd klasik: "Trofi itu tidak muat ke dalam koper karena ia terlalu kecil" — manusia langsung memahami bahwa "ia" merujuk pada koper (koper itulah yang terlalu kecil). Contoh-contoh semacam itu tidak dapat diselesaikan tanpa **pengetahuan sehari-hari dan konteks**[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Dalam GLUE sudah terdapat versi sederhana dari tugas ini (WNLI), tetapi model-model lama tidak dapat melampaui bahkan tingkat keacakan di sana[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Hanya teknik khusus, seperti penambahan data eksternal dengan contoh serupa, yang meningkatkan kualitas model pada WSC hingga ~90% pada tahun 2019[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Namun, manusia menyelesaikan tugas WSC hampir tanpa kesalahan (~96-100% jawaban benar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). SuperGLUE menyertakan versi asli WSC dalam format klasifikasi biner (untuk setiap pasangan "kata ganti-entitas", model menjawab apakah keduanya merujuk pada hal yang sama)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Tugas ini tetap menjadi salah satu uji paling sulit yang memerlukan penalaran berbasis common sense. Semua uji SuperGLUE memiliki **set pengujian tertutup** dengan jawaban yang tidak diketahui oleh para pengembang[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Model mengirimkan prediksinya ke server, di mana dihitung skor agregat — akurasi yang dirata-ratakan atas semua tugas (untuk tugas dengan beberapa metrik, metrik internal dirata-ratakan terlebih dahulu)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Satu **skor SuperGLUE** yang terpadu ini menyederhanakan perbandingan model berdasarkan tingkat kecerdasan bahasa secara keseluruhan. ## Hasil dan Kemajuan Model Saat peluncuran SuperGLUE, para penulis menyajikan hasil model dasar yang kuat (BERT yang diperkuat) sebagai acuan — dan hasilnya ternyata **jauh di bawah kemampuan manusia** pada semua tugas[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Secara rata-rata, model terbaik saat itu memperoleh sekitar **20 poin lebih rendah** dari manusia berdasarkan metrik terpadu[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Pada tugas-tugas tertentu, kesenjangan tersebut sangat besar: misalnya, pada tugas WSC, model hanya mencapai ~65% akurasi dibandingkan 100% milik manusia (selisih ~35 poin)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Bahkan pada tugas yang terlihat "lebih mudah" (BoolQ, CB, RTE, WiC), sistem otomatis tertinggal ~10 poin dari tingkat kemampuan manusia[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Perbedaan-perbedaan ini mengonfirmasi bahwa SuperGLUE memang memberikan tantangan serius bagi teknologi yang ada dan tidak dapat diselesaikan secara trivial. Namun demikian, hanya beberapa bulan setelah SuperGLUE muncul, **kemajuan pesat** pun dimulai[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1). Pada akhir 2019, peneliti Google memperkenalkan model **T5** (Text-To-Text Transfer Transformer) dengan 11 miliar parameter, yang berhasil meraih skor agregat 88,9, mendekati tingkat kemampuan manusia ~89,8[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-reddit-t5-2). Faktanya, T5 memperbaiki rekor sebelumnya di SuperGLUE sebesar 4,3 poin dan mengurangi proporsi kesalahan hampir sepertiga[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-reddit-t5-2), menyisakan kesenjangan minimal hanya **0,9 poin** dari skor manusia[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-reddit-t5-2). Para pengembang mencatat bahwa SuperGLUE sengaja disusun sedemikian rupa sehingga tugas-tugasnya mudah bagi manusia, sehingga pencapaian model pada level ~89% merupakan tonggak pencapaian penting[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-reddit-t5-2). Yang pertama berhasil **melampaui tingkat kualitas rata-rata manusia** adalah model dari Microsoft, yaitu **DeBERTa** (Decoding-enhanced BERT with disentangled attention)[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Pada Januari 2021, para peneliti mengumumkan bahwa versi DeBERTa dengan 1,5 miliar parameter memperoleh **89,9 poin**, sedikit di atas acuan manusia sebesar 89,8[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Ini merupakan **kali pertama** sebuah model tunggal melampaui kemampuan manusia berdasarkan metrik SuperGLUE[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Selain itu, ansambel dari beberapa model DeBERTa meningkatkan rekor menjadi ~90,3 poin[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Model DeBERTa mengungguli pemimpin sebelumnya (Google T5) sekitar 0,6% dan mendemonstrasikan efektivitas ide-ide baru dalam arsitektur Transformer (representasi konten dan posisi kata yang terpisah, decoder mask yang ditingkatkan, dan lain-lain)[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-syncedreview-deberta-4). Kemajuan tidak berhenti di situ: seiring dengan bertambahnya ukuran dan kompleksitas model bahasa, hasil pada SuperGLUE terus meningkat[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-scaling-5). Menjelang akhir 2021, model Microsoft **T-NLRv5** (keluarga Microsoft Turing NLR) muncul di puncak leaderboard — model ini semakin memperlebar kesenjangan melampaui tingkat kemampuan manusia[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-scaling-5). Tugas-tugas GLUE yang sebelumnya belum terpecahkan oleh mesin (misalnya, nuansa NLI) berhasil "ditutup" oleh model ini, yang mendekati **paritas penuh dengan manusia** bahkan pada sub-tugas paling sulit sekalipun[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-scaling-5). Pada tahun 2022-2023, ambang batas tingkat kemampuan manusia di SuperGLUE telah berhasil dilampaui secara meyakinkan oleh beberapa model besar yang independen[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). Misalnya, model **PaLM** dari Google (540 miliar parameter) saat di-fine-tune pada tugas SuperGLUE mencapai sekitar 90,4 poin, sementara model **GPT-4** (dikembangkan oleh OpenAI) menunjukkan hasil sedikit lebih tinggi[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). Pada pertengahan 2023, tabel leaderboard SuperGLUE memuat beberapa model dengan skor di atas 90 (yaitu melampaui rata-rata tingkat kemampuan manusia)[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). Dapat dikatakan bahwa benchmark ini **hampir terpecahkan** oleh sistem modern[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6): skor model terbaik sedemikian tingginya sehingga melampaui kemampuan sebagian besar orang yang tidak terlatih khusus[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). Keberhasilan ini membuktikan kemajuan luar biasa dalam NLP dalam waktu singkat, namun sekaligus menunjukkan perlunya pengujian baru yang bahkan lebih menantang untuk model-model terkini[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). Benchmark-benchmark penerus pun mulai bermunculan (misalnya, MMLU, BIG-Bench, dan lain-lain), yang dirancang untuk menguji model pada pemahaman lebih luas dan pengetahuan ensiklopedis yang melampaui cakupan tugas SuperGLUE[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6). ## Dampak dan Penelitian Lanjutan SuperGLUE dengan demikian telah mengukuhkan dirinya sebagai **tonggak penting dalam pengembangan metodologi evaluasi** pemrosesan bahasa[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Di kalangan para antusias dan ilmiah, hasilnya menjadi semacam "kertas lakmus" bagi arsitektur LLM baru: pencapaian atau pelampauan tingkat kemampuan manusia pada SuperGLUE dipandang sebagai tanda model mutakhir dengan pemahaman bahasa yang mendalam[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). Hal ini juga tercermin dalam praktik — banyak model bahasa modern yang mencapai hasil tinggi pada SuperGLUE menjadi fondasi bagi sistem terapan seperti tanya-jawab, agen percakapan, sistem peringkasan teks, dan lain-lain[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3). SuperGLUE terus digunakan oleh para peneliti untuk fine-tuning dan perbandingan algoritma, meskipun posisi terdepan kini secara bertahap beralih ke tolok ukur baru dalam evaluasi kecerdasan buatan. ## Tautan - Situs web resmi SuperGLUE - Artikel asli SuperGLUE (NeurIPS) - Artikel Microsoft tentang pencapaian tingkat manusia oleh DeBERTa - Halaman dataset SuperGLUE di Papers With Code ## Literatur - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Catatan [\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-neurips-main-1) [\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-reddit-t5-2) [\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-deberta-3) [\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-syncedreview-deberta-4) [\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-microsoft-scaling-5) [\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_note-ainavigator-benchmarks-6) \ 1. ↑ [1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-0) [1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-1) [1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-2) [1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-3) [1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-4) [1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-5) [1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-6) [1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-7) [1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-8) [1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-9) [1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-10) [1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-11) [1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-12) [1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-13) [1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-14) [1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-15) [1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-16) [1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-17) [1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-18) [1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-19) [1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-20) [1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-21) [1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-22) [1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-23) [1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-24) [1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-25) [1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-26) [1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-27) [1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-28) [1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-29) [1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-30) [1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-31) [1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-32) [1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-33) [1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-34) [1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-35) [1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-36) [1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-37) [1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-38) [1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-39) [1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-40) [1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-41) [1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-42) [1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-43) [1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-44) [1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-45) [1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-46) [1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-47) [1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-48) [1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-49) [1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-50) [1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-51) [1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-52) [1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-53) [1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-54) [1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-55) [1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-56) [1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-57) [1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-58) [1.59](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-neurips-main_1-59) Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-reddit-t5_2-0) [2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-reddit-t5_2-1) [2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-reddit-t5_2-2) [2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-reddit-t5_2-3) [2.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-reddit-t5_2-4) «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». *Reddit /r/linguistics*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-0) [3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-1) [3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-2) [3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-3) [3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-4) [3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-5) [3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-6) [3.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-deberta_3-7) «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». *Microsoft Research Blog*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-syncedreview-deberta_4-0) [4.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-syncedreview-deberta_4-1) «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». *Synced Review*. [4] 5. ↑ [5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-scaling_5-0) [5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-scaling_5-1) [5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-scaling_5-2) [5.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-microsoft-scaling_5-3) «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». *Microsoft Research Blog*. [5] 6. ↑ [6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-0) [6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-1) [6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-2) [6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-3) [6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-4) [6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-5) [6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-6) [6.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(ID)#cite_ref-ainavigator-benchmarks_6-7) «The Ultimate Guide to AI Benchmarks». *The AI Navigator*. [6]