GLUE Benchmark (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

GLUE (akronim dari General Language Understanding Evaluation, «Evaluasi Pemahaman Bahasa Umum») — adalah benchmark multitugas untuk mengevaluasi kualitas model pemrosesan bahasa alami (NLU). Benchmark ini diusulkan pada tahun 2018 oleh sekelompok peneliti dari Universitas New York, Universitas Washington, dan DeepMind, termasuk Alex Wang dan Samuel Bowman, dan mendapat penerimaan luas di komunitas riset[1].

Tujuan utama GLUE adalah menyediakan rangkaian uji yang terpadu, netral, dan menantang untuk evaluasi komparatif kemampuan model NLU pada beragam tugas yang melampaui satu domain tertentu. Benchmark ini mencakup platform online dengan leaderboard (papan peringkat) yang memastikan perbandingan model secara objektif dan mencegah penyesuaian terhadap data uji, karena label sebenarnya untuk sebagian pengujian tidak dipublikasikan dan hanya dapat diakses melalui server evaluasi. Diasumsikan bahwa untuk mencapai hasil yang tinggi, model harus mampu mengekstrak representasi bahasa yang universal dan secara efektif mentransfer pengetahuan antar berbagai jenis tugas.

Komposisi dan Tugas Benchmark

Benchmark GLUE menggabungkan sembilan tugas pemahaman bahasa yang berbeda, berdasarkan dataset yang sudah ada dan menantang bagi AI. Semua tugas dirumuskan sebagai klasifikasi atau regresi atas satu kalimat maupun sepasang kalimat[1].

  • CoLA (Corpus of Linguistic Acceptability) — tugas menentukan kelayakan gramatikal sebuah kalimat. Metrik kualitas — Koefisien Korelasi Matthews.
  • SST-2 (Stanford Sentiment Treebank) — tugas menentukan sentimen (positif/negatif) ulasan film. Metrik — akurasi (accuracy).
  • MRPC (Microsoft Research Paraphrase Corpus) — tugas mendeteksi parafrase dalam sepasang kalimat dari sumber berita. Metrik — akurasi dan skor F1.
  • QQP (Quora Question Pairs) — tugas menentukan duplikasi pertanyaan dari komunitas Quora. Metrik — akurasi dan skor F1.
  • STS-B (Semantic Textual Similarity Benchmark) — tugas pencocokan semantik dua kalimat. Model harus memprediksi tingkat kemiripan makna pada skala 1 hingga 5. Metrik — koefisien korelasi Pearson dan Spearman.
  • MNLI (Multi-Genre Natural Language Inference) — tugas pengenalan konsekuensi teks pada pasangan kalimat dari sumber berbagai genre (implikasi, kontradiksi, netralitas). Hasil dievaluasi secara terpisah pada subset yang sesuai (matched) dan tidak sesuai (mismatched).
  • QNLI (Question Natural Language Inference) — tugas yang diperoleh dari transformasi dataset SQuAD. Diperlukan untuk menentukan apakah kalimat dari paragraf mengandung jawaban atas pertanyaan yang diberikan.
  • RTE (Recognizing Textual Entailment) — dataset gabungan tentang konsekuensi teks yang menggabungkan beberapa koleksi kecil. Tugas — mengklasifikasikan secara biner hubungan antar kalimat.
  • WNLI (Winograd NLI) — versi modifikasi dari skema Winograd yang diadaptasi ke format NLI. Tugas resolusi anafora: sistem diberikan kalimat dengan kata ganti yang ambigu, dan perlu menentukan objek mana dari dua objek yang dirujuknya.

Metodologi Evaluasi

Untuk evaluasi pada GLUE, para peneliti mengirimkan prediksi model mereka ke server khusus, setelah itu mereka menerima perhitungan otomatis metrik untuk setiap tugas dan skor ringkasan.

  • GLUE-score — indikator akhir yang dihitung sebagai nilai rata-rata hasil dari semua sembilan tugas utama.
  • Leaderboard — tabel publik yang mencerminkan keadaan terkini dan menunjukkan model mana yang lebih baik dalam menangani tugas NLU. Penggunaan set uji tersembunyi memastikan perbandingan yang adil.
  • Set diagnostik — set khusus yang terdiri dari 1100 contoh yang dianotasi secara manual oleh para ahli untuk analisis linguistik yang mendalam. Set ini tidak memengaruhi peringkat, melainkan berfungsi sebagai alat analisis kualitatif untuk memeriksa fenomena bahasa mana (semantik leksikal, logika, akal sehat) yang dapat dikenali oleh model, dan mana yang menjadi kesulitannya[1].

Hasil dan Pengaruh terhadap Industri

Saat peluncuran GLUE pada tahun 2018, model-model terbaik saat itu (misalnya, BiLSTM dengan ELMo) mencapai hasil kumulatif sekitar 70 poin (pada skala 0–100), yang secara signifikan lebih rendah dari tingkat kemampuan manusia (sekitar 87 poin)[2].

Kehadiran GLUE dan leaderboard terbuka mendorong kemajuan pesat di bidang transfer learning dalam NLP.

  • Pada Mei 2019, kurang dari setahun, generasi baru model berbasis transformer (terutama BERT) mengangkat standar state-of-the-art hingga 83,9 poin.
  • Pada paruh kedua tahun 2019, benchmark GLUE secara faktual telah «ditaklukkan»: sistem-sistem terbaik mendekati tingkat kemampuan manusia, dan pada beberapa tugas bahkan melampauinya[3].

GLUE memainkan peran besar sebagai titik acuan tunggal dalam pengembangan model pemahaman bahasa. Berkat GLUE, para peneliti dapat membandingkan secara langsung berbagai arsitektur pada rangkaian tugas yang kompleks, mengidentifikasi kekuatan dan kelemahan pendekatan, serta dengan cepat berbagi pencapaian melalui leaderboard publik.

SuperGLUE: Pengembangan Selanjutnya

Keberhasilan GLUE yang pesat menyebabkan tim penulis yang sama, dengan partisipasi kolega dari Facebook AI, memperkenalkan rangkaian baru yang lebih menantang bernama SuperGLUE hanya setahun kemudian[4].

SuperGLUE diumumkan pada akhir 2019 sebagai rangkaian uji yang «lebih lengket» (stickier), yang bertujuan untuk kembali menciptakan jarak antara kemampuan model modern dan manusia. Rangkaian ini mencakup delapan tugas yang membutuhkan pemahaman bahasa yang lebih mendalam, serta perangkat dan aturan yang ditingkatkan untuk para peserta. Meskipun GLUE terus digunakan sebagai uji dasar, fokus utama peningkatan kompetitif telah beralih ke SuperGLUE dan benchmark lain yang lebih terspesialisasi.

Tautan

  • Situs resmi GLUE Benchmark
  • Halaman GLUE di Papers With Code dengan hasil model

Literatur

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Catatan

  1. ↑ 1.0 1.1 1.2 Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv:1804.07461, 2019. [1]
  2. ↑ Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». arXiv:1905.10425, 2019. [2]
  3. ↑ Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS 2019. [3]
  4. ↑ «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». VentureBeat. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=GLUE_Benchmark_(ID)&oldid=2428"