MMLU Benchmark (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

MMLU (singkatan dari Measuring Massive Multitask Language Understanding) — adalah kumpulan tugas acuan (benchmark) yang dirancang untuk mengevaluasi kemampuan model bahasa besar (LLM) di berbagai bidang subjek. Benchmark ini dikembangkan pada tahun 2020 oleh tim peneliti yang dipimpin oleh Dan Hendrycks dari UC Berkeley dan dipublikasikan pada konferensi ICLR tahun 2021[1].

Tujuan MMLU adalah menguji sejauh mana model menyerap beragam pengetahuan dan keterampilan yang diperoleh selama tahap pra-pelatihan, melalui pengujian dalam mode zero-shot atau few-shot tanpa fine-tuning tambahan. MMLU diciptakan sebagai alternatif yang lebih menantang dibandingkan uji yang ada sebelumnya (seperti GLUE dan SuperGLUE), yang sudah dicapai banyak model pada tingkat manusia pada tahun 2020[2].

Deskripsi dan Isi

MMLU terdiri dari 15.908 pertanyaan pilihan ganda yang mencakup 57 disiplin ilmu berbeda. Topik soal meliputi:

  • Mata pelajaran bidang STEM (matematika, fisika, biologi, ilmu komputer).
  • Ilmu humaniora dan ilmu sosial (sejarah, sastra, hukum, tata kelola).
  • Bidang terapan dan profesional (kedokteran, yurisprudensi, bisnis)[1].

Tingkat kesulitan bervariasi mulai dari level sekolah dasar hingga level profesional lanjutan. Soal-soal didasarkan pada materi ujian nyata untuk sekolah, perguruan tinggi, dan tes profesional seperti GRE dan USMLE[1]. Format soal adalah empat pilihan jawaban untuk setiap pertanyaan, yang berarti akurasi saat memilih secara acak adalah 25%. Untuk mencapai hasil yang tinggi, model harus memiliki pengetahuan ensiklopedis yang luas dan kemampuan penalaran.

Hasil dan Perkembangan

Saat MMLU dirilis pada tahun 2020, sebagian besar LLM menunjukkan hasil yang hanya sedikit di atas tebakan acak. Hasil terbaik ditunjukkan oleh model GPT-3 (175 miliar parameter), yang meraih ~43,9% jawaban benar. Sebagai perbandingan, seorang ahli manusia rata-rata mencapai ~90%[1]. Kesenjangan ini mengonfirmasi tingkat kesulitan dan standar tinggi dari benchmark baru ini.

Seiring waktu, MMLU menjadi salah satu uji paling populer untuk LLM, mendapatkan status "standar emas" dalam laporan perusahaan-perusahaan AI terkemuka[3]. Pada tahun 2023–2024, model-model terbaru seperti GPT-4, Gemini Ultra dari Google, dan Claude 3.5 dari Anthropic mendekati tingkat manusia, mencapai akurasi ~85–90%[2][3].

Kemajuan yang pesat menyebabkan "kejenuhan" benchmark secara bertahap: model-model terdepan mulai mencapai skor yang mendekati maksimum, sehingga mengurangi kemampuan MMLU untuk membedakan kapabilitas intelektual mereka. Hal ini mendorong komunitas untuk mengembangkan uji-uji baru yang lebih sulit[3].

Keterbatasan dan Kritik

Meski digunakan secara luas, MMLU memiliki sejumlah keterbatasan yang signifikan.

Kualitas dan Ketepatan Data

Pada Juni 2024, para peneliti melakukan analisis manual terhadap sampel 5.700 pertanyaan MMLU dan menemukan sejumlah kesalahan yang signifikan[4].

  • Sekitar 6,5% dari seluruh pertanyaan MMLU mengandung kesalahan dalam pelabelan atau perumusan soal.
  • Pada kategori tertentu, proporsi soal yang tidak tepat sangat tinggi. Misalnya, pada bagian "Virologi", 57% soal mengandung kesalahan (beberapa jawaban benar, perumusan yang tidak tepat, atau jawaban acuan yang salah).

Hal ini berarti bahkan model yang sempurna pun tidak dapat meraih 100% pada dataset asli, dan sebagian peningkatan dalam metrik mungkin terkait dengan hafalan model terhadap kesalahan sistematis pada dataset tersebut[4].

Metodologi Evaluasi dan Kebocoran Data

  • Ketiadaan standar pengujian. Pengembang yang berbeda dapat menggunakan prompt dan mode few-shot yang berbeda, sehingga menyulitkan perbandingan langsung hasil antar model.
  • Kebocoran data (data contamination). Terdapat risiko masuknya pertanyaan dan jawaban dari benchmark publik ke dalam data pelatihan LLM. Dalam kasus seperti itu, model pada dasarnya "mengetahui" jawaban yang benar, sehingga evaluasi menjadi tidak adil[3].

Versi Turunan dan Perluasan

Untuk mengatasi masalah MMLU asli, beberapa variannya telah dibuat.

  • MMLU-Redux. Versi kumpulan soal yang telah diperbaiki dan disempurnakan, diperkenalkan pada Juni 2024. Versi ini mencakup 3.000 pertanyaan yang telah dilabeli ulang dari 30 kategori dan dirancang untuk evaluasi model yang lebih andal tanpa distorsi akibat kesalahan data[4].
  • MMLU-Pro. Varian uji yang diperluas dan dipersulit, diperkenalkan pada akhir tahun 2024. Varian ini memuat lebih dari 12.000 pertanyaan, masing-masing dengan 10 pilihan jawaban alih-alih empat. Hal ini mengurangi kemungkinan tebakan acak hingga 10%. Pertanyaan-pertanyaan telah diverifikasi oleh para ahli dan mencakup soal-soal baru dari sumber yang lebih sulit[5].
  • MMMLU (Multilingual MMLU). Versi multibahasa yang dirilis oleh OpenAI pada tahun 2023. Seluruh kumpulan MMLU diterjemahkan oleh penerjemah profesional ke dalam 14 bahasa, termasuk bahasa yang umum digunakan (Spanyol, Cina, Rusia) maupun bahasa dengan sumber daya rendah (misalnya, Yoruba). Hal ini memungkinkan evaluasi dan perbandingan kemampuan model dalam berbagai bahasa[6].

Tautan

  • Repositori resmi MMLU di GitHub
  • Halaman MMLU di Papers with Code beserta hasil model

Literatur

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.


Catatan

  1. ↑ 1.0 1.1 1.2 1.3 Hendrycks, D. et al. «Measuring Massive Multitask Language Understanding». arXiv:2009.03300, 2021. [1]
  2. ↑ 2.0 2.1 «MMLU». In Wikipedia. [2]
  3. ↑ 3.0 3.1 3.2 3.3 «NEW SAVANNA: The AI industry lacks useful ways of measuring performance». New Savanna Blog, 2024. [3]
  4. ↑ 4.0 4.1 4.2 Gema, A. P. et al. «Are We Done with MMLU?». arXiv:2406.04127, 2024. [4]
  5. ↑ «MMLU Pro». Vals.ai, 2025. [5]
  6. ↑ «openai/MMMLU». Hugging Face Datasets. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=MMLU_Benchmark_(ID)&oldid=4079"