BIG-bench (benchmark) (ID)

BIG-bench (akronim dari bahasa Inggris Beyond the Imitation Game benchmark) — adalah kumpulan tugas berskala besar (benchmark) yang dibuat untuk mengevaluasi kemampuan dan batas-batas large language model (LLM). Proyek ini dikembangkan pada tahun 2021–2022 melalui kerja sama lebih dari 450 peneliti dari 132 organisasi di bawah naungan Google.

Benchmark ini mencakup 204 tugas yang beragam, yang meliputi spektrum bidang yang luas: linguistik, matematika, pemrograman, akal sehat, biologi, fisika, dan evaluasi bias sosial. Tujuan utama BIG-bench adalah melampaui "permainan imitasi" (uji Turing) dan menguji model pada tugas-tugas yang dianggap sulit atau tidak dapat dipecahkan oleh arsitektur yang ada. Benchmark ini dirancang tidak hanya untuk mengukur kemampuan saat ini, tetapi juga untuk mengekstrapolasi kemampuan masa depan seiring bertambahnya skala.

Pengembangan dan Struktur

Pemrakarsa pembuatan BIG-bench adalah sekelompok peneliti dari Google, yang menyelenggarakan pengumpulan tugas secara terbuka dari komunitas ilmiah. Hasilnya, kumpulan akhir mencakup 204 tugas dari puluhan tim independen. Setiap tugas dikembangkan sebagai tantangan bagi LLM dan memiliki format serta metrik evaluasi tersendiri (misalnya, akurasi pilihan, penilaian jawaban yang dihasilkan secara bebas).

Tugas-tugas tersebut bervariasi dari pertanyaan akademis standar hingga teka-teki tidak konvensional, seperti:

• Menyelesaikan soal matematika dan logika.
• Memahami urutan emoji.
• Memecahkan masalah catur berdasarkan deskripsi teks.
• Mengidentifikasi stereotip sosial dalam jawaban model.

Seluruh benchmark beserta kodenya tersedia secara terbuka di GitHub, sehingga para peneliti dapat menguji model baru dan mengusulkan tugas tambahan.

Evaluasi Model dan Tingkat Dasar Manusia

Dalam karya asli tahun 2022, dilakukan pengujian model secara besar-besaran, termasuk keluarga GPT dari OpenAI, serta model dense dan sparse dari Google, seperti PaLM dan Switch Transformers.

Untuk membandingkan hasil, ditetapkan tingkat dasar manusia. Para penilai ahli menyelesaikan semua tugas menggunakan sumber daya yang tersedia bagi mereka. Dua indikator ditetapkan:

• Hasil rata-rata para ahli: sekitar 45/100 dalam normalisasi kondisional.
• Hasil terbaik para ahli: sekitar 80/100 (ketika setidaknya satu ahli menyelesaikan tugas secara optimal).

Bahkan model-model terbesar pada masa itu jauh tertinggal dari manusia. Misalnya, yang terbaik di antaranya (termasuk GPT-3) hanya meraih sekitar 15/100 poin, yang menekankan tingkat kesulitan tugas dan potensi besar untuk kemajuan lebih lanjut.

Temuan dan Kesimpulan Utama

Analisis hasil pada BIG-bench mengungkapkan beberapa pola utama:

1. Pengaruh skala. Akurasi model meningkat seiring bertambahnya jumlah parameter di hampir semua kategori tugas.
2. Kemampuan emergent. Pada banyak tugas, kinerja model lama bertahan di tingkat tebakan acak, tetapi setelah mencapai skala "kritis" tertentu, terjadi lonjakan kualitas yang tajam. Fenomena ini disebut emergent behavior (perilaku emergent).
3. Bias sosial. Seiring bertambahnya ukuran model, tingkat manifestasi stereotip sosial yang diserap dari data pelatihan juga dapat meningkat. Namun, ditunjukkan bahwa perumusan prompt yang tepat (prompting) dapat mengurangi efek ini.

Evolusi Benchmark

Seiring model menjadi semakin powerful, beberapa tugas BIG-bench tidak lagi menjadi tantangan. Hal ini mendorong pembuatan subset yang lebih sulit.

Big-bench Hard (BBH)

Pada tahun 2022, para peneliti memilih 23 tugas paling sulit, di mana semua model pada awalnya berada di bawah tingkat rata-rata manusia. Kumpulan ini dinamai BIG-bench Hard (BBH). Eksperimen menunjukkan bahwa penggunaan teknik Chain-of-Thought (CoT) — ketika model menghasilkan rantai penalaran sebelum menjawab — secara drastis meningkatkan kinerja. Dengan menggunakan CoT, model PaLM (540 miliar parameter) mampu melampaui hasil rata-rata manusia pada 10 dari 23 tugas, dan Codex (versi GPT-3) — pada 17 dari 23.

Big-bench Extra Hard (BBEH)

Menjelang tahun 2024, ketika bahkan tugas-tugas dari BBH mulai dapat diselesaikan oleh model-model terdepan, diusulkan tahap berikutnya — BIG-bench Extra Hard (BBEH). Para penulis dari DeepMind mengganti masing-masing dari 23 tugas BBH dengan tugas baru yang serupa dalam jenis penalaran, namun jauh lebih sulit. Pengujian awal pada BBEH menunjukkan bahwa bahkan LLM modern yang paling powerful sekalipun masih jauh dari mampu menyelesaikannya, sehingga memberikan tantangan jangka panjang bagi model-model masa depan.

Big-bench Lite (BBL)

Untuk pengujian yang cepat dan lebih hemat sumber daya, dibuat versi yang lebih ringan — BIG-bench Lite (BBL). Versi ini merupakan sampel dari 24 tugas yang mencerminkan keragaman kumpulan lengkap. BBL memungkinkan para pengembang untuk mengevaluasi model mereka dengan cepat dan membandingkannya pada leaderboard publik.

Tautan

• Repositori resmi BIG-bench di GitHub
• Halaman BIG-bench di Papers With Code

Daftar Pustaka

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.