BBQ (Bias Benchmark for Question Answering) (ID)

BBQ (Bias Benchmark for Question Answering) — adalah dataset untuk mengevaluasi prasangka sosial (bias) dalam sistem tanya-jawab (QA). Dataset ini dikembangkan oleh sekelompok peneliti dari Universitas New York di bawah pimpinan Alicia Parrish dan dipublikasikan pada tahun 2022 di konferensi ACL Findings. Tujuan BBQ adalah mengungkap bagaimana Large Language Model (LLM) dan model QA lainnya menampilkan stereotip dan prasangka dalam menjawab pertanyaan, khususnya dalam tugas-tugas terapan berupa menjawab pertanyaan dalam bahasa alami. BBQ menjadi salah satu benchmark paling komprehensif untuk mengevaluasi social bias dalam NLP, mencakup spektrum stereotip yang luas dalam sembilan kategori sosial.

Dataset ini melengkapi karya-karya sebelumnya, seperti dataset UnQover (2020), yang mengukur prasangka berdasarkan sejumlah atribut terbatas (gender-profesi, kebangsaan, etnis, agama) dan mengandalkan probabilitas model, bukan jawaban itu sendiri. Berbeda dengan UnQover, BBQ secara langsung menganalisis isi jawaban model dan pilihan yang dibuat di antara opsi yang tersedia, sehingga memungkinkan evaluasi bias tepat pada tingkat hasil yang dikeluarkan.

Para penulis BBQ memposisikannya sebagai alat untuk mendiagnosis stereotip sosial yang berbahaya dalam model dan mengurangi risiko dampak negatif stereotip tersebut terhadap kelompok rentan. Dataset ini berfokus pada stereotip yang relevan dengan budaya berbahasa Inggris di Amerika Serikat dan tidak mencakup semua kemungkinan konteks budaya. Namun demikian, BBQ telah meletakkan dasar bagi karya-karya berikutnya dalam mengukur dan memitigasi social bias dalam NLP, serta menjadi tolok ukur dalam membandingkan model dari segi kelayakan etisnya.

Komposisi dan Struktur Dataset

BBQ berisi sekitar 58,5 ribu pertanyaan dan jawaban, dikelompokkan dalam set-set khusus yang ditargetkan untuk mengungkap stereotip tertentu. Semua contoh dibuat secara manual oleh para penulis berdasarkan kasus-kasus prasangka dan stereotip yang terdokumentasi, yang merugikan perwakilan berbagai kelompok sosial. Dalam pembuatan skenario digunakan data dari penelitian ilmiah, artikel media, laporan, dan sumber-sumber terpercaya lainnya yang mengonfirmasi keberadaan stereotip tertentu beserta dampak buruknya. Untuk setiap situasi, para penulis mencantumkan referensi ke sumber yang menggambarkan stereotip tersebut sebagai negatif atau berbahaya (misalnya, artikel ilmiah atau berita).

Kategori Sosial

BBQ mencakup sembilan kategori sosial utama yang signifikan (sebagian besar sesuai dengan kelompok yang dilindungi dalam definisi Komisi Kesempatan Kerja Setara Amerika Serikat):

• Usia – prasangka terhadap kelompok usia tertentu (misalnya, stereotip tentang penurunan kemampuan kognitif pada lansia).
• Disabilitas – stereotip tentang kemampuan mental atau kualitas lain dari penyandang disabilitas (misalnya, anggapan bahwa individu dengan keterbatasan fisik kurang kompeten secara intelektual).
• Identitas gender – stereotip gender (misalnya, gagasan bahwa "anak perempuan buruk dalam matematika").
• Kebangsaan – prasangka nasional-etnis (misalnya, stereotip tentang ketidakmampuan teknologi orang-orang dari Afrika).
• Penampilan fisik – diskriminasi berdasarkan penampilan dan bentuk tubuh (misalnya, anggapan bahwa orang dengan obesitas kurang cerdas atau kurang rajin).
• Ras/etnis – stereotip rasial (misalnya, kaitan prasangka antara ras tertentu dengan kejahatan atau penyalahgunaan narkoba).
• Agama – stereotip agama (misalnya, gambaran orang Yahudi sebagai serakah, atau Muslim sebagai cenderung melakukan kekerasan, dan sejenisnya).
• Status sosial-ekonomi – prasangka terhadap kelompok miskin atau kaya (misalnya, keyakinan bahwa orang dari keluarga miskin akan menjadi orang tua yang buruk).
• Orientasi seksual – stereotip homofobik (misalnya, asosiasi keliru antara homoseksualitas dengan infeksi HIV).

Selain kesembilan kategori ini, BBQ juga menyajikan dua kategori interseksional (intersectional biases) yang menggabungkan dua atribut sekaligus: (1) gender dikombinasikan dengan ras/etnis, dan (2) status sosial-ekonomi dikombinasikan dengan ras. Kasus-kasus tersebut memperhitungkan stereotip pada persimpangan berbagai kelompok (misalnya, prasangka khusus terhadap perempuan kulit hitam atau terhadap etnis tertentu dari kelas sosial rendah).

Template dan Pembuatan Contoh

Untuk setiap kategori, tim menulis template skenario — sketsa pendek yang menampilkan dua tokoh yang berbeda berdasarkan atribut yang dituju (misalnya, muda dan tua, laki-laki dan perempuan, kaya dan miskin, dan sebagainya). Template tersebut memuat situasi yang dapat mengonfirmasi atau menyangkal stereotip yang dikenal. Setiap skenario dikaitkan dengan pertanyaan dan pilihan jawaban.

Secara keseluruhan, dikembangkan 25 template unik untuk masing-masing dari sembilan kategori utama, ditambah 25 template tambahan untuk kategori ras dan gender menggunakan nama nyata (untuk menguji bias pada tingkat nama diri). Selain itu, dibuat 25 template untuk dua arah interseksional. Dengan demikian, jumlah total skenario dasar melebihi 300.

Setiap template berisi slot khusus untuk variabel — nama kelompok atau deskripsi — yang dimasukkan ke dalam teks (misalnya, dalam template usia, berbagai angka dimasukkan menggantikan "orang berumur _tahun", atau dalam penampilan fisik — kata sifat "gemuk"/"kurus" dan sebagainya). Melalui substitusi berbagai nilai dan pengacakan urutan penyebutan dua tokoh, setiap template diperluas menjadi banyak contoh spesifik (minimal 8 hingga sekitar 200 variasi). Pada umumnya, dari satu template dihasilkan tidak kurang dari 100 pertanyaan akhir, dan dalam beberapa kasus hingga dua ratus. Secara keseluruhan, diperoleh korpus sebanyak 58.492 contoh (kombinasi unik skenario, pertanyaan, dan jawaban).

Konteks dan Tipe Pertanyaan

Fitur utama BBQ adalah setiap situasi disajikan dalam dua varian konteks dan dua formulasi pertanyaan, membentuk set empat pertanyaan (yang disebut kluster dari 4). Hal ini dilakukan untuk memisahkan pengaruh kurangnya informasi dari stereotip model itu sendiri. Dalam setiap kuartet:

• Konteks ambigu (under-informative or ambiguous context): teks yang menggambarkan situasi dengan dua orang dari kelompok berbeda, namun tidak mengandung informasi yang cukup untuk menjawab pertanyaan yang diajukan secara pasti. Jawaban yang benar dalam kasus seperti ini selalu adalah pilihan "tidak diketahui" (yaitu ketiadaan data yang cukup). Contoh-contoh ini diperlukan untuk menguji apakah model akan menarik kesimpulan berdasarkan stereotip.
• Konteks disambiguasi (disambiguated context): skenario yang diperluas dengan penambahan detail penjelas yang memungkinkan identifikasi siapa di antara dua orang yang disebutkan yang sesuai dengan pertanyaan. Dalam hal ini, salah satu dari dua tokoh jelas merupakan jawaban yang benar (sementara pilihan "tidak diketahui" sudah tidak tepat). Konteks disambiguasi berfungsi untuk menguji apakah model mampu mengatasi bias potensialnya dan memilih jawaban yang benar, meskipun stereotip menunjukkan sebaliknya.
• Pertanyaan negatif (misalnya, "Siapa di antara mereka yang tidak menguasai pelajaran?", "Siapa yang melakukan kejahatan?"). Pertanyaan semacam ini dikombinasikan dengan konteks ambigu untuk menguji apakah model cenderung mengasosiasikan tindakan negatif dengan kelompok tertentu tanpa adanya fakta.
• Pertanyaan non-negatif (kontrastif) (misalnya, "Siapa di antara mereka yang menguasai pelajaran dengan baik?" atau "Siapa yang menahan diri dari tindakan buruk?"). Pertanyaan non-negatif disusun agar tidak terdengar seperti persetujuan langsung atas stereotip, namun tetap memungkinkan pengujian keseimbangan jawaban model. Perbandingan jawaban atas versi negatif dan netral mengungkap bias sistematis.

Masing-masing dari empat contoh dalam kluster memiliki tiga pilihan jawaban: dua yang spesifik (menyebut masing-masing dari dua kelompok yang terlibat) dan satu pilihan yang menunjukkan ketiadaan informasi yang cukup (ditandai sebagai "Unknown" dan frasa yang setara). Misalnya, dalam adegan yang melibatkan seorang Kristen dan seorang Muslim, pilihan jawabannya adalah: "Kristen", "Muslim", atau "tidak diketahui". Kata "tidak diketahui" pun tidak selalu sama — digunakan 10 ekspresi sinonim.

Selain itu, dalam setiap template, urutan penyebutan dua kelompok secara otomatis diubah. Hal ini dilakukan untuk menetralkan efek urutan — faktor yang diketahui di mana model cenderung lebih sering memilih entitas yang disebutkan pertama, terlepas dari kontennya.

Anotasi dan Pemeriksaan Kualitas

Setiap contoh BBQ dinilai oleh anotator crowdsourcing: tidak kurang dari 5 orang independen menjawab pertanyaan, dan hanya contoh-contoh yang mendapat persetujuan minimal 4 dari 5 anotator mengenai jawaban yang benar (melalui pemungutan suara) yang dimasukkan ke dalam dataset final. Jika pertanyaan tertentu tidak melewati ambang batas ini, seluruh template ditinjau ulang dan disunting. Berkat proses ini, akurasi manusia pada BBQ sangat tinggi: anotator individu menjawab dengan benar sekitar 95,7% pertanyaan, dan dengan mempertimbangkan suara mayoritas, akurasi standar emas mencapai 99,7%. Koefisien kesepakatan kappa (Krippendorff's alpha) sebesar 0,883, yang menunjukkan tingkat kesepakatan yang tinggi antar manusia mengenai jawaban yang benar. Langkah-langkah ini mengonfirmasi bahwa tugas-tugas BBQ dapat dipahami oleh manusia dan memiliki jawaban yang secara objektif benar; oleh karena itu, kesalahan model pada contoh-contoh ini dapat secara wajar diinterpretasikan sebagai manifestasi bias, bukan sebagai ambiguitas pertanyaan itu sendiri.

Evaluasi Bias Model

BBQ dirancang untuk evaluasi multi-aspek terhadap perilaku model dalam kondisi yang memancing social bias. Saat pengujian, model QA menerima konteks dan pertanyaan sebagai input, lalu harus memilih salah satu dari tiga pilihan jawaban. Analisis hasil dilakukan pada dua tingkatan:

Kasus Konteks Ambigu

Diukur seberapa sering model menjawab pertanyaan dengan salah ketika informasi yang diperlukan tidak tersedia, yaitu mengandalkan stereotip. Idealnya, model harus menjawab "tidak diketahui" untuk setiap pertanyaan dengan konteks yang tidak memadai, namun jika model memilih salah satu kelompok, hal ini dianggap sebagai proyeksi stereotip yang tertanam. Frekuensi kesalahan semacam ini dan distribusinya di berbagai kategori memberikan gambaran tentang kecenderungan model dalam mereproduksi stereotip yang berbahaya.

Kasus Konteks Informatif

Dinilai seberapa akurat model menjawab ketika konteks mengandung jawaban yang benar secara eksplisit. Di sini biasanya dihitung metrik standar accuracy (persentase jawaban benar) — menunjukkan apakah model mampu menangani tugas tanya-jawab secara umum. Namun perhatian khusus diberikan pada kasus-kasus di mana jawaban yang benar bertentangan dengan stereotip. Para pengembang BBQ menganalisis apakah akurasi model menurun ketika jawaban yang benar bertentangan dengan stereotip yang mengakar (dan sebaliknya, apakah akurasi lebih tinggi ketika kebenaran sejalan dengan ekspektasi stereotip). Efek semacam itu akan mengindikasikan bahwa bahkan ketika fakta tersedia, model masih dapat membuat kesalahan akibat bias.

Bias Score

Untuk penilaian kuantitatif tingkat prasangka, diperkenalkan metrik khusus — skor bias (bias score). Secara umum, bias score mencerminkan persentase jawaban model (di antara jawaban yang salah atau semua jawaban, tergantung kondisinya) yang sesuai dengan stereotip.

• Nilai +100% berarti model dalam semua kasus memilih pilihan jawaban yang secara stereotip mengaitkan kualitas negatif dengan kelompok target.
• 0% — tidak ada manifestasi bias (model selalu menjawab benar/"tidak diketahui", atau membuat kesalahan secara merata ke kedua arah).
• Skor negatif (hingga -100%) — kecenderungan berlawanan, di mana model selalu menjawab melawan ekspektasi stereotip.

Skor dihitung secara terpisah untuk konteks ambigu dan konteks disambiguasi, karena sifat kesalahan dalam keduanya berbeda.

• Untuk pertanyaan ambigu, bias score ditentukan oleh proporsi kasus di mana model, alih-alih memilih "tidak diketahui", memilih jawaban spesifik yang sesuai dengan stereotip negatif. Semakin sering jawaban semacam itu, semakin tinggi skor positifnya. Dalam hal ini, akurasi juga diperhitungkan: jika model membuat kesalahan secara merata dan menjawab dengan benar ("tidak diketahui"), maka meskipun ada beberapa kesalahan stereotip, skornya akan lebih rendah daripada model yang selalu memilih jawaban stereotip. Dengan demikian, frekuensi dan keyakinan jawaban bias sama-sama dikenai penalti (untuk konteks ambigu, metrik diskalakan dengan mempertimbangkan persentase jawaban "tidak diketahui" yang benar).
• Untuk pertanyaan disambiguasi, bias score dihitung sedikit berbeda, karena di sini jawaban yang benar adalah salah satu kelompok. Dalam kasus ini, perhatian difokuskan pada jawaban yang salah dari model: proporsi kesalahan di mana model tidak memilih opsi yang benar, melainkan opsi alternatif yang sesuai dengan stereotip. Dengan kata lain, jika model melakukan kesalahan dengan mengutamakan prasangka (misalnya, tidak mempercayai fakta dan menjawab berdasarkan stereotip), hal ini meningkatkan skor.

Analisis bias score bersama akurasi keseluruhan memungkinkan karakterisasi mendetail perilaku model pada BBQ. Para penulis menunjukkan bahwa akurasi yang sama dapat menyembunyikan sifat kesalahan yang berbeda. Dengan demikian, metrik ini menunjukkan arah kesalahan dan mengungkap kasus-kasus halus yang tidak terlihat dari akurasi semata.

Hasil dan Pola yang Teridentifikasi

Pengujian awal beberapa model QA populer pada dataset BBQ menunjukkan sejumlah manifestasi bias yang jelas. Dalam penelitian Parrish dkk. (2022), diuji baik model universal besar (misalnya, UnifiedQA — model QA umum berbasis T5) maupun model multiple-choice terstandarisasi (misalnya, RoBERTa dengan fine-tuning untuk QA).

Temuan utama berdasarkan hasil eksperimen:

• Kesalahan stereotip yang kuat ketika informasi tidak mencukupi. Pada semua sistem yang diuji, terdapat kecenderungan untuk menjawab sesuai dengan stereotip ketika konteks tidak memberikan petunjuk yang diperlukan. Dengan kata lain, model sering tidak memilih pilihan "tidak diketahui", melainkan lebih memilih jawaban spesifik yang berkorelasi dengan ekspektasi stereotip tertentu. Misalnya, dalam pertanyaan ambigu tentang kejahatan tanpa pelaku yang jelas, model sering menunjuk individu dari kelompok tertentu (yang sesuai dengan prasangka). Bias score yang dihitung untuk konteks ambigu ternyata jauh di atas nol, dan dalam beberapa kategori pada beberapa model mendekati +100%. Kecenderungan jawaban stereotip yang sangat tinggi ditunjukkan oleh model pada skenario yang berkaitan dengan penampilan fisik (obesitas, dll.) — kategori ini menghasilkan bias yang jauh lebih besar dibandingkan, misalnya, ras atau orientasi seksual. Ini menunjukkan heterogenitas bias di dalam model — beberapa jenis stereotip lebih "terinternalisasi" dibandingkan yang lain.
• Peningkatan ketika fakta tersedia, namun bias tersembunyi tetap ada. Ketika model menerima konteks disambiguasi dengan indikasi jawaban yang benar secara eksplisit, akurasi mereka meningkat secara signifikan (dibandingkan dengan situasi ketidakpastian). Namun, analisis mendetail mengungkap efek halus: akurasi ternyata tidak merata tergantung pada hubungan jawaban yang benar dengan stereotip. Rata-rata, model mencapai akurasi 3-3,5 poin persentase lebih tinggi pada contoh-contoh di mana jawaban yang benar sesuai dengan stereotip yang umum, dibandingkan dengan contoh-contoh di mana jawaban yang benar bertentangan dengan stereotip tersebut. Dengan kata lain, ketika fakta mengonfirmasi prasangka, model hampir tanpa kesalahan memberikan jawaban; tetapi jika diperlukan untuk menyebut varian yang "tidak khas" bagi stereotip, probabilitas kesalahan meningkat. Kesenjangan dalam kinerja ini, meskipun tidak besar, secara statistis muncul di banyak kategori. Perbedaan terbesar tercatat untuk pertanyaan yang berkaitan dengan stereotip gender: hingga 5 poin persentase. Dengan demikian, pengaruh tersembunyi dari bias dapat ditelusuri: model rata-rata bekerja sedikit lebih buruk "melawan stereotip".
• Perbandingan antar kategori dan template. Para peneliti BBQ menganalisis bias score berdasarkan semua sembilan kategori dan menemukan bahwa dalam konteks ambigu, indikator tersebut positif di semua kategori, namun besarnya bervariasi. Seperti disebutkan, bias maksimum terlihat pada kategori penampilan fisik, status sosial-ekonomi, dan beberapa kategori interseksional. Bias score yang lebih "rendah", meskipun tetap tidak nol, ditemukan pada kategori ras/etnis dan orientasi seksual. Dalam konteks disambiguasi, bias score secara keseluruhan lebih mendekati nol (karena model sering menjawab dengan benar), namun untuk beberapa template tetap positif, mencerminkan kemiringan yang nyata dalam sifat kesalahan yang dibuat. Misalnya, dalam kategori agama, sebagian besar kesalahan mengarah ke satu sisi — model, ketika melakukan kesalahan, biasanya memilih jawaban berdasarkan prasangka.

Secara keseluruhan, BBQ menunjukkan bahwa bahkan model bahasa modern yang kuat pun jelas tidak bebas dari prasangka sosial. Model-model tersebut cenderung mereproduksi stereotip ketika ditempatkan dalam kondisi ketidakpastian, dan dapat menunjukkan bias halus bahkan ketika fakta mengharuskan jawaban sebaliknya. Pada saat yang sama, besaran efek ini tidak sama untuk kelompok yang berbeda: beberapa stereotip lebih "terinternalisasi" oleh model. Para penulis BBQ menekankan bahwa perbedaan yang teridentifikasi, meskipun nyata, tidak berukuran besar secara katastrofis — bias score sebagian besar model tidak mencapai nilai ekstrem, dan seringkali berada di kisaran beberapa puluh persen. Namun demikian, bahkan penyimpangan sistematis kecil menuju stereotip berpotensi berbahaya dengan penggunaan LLM secara masif, sehingga mengidentifikasi dan menghilangkan bias tersebut merupakan tugas penting. BBQ memberi para peneliti cara yang jelas dan terukur secara kuantitatif untuk memantau kemajuan di bidang ini.

Dampak dan Penelitian Lanjutan

Dataset BBQ dengan cepat mendapat pengakuan sebagai alat standar untuk mengevaluasi karakteristik fairness model bahasa. Kode sumber dan datanya yang terbuka tersedia di repositori (lisensi CC BY 4.0), yang memungkinkan audiens peneliti yang luas menggunakan BBQ dalam pengembangan dan pengujian model baru. Dalam sejumlah tinjauan, BBQ disebutkan bersama benchmark lainnya (misalnya, StereoSet, WinoBias, ToxiGen) sebagai tonggak penting dalam studi social bias dalam NLP. Sejak publikasi BBQ, muncul karya-karya yang mengembangkan ide-idenya dan mengadaptasinya untuk kondisi baru:

• Perluasan format pertanyaan (Open-BBQ). BBQ orisinal menawarkan tugas dalam format pilihan ganda. Pada tahun 2024, diusulkan modifikasi BBQ untuk jawaban terbuka, termasuk tugas pengisian teks rumpang dan teks jawaban singkat. Versi ini, yang secara konvensional disebut Open-BBQ, memungkinkan evaluasi bias dalam kondisi dialog yang lebih bebas, di mana model tidak memiliki pilihan jawaban yang tetap. Penelitian menunjukkan bahwa LLM dalam menghasilkan teks bebas juga menunjukkan bias yang meningkat terhadap sejumlah kelompok. Para penulis Open-BBQ juga bereksperimen dengan metode mitigasi bias, mengombinasikan zero-shot dan few-shot prompting serta chain-of-thought (penalaran langkah demi langkah). Metode-metode ini memungkinkan penurunan tingkat bias dalam jawaban secara signifikan. Open-BBQ melengkapi dataset orisinal dengan memungkinkan pengujian model generatif dalam format yang lebih dekat dengan permintaan pengguna.

• Adaptasi budaya (lokalisasi). Karena BBQ terikat pada realitas sosial Amerika Serikat, para peneliti tertarik pada adaptasinya untuk bahasa dan budaya lain. Pada tahun 2023, para ilmuwan Korea mempresentasikan dataset KoBBQ (Korean BBQ) — analog Korea dari Bias Benchmark. Mereka mengembangkan pendekatan umum untuk lokalisasi BBQ: membagi template sumber menjadi tiga kategori — yang dapat diterjemahkan begitu saja, yang memerlukan penggantian kelompok dengan padanan lokal, dan yang sama sekali tidak berlaku dalam konteks Korea. Selain itu, KoBBQ memperkenalkan 4 kategori stereotip baru yang spesifik untuk masyarakat Korea, dan menghapus sejumlah contoh yang tidak relevan. Hasilnya adalah dataset yang terdiri dari 268 template dan 76.048 contoh dalam bahasa Korea, mencakup 12 kategori social bias (termasuk yang orisinal dan yang baru). Pengujian model multibahasa pada KoBBQ mengungkap perbedaan signifikan dalam tingkat prasangka dibandingkan dengan terjemahan mesin langsung dari BBQ orisinal ke dalam bahasa Korea. Hal ini menegaskan bahwa terjemahan langsung tidak cukup — diperlukan benchmark yang spesifik secara budaya, yang mempertimbangkan stereotip unik dan konteks masing-masing negara. Pekerjaan pada KoBBQ menunjukkan kemungkinan untuk menskalakan metodologi BBQ secara global.

BBQ telah menjadi bagian integral dari penelitian tentang etika kecerdasan buatan. Pengaruhnya terlihat dalam kemunculan metode-metode baru untuk de-biasing model, pembangunan dataset yang lebih inklusif, dan metrik untuk analisis bias yang lebih mendalam. Para peneliti mencatat bahwa salah satu kekuatan BBQ adalah keluasan cakupan dan ketelitian konstruksi contoh-contohnya. Sebagai respons terhadap tantangan yang diidentifikasi oleh BBQ, belakangan ini strategi pengurangan bias secara aktif dikembangkan — mulai dari penyaringan data pelatihan hingga algoritma pasca-pemrosesan khusus dan fine-tuning LLM untuk menghasilkan jawaban yang adil.

Sebagai kesimpulan, BBQ (Bias Benchmark for QA) telah membuktikan dirinya sebagai alat yang berharga dan andal untuk mengukur prasangka sosial dalam model bahasa. BBQ memberikan kepada komunitas peneliti seperangkat pemeriksaan standar yang memungkinkan perbandingan model dari segi stereotip dan pemantauan kemajuan dalam meningkatkan ketidakberpihakan model. BBQ terus berkembang dan beradaptasi, mencerminkan minat global dalam menciptakan sistem AI yang lebih adil dan aman, yang bebas dari bias berbahaya yang tidak terlihat namun signifikan.

Tautan

• Artikel orisinal BBQ (arXiv)
• Repositori BBQ di GitHub
• Halaman dataset BBQ di Papers With Code
• Artikel BBQ di ACL Anthology
• Artikel tentang dataset KoBBQ (arXiv)
• Artikel tentang dataset Open-BBQ (arXiv)

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Catatan

</references>