BIG-bench (benchmark) (TR)

BIG-bench (İngilizce Beyond the Imitation Game benchmark ifadesinin kısaltması) — büyük dil modellerinin (LLM) yeteneklerini ve sınırlarını değerlendirmek amacıyla oluşturulmuş kapsamlı bir görev kümesidir (benchmark). Proje, 2021–2022 yılları arasında Google himayesinde 132 kuruluştan 450'den fazla araştırmacının ortak çabasıyla geliştirilmiştir.

Benchmark, dilbilim, matematik, programlama, sağduyu, biyoloji, fizik ve sosyal önyargıların değerlendirmesi gibi geniş bir yelpazede alanı kapsayan 204 farklı görev içermektedir. BIG-bench'in temel amacı, "taklit oyununun" (Turing testi) ötesine geçmek ve modelleri mevcut mimariler için zor ya da çözümsüz kabul edilen görevler üzerinde sınamaktır. Benchmark, yalnızca mevcut yetenekleri ölçmekle kalmayıp, ölçek büyüdükçe gelecekteki olası kapasitelerini de tahmin etmeye yönelik tasarlanmıştır.

Geliştirme ve Yapı

BIG-bench'in oluşturulmasına öncülük eden Google araştırmacıları, bilim topluluğundan açık görev katkısı sağladı. Sonuç olarak, nihai kümeye onlarca bağımsız ekipten 204 görev dahil edildi. Her görev, LLM'ler için bir meydan okuma olarak tasarlanmış olup kendine özgü bir biçime ve değerlendirme ölçütüne sahiptir (örneğin, seçim doğruluğu veya serbest üretilmiş yanıtın puanlanması).

Görevler, standart akademik sorulardan alışılmadık bulmacalara kadar geniş bir yelpazede değişmektedir; örneğin:

• Matematik ve mantık problemlerini çözme.
• Emoji dizilerini anlama.
• Metin açıklamasıyla satranç problemlerini çözme.
• Modelin yanıtlarındaki sosyal kalıp yargıları tespit etme.

Benchmark'ın tamamı ve kaynak kodu GitHub üzerinde açık erişime sunulmuştur; bu sayede araştırmacılar yeni modelleri test edebilmekte ve ek görevler önerebilmektedir.

Model Değerlendirmesi ve İnsan Temel Düzeyi

2022 yılındaki özgün çalışmada, OpenAI'ın GPT ailesi ile Google'ın PaLM ve Switch Transformers gibi yoğun ve seyrek modelleri dahil olmak üzere kapsamlı bir model testi gerçekleştirildi.

Sonuçları karşılaştırmak için insan temel düzeyi belirlendi. Uzman değerlendiriciler, mevcut kaynaklarını kullanarak tüm görevleri tamamladı. İki gösterge tanımlandı:

• Uzman ortalama puanı: koşullu normalizasyonda yaklaşık 45/100.
• Uzman en iyi puanı: yaklaşık 80/100 (en az bir uzmanın görevi en iyi biçimde çözdüğü durum).

O dönemde en büyük modeller bile insanların çok gerisinde kaldı. Örneğin en iyi modeller (GPT-3 dahil) yalnızca yaklaşık 15/100 puan elde edebildi; bu durum, görevlerin ne denli zor olduğunu ve ileride ne kadar büyük bir ilerleme potansiyelinin bulunduğunu açıkça ortaya koydu.

Temel Sonuçlar ve Bulgular

BIG-bench sonuçlarının analizi birkaç temel örüntü ortaya koydu:

1. Ölçeğin etkisi. Model doğruluğu, neredeyse tüm görev kategorilerinde parametre sayısının artmasıyla birlikte yükselmektedir.
2. Ortaya çıkan yetenekler (Emergent behavior). Pek çok görevde modellerin performansı uzun süre rastgele tahmin düzeyinde kalırken, belirli bir "kritik" ölçeğe ulaşıldığında kalitede ani bir sıçrama yaşanmaktadır. Bu olgu ortaya çıkan davranış (emergent behavior) olarak adlandırılmıştır.
3. Sosyal önyargılar (bias). Model boyutu arttıkça, eğitim verilerinden edinilmiş sosyal kalıp yargılarının tezahürü de artabilmektedir. Ancak doğru prompt formülasyonunun (prompting) bu etkiyi azaltabileceği gösterilmiştir.

Benchmark'ın Evrimi

Modeller güçlendikçe BIG-bench'teki bazı görevler artık zorlayıcı olmaktan çıktı. Bu durum, daha güç alt kümelerin oluşturulmasına yol açtı.

Big-bench Hard (BBH)

2022 yılında araştırmacılar, tüm modellerin başlangıçta ortalama insan düzeyinin altında kaldığı 23 en zor görevi belirledi. Bu küme BIG-bench Hard (BBH) adını aldı. Deneyler, modelin yanıt vermeden önce bir akıl yürütme zinciri oluşturduğu Chain-of-Thought (CoT) tekniğinin kullanımının performansı belirgin biçimde artırdığını gösterdi. CoT sayesinde PaLM modeli (540 milyar parametre) 23 görevden 10'unda ortalama insan sonucunu geçebildi; Codex (GPT-3'ün bir sürümü) ise 23 görevden 17'sinde bu başarıyı elde etti.

Big-bench Extra Hard (BBEH)

2024 yılına gelindiğinde, BBH'deki görevler bile gelişmiş modeller tarafından çözülmeye başlanınca bir sonraki aşama önerildi: BIG-bench Extra Hard (BBEH). DeepMind'dan araştırmacılar, BBH'deki 23 görevin her birini akıl yürütme türü bakımından benzer ancak çok daha karmaşık yeni görevlerle değiştirdi. BBEH üzerindeki ilk testler, en güçlü çağdaş LLM'lerin bile bu görevleri çözmekten uzak olduğunu gösterdi; bu durum gelecekteki modeller için uzun vadeli bir meydan okuma sunmaktadır.

Big-bench Lite (BBL)

Daha hızlı ve daha az kaynak gerektiren bir test için hafifletilmiş bir sürüm oluşturuldu: BIG-bench Lite (BBL). Bu sürüm, tam kümenin çeşitliliğini yansıtan 24 görevden oluşan bir örneklem sunmaktadır. BBL, geliştiricilerin modellerini hızlıca değerlendirmelerine ve bunları kamuya açık bir liderlik tablosunda karşılaştırmalarına olanak tanır.

Dış bağlantılar

• BIG-bench'in GitHub'daki resmi deposu
• Papers With Code'daki BIG-bench sayfası

Kaynakça

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.