HellaSwag Benchmark (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

HellaSwag — yapay zeka modellerinin doğal dilde günlük durumları anlama yeteneğini (commonsense reasoning) değerlendirmek amacıyla 2019 yılında tanıtılmış bir referans veri kümesidir (benchmark)[1]. Benchmark, Washington Üniversitesi ve Allen Yapay Zeka Enstitüsü'nden bir araştırmacı grubu tarafından geliştirilmiştir.

HellaSwag'ın görevi, verilen bir metin bağlamı için en makul tamamlamayı seçmektir. Veri kümesinin temel özelliği, insan için son derece kolay olmasına karşın yüzeysel istatistiksel kalıplara dayanan gelişmiş dil modellerini bile çıkmaza sokmasıdır[2].

Tarihçe ve Ön Koşullar

HellaSwag, 2018 yılında aynı yazar grubu tarafından önerilen SWAG (Situations With Adversarial Generations) dataset'inin fikirlerinin bir gelişimidir. SWAG görevinde modellerin, basit bir durumun tanımı için en olası devamı seçmesi gerekiyordu. Başlangıçta SWAG algoritmalar için zordu; ancak BERT modelinin ortaya çıkmasıyla birlikte SWAG üzerindeki sonuçları insanlarınkiyle neredeyse eşitlenerek ~%86 düzeyine ulaştı[2].

Bu başarı beraberinde şüpheleri getirdi: BERT metni gerçekten mi "anlıyor", yoksa yalnızca veri kümesinde bulunan istatistiksel artefaktları ve kalıpları tanımayı mı öğrendi? HellaSwag yazarları, BERT'in yüksek sonucunun gerçek bir anlayıştan değil, dataset'in özelliklerine uyum sağlamaktan kaynaklandığını öne sürdü. Veri dağılımında en küçük bir değişiklik yapıldığında BERT'in doğruluğunun keskin biçimde düştüğünü gösterdiler. Bu durum, NLP'deki ilerlemenin nesnel olarak değerlendirilebilmesi için yeni, daha zor ve "kurnazca" tasarlanmış bir benchmark'a ihtiyaç duyulduğu anlamına geliyordu[2].

Veri Kümesinin Tanımı ve Amaçları

HellaSwag, modern modellerin neden-sonuç ilişkilerini ve günlük hayat senaryolarını anlama konusundaki sınırlamalarını ortaya çıkarmak amacıyla tasarlanmış bir test olarak oluşturulmuştur.

Görev Yapısı

HellaSwag'daki her örnek iki bölümden oluşur:

  1. Bağlam: Belirli bir durumun başlangıcını tanımlayan kısa bir paragraf (üç cümleye kadar).
  2. Dört tamamlama seçeneği: Hikâyenin birkaç cümleden oluşan dört olası devamı.

Bu tamamlamalardan yalnızca biri doğrudur (gerçek), diğer üçü ise modeli yanıltmak amacıyla özel olarak üretilmiş sahte seçeneklerdir.

Veri Kaynakları

Durum örnekleri, geniş bir günlük yaşam senaryosu yelpazesini kapsayan iki kaynaktan alınmıştır:

  • ActivityNet Captions: Video kliplerden alınan eylem açıklamaları (örneğin, "bir kişi turşu kavanozu açıyor").
  • WikiHow: Makalelerden alınan talimatlar (örneğin, "arabada lastik nasıl değiştirilir").

HellaSwag'ın amacı, insanın sezgisel olarak kolayca çözdüğü ancak tam anlamıyla sağduyudan yoksun modeller için görevi azami ölçüde zorlaştıran bir benchmark oluşturmaktır. Yazarlar bu etkiyi "Goldilocks etkisi" (Goldilocks effect) olarak adlandırmıştır[1].

Adversarial Filtering (AF) Yöntemi

HellaSwag'ın oluşturulmasındaki temel yenilik, belirli bir "kurban" modele yönelik "tuzakların" yinelemeli olarak seçilmesi olan Adversarial Filtering (AF) yöntemiydi. Bu yöntem, istatistiksel modeller açısından doğru seçeneklere aldatıcı biçimde benzeyen sahte seçenekler oluşturmayı mümkün kıldı.

AF'nin çalışma şeması aşağıdaki gibidir:

  1. Üretim. Özgün bağlama dayanarak bir üretici dil modeli (örneğin GPT), çok sayıda potansiyel yanlış son oluşturur.
  2. Ayrıştırma. "Kurban" rolünü üstlenen bir sınıflandırıcı model (örneğin BERT), üretilmiş devamları gerçek (doğru) olandan ayırt etmeye çalışır.
  3. Seçim. Sınıflandırıcının en makul bulduğu, yani en yüksek olasılıkla yanıldığı sahte seçenekler elenerek tutulur.
  4. Yineleme. Sahte yanıtlar algoritma açısından doğru yanıta azami ölçüde benzeyene kadar süreç defalarca tekrarlanır.
  5. İnsan doğrulaması. Son aşamada elde edilen kümeler (bağlam + 1 doğru son + 3 en iyi sahte son) insanlar tarafından değerlendirilir. Değerlendiriciler, doğru seçeneğin tartışmasız biçimde en doğal seçenek olduğunu ve tüm alternatiflerin insan tarafından fark edilebilecek bir tutarsızlık içerdiğini onaylar[2].

AF sayesinde HellaSwag'daki her örnek, baştan itibaren modeli yanıltacak şekilde kurgulanmış olup aynı zamanda insan için şeffaf kalmaya devam etmektedir.

Sonuçlar ve Önemi

HellaSwag, metin anlama modelleri için zorlu bir sınav haline geldi. Test sonuçları, makine ve insan zekâsı arasındaki büyük uçurumu gözler önüne serdi:

  • İnsan, HellaSwag görevlerini yaklaşık %95-96 doğrulukla neredeyse hatasız biçimde çözmektedir[2].
  • Oluşturulduğu dönemdeki en iyi model olan BERT-Large yalnızca ~%47 doğruluğa ulaşabildi. Daha basit yöntemler ise rastgele tahmin düzeyinin (%25) yalnızca biraz üzerinde sonuç verdi[2].

45 yüzde puanını aşan bu uçurum, önceki testlerdeki yüksek skorların gerçek bir anlayış anlamına gelmediği hipotezini doğruladı. HellaSwag, modellerin devasa veri kümeleri üzerinde eğitildikten sonra bile yeni durumlar için genel sağduyuyu geliştiremediğini ortaya koydu.

Sonraki yıllarda HellaSwag, yeni dil modelleri için standart testler arasına girdi. Yapay zeka sistemlerinin ilerleyişi bu benchmark üzerindeki sonuçlarla takip edilebilir hale geldi.

  • 2020 yılında GPT-3 modeli (175 milyar parametre), few-shot modunda ~%79 doğruluk elde etti; bu sonuç, o dönemdeki pek çok özelleşmiş modelin üzerindeydi, ancak insan performansının hâlâ oldukça gerisindeydi[3].
  • Yalnızca 2023 yılında, GPT-4 gibi yeni nesil modeller HellaSwag'da insanla karşılaştırılabilir bir sonuca (yaklaşık %95 doğruluk) ulaşmayı başardı[4].

HellaSwag'ın oluşturulması, NLP'deki ilerlemenin değerlendirilmesine yönelik evrimleşen benchmark'lar fikrine dayanan yeni bir yaklaşımı simgeledi: modeller geliştikçe, zayıf noktalarını ortaya çıkaran yeni ve daha zorlu testler oluşturmak gerekmektedir.

Dış bağlantılar

  • HellaSwag projesinin resmi web sitesi
  • «HellaSwag: Can a Machine Really Finish Your Sentence?» başlıklı bilimsel makale

Kaynakça

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Notlar

  1. ↑ 1.0 1.1 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv:1905.07830, 2019. [2]
  3. ↑ Brown, T. B. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165, 2020. [3]
  4. ↑ Zellers, R. et al. «HellaSwag Project Page». [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=HellaSwag_Benchmark_(TR)&oldid=2852"