HellaSwag Benchmark (UR)

HellaSwag — یہ ایک معیاری ڈیٹاسیٹ (benchmark) ہے جو 2019 میں مصنوعی ذہانت کے ماڈلز کی روزمرہ حالات کو سمجھنے کی صلاحیت (commonsense reasoning) کی جانچ کے لیے پیش کیا گیا۔ یہ benchmark واشنگٹن یونیورسٹی اور Allen Institute for Artificial Intelligence کے محققین کے ایک گروپ نے تیار کیا تھا۔

HellaSwag کا کام یہ ہے کہ دیے گئے متنی سیاق و سباق کے لیے سب سے زیادہ قابلِ یقین اختتام کا انتخاب کیا جائے۔ اس dataset کی اہم خصوصیت یہ ہے کہ یہ انسان کے لیے انتہائی آسان ہے، لیکن یہاں تک کہ جدید ترین language models کو بھی الجھن میں ڈال دیتا ہے، جو سطحی اعداد و شمار کے نمونوں پر انحصار کرتے ہیں۔

تاریخ اور پس منظر

HellaSwag اسی مصنفین کے گروپ کی طرف سے 2018 میں پیش کردہ dataset SWAG (Situations With Adversarial Generations) کے خیالات کی ترقی ہے۔ SWAG کے کام میں ماڈلز کو کسی سادہ صورتِ حال کی وضاحت کے لیے سب سے زیادہ ممکنہ تسلسل کا انتخاب کرنا ہوتا تھا۔ ابتدائی طور پر SWAG الگورتھمز کے لیے مشکل تھا، لیکن BERT ماڈل کے آنے کے ساتھ SWAG پر اس کے نتائج ~86% تک پہنچ گئے، جو تقریباً انسانی سطح کے برابر ہو گئے۔

اس کامیابی نے شکوک پیدا کیے: کیا BERT واقعی متن کو سمجھتا ہے، یا اس نے صرف dataset میں موجود اعداد و شمار کے آثار اور نمونوں کو پہچاننا سیکھا ہے؟ HellaSwag کے مصنفین نے یہ مفروضہ پیش کیا کہ BERT کا اعلیٰ نتیجہ حقیقی سمجھ بوجھ کی وجہ سے نہیں بلکہ dataset کی خصوصیات سے مطابقت پیدا کرنے کی وجہ سے ہے۔ انہوں نے ظاہر کیا کہ ڈیٹا کی تقسیم میں معمولی تبدیلی پر BERT کی درستگی تیزی سے گر جاتی ہے۔ اس کا مطلب تھا کہ NLP میں ترقی کے معروضی جائزے کے لیے ایک نیا، زیادہ مشکل اور پیچیدہ benchmark درکار تھا۔

Dataset کی وضاحت اور اہداف

HellaSwag کو ایک ایسے ٹیسٹ کے طور پر بنایا گیا تھا جو جدید ماڈلز کی سبب و نتیجہ کے تعلقات اور روزمرہ کے منظرناموں کو سمجھنے میں محدودیتوں کو ظاہر کرے۔

کام کا ڈھانچہ

HellaSwag میں ہر مثال دو حصوں پر مشتمل ہے:

1. سیاق و سباق: ایک مختصر پیراگراف (تین جملوں تک)، جو کسی صورتِ حال کے آغاز کی وضاحت کرتا ہے۔
2. چار اختتامی اختیارات: کہانی کے چار ممکنہ تسلسل، جو کئی جملوں پر مشتمل ہیں۔

ان اختتاموں میں سے صرف ایک درست (حقیقی) ہے، جبکہ باقی تین غلط ہیں، جو خاص طور پر ماڈل کو الجھانے کے لیے تیار کیے گئے ہیں۔

ڈیٹا کے ذرائع

صورتِ حال کی مثالیں دو ذرائع سے لی گئی تھیں، جو روزمرہ منظرناموں کا وسیع دائرہ احاطہ کرتی ہیں:

• ActivityNet Captions: ویڈیوز سے اعمال کی وضاحتیں (مثلاً، «آدمی اچار کا ڈبہ کھول رہا ہے»)۔
• WikiHow: مضامین کی ہدایات (مثلاً، «گاڑی کا پہیہ کیسے بدلیں»)۔

HellaSwag کا مقصد ایک ایسا benchmark بنانا تھا جسے انسان (بدیہی طور پر) آسانی سے حل کر لے، لیکن ان ماڈلز کے لیے زیادہ سے زیادہ مشکل بنائے جو مکمل عقلِ عام نہیں رکھتے۔ مصنفین نے اس اثر کو «Goldilocks effect» کا نام دیا۔

Adversarial Filtering (AF) کا طریقہ کار

HellaSwag کی تخلیق میں سب سے اہم جدت Adversarial Filtering (AF) کا طریقہ تھا — ایک مخصوص ماڈل (شکار) کے لیے «جال» کا تکراری انتخاب۔ اس طریقے نے ایسے غلط اختیارات بنانا ممکن کیا جو اعداد و شمار کے ماڈلز کی نظر میں درست سے دھوکہ دہی کی حد تک ملتے جلتے ہیں۔

AF کے کام کی سکیم اس طرح ہے:

1. تخلیق۔ اصل سیاق و سباق کی بنیاد پر، ایک language model-generator (مثلاً GPT) بہت سے ممکنہ غلط اختتام تیار کرتا ہے۔
2. امتیاز۔ ایک classifier model (مثلاً BERT)، جو «شکار» کا کردار ادا کرتا ہے، تیار کردہ تسلسل کو حقیقی (درست) سے ممتاز کرنے کی کوشش کرتا ہے۔
3. انتخاب۔ وہ غلط اختیارات منتخب کیے جاتے ہیں جنہیں classifier نے سب سے زیادہ قابلِ یقین سمجھا، یعنی وہ جن پر اس نے سب سے زیادہ غلطی کی۔
4. تکرار۔ یہ عمل بار بار دہرایا جاتا ہے جب تک کہ غلط جوابات الگورتھم کے لیے درست سے زیادہ سے زیادہ ملتے جلتے نہ ہو جائیں۔
5. انسانی تصدیق۔ آخری مرحلے میں، تیار کردہ سیٹ (سیاق و سباق + 1 درست اختتام + 3 بہترین غلط) کا انسانوں کے ذریعے جائزہ لیا جاتا ہے۔ جائزہ لینے والے اس بات کی تصدیق کرتے ہیں کہ درست اختیار یقینی طور پر سب سے زیادہ فطری ہے، اور تمام متبادلات میں کوئی نہ کوئی ایسی غیر منطقی بات ہے جو انسان کو نظر آتی ہے۔

AF کی بدولت، HellaSwag میں ہر مثال شروع سے ہی اس طرح بنائی گئی ہے کہ ماڈل کو گمراہ کرے، لیکن انسان کے لیے شفاف رہے۔

نتائج اور اہمیت

HellaSwag متن کو سمجھنے کے ماڈلز کے لیے ایک سخت آزمائش بن گیا۔ ٹیسٹنگ کے نتائج نے مشینی اور انسانی ذہانت کے درمیان بہت بڑا فرق ظاہر کیا:

• انسان HellaSwag کے کام تقریباً بے خطا حل کرتا ہے، تقریباً 95-96% درستگی کے ساتھ۔
• تخلیق کے وقت کا بہترین ماڈل، BERT-Large، صرف ~47% درستگی تک پہنچا۔ آسان طریقوں نے اتفاقی اندازے (25%) سے کچھ ہی زیادہ نتیجہ دکھایا۔

45 فیصدی پوائنٹس سے زیادہ کے فرق نے اس مفروضے کی تصدیق کی کہ پچھلے ٹیسٹوں میں اعلیٰ نتائج کا مطلب حقیقی سمجھ بوجھ نہیں تھا۔ HellaSwag نے ظاہر کیا کہ بڑے پیمانے پر ڈیٹا پر تربیت کے بعد بھی ماڈلز نئی صورتِ حال کے لیے عمومی عقلِ عام پیدا نہیں کر سکتے۔

بعد کے برسوں میں HellaSwag نئے language models کے معیاری ٹیسٹوں میں شامل ہو گیا۔ AI سسٹمز کی ترقی کو اس benchmark پر ان کے نتائج سے ٹریک کیا جا سکتا تھا۔

• 2020 میں GPT-3 ماڈل (175 ارب parameters) نے few-shot موڈ میں ~79% درستگی ظاہر کی، جو اس دور کے بہت سے خصوصی ماڈلز کی سطح سے زیادہ تھی، لیکن پھر بھی انسان سے نمایاں طور پر کم تھی۔
• صرف 2023 میں نئی نسل کے ماڈلز، جیسے GPT-4، HellaSwag پر انسانی سطح کے قابل موازنہ نتیجہ (تقریباً 95% درستگی) حاصل کر سکے۔

HellaSwag کی تخلیق نے NLP میں ترقی کی جانچ کے لیے ایک نیا انداز متعارف کرایا، جو ارتقا پذیر benchmarks کے خیال پر مبنی ہے: جیسے جیسے ماڈلز بہتر ہوتے ہیں، ان کی کمزوریاں ظاہر کرنے کے لیے نئے، زیادہ مشکل ٹیسٹ بنانا ضروری ہے۔

روابط

• HellaSwag منصوبے کی سرکاری ویب سائٹ
• سائنسی مضمون «HellaSwag: Can a Machine Really Finish Your Sentence?»

ادبیات

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.