HellaSwag Benchmark (HI)
HellaSwag — यह एक मानक डेटा संग्रह (benchmark) है, जिसे 2019 में कृत्रिम बुद्धिमत्ता मॉडलों की रोजमर्रा की स्थितियों को समझने की क्षमता (commonsense reasoning) का प्राकृतिक भाषा में मूल्यांकन करने के लिए प्रस्तुत किया गया था[1]। यह benchmark वाशिंगटन विश्वविद्यालय और Allen Institute for Artificial Intelligence के शोधकर्ताओं के एक समूह द्वारा विकसित किया गया था।
HellaSwag का कार्य किसी दिए गए पाठ्य संदर्भ के लिए सबसे प्रशंसनीय समापन का चयन करना है। इस dataset की मुख्य विशेषता यह है कि यह मनुष्य के लिए तुच्छ है, लेकिन यहाँ तक कि उन्नत भाषा मॉडलों को भी भ्रमित कर देता है, जो सतही सांख्यिकीय पैटर्न पर निर्भर करते हैं[2]।
इतिहास और पृष्ठभूमि
HellaSwag, उन्हीं लेखकों के समूह द्वारा 2018 में प्रस्तावित SWAG (Situations With Adversarial Generations) dataset के विचारों का विकास है। SWAG के कार्य में मॉडलों को एक साधारण स्थिति के वर्णन के लिए सबसे संभावित जारी रखने का चयन करना होता था। प्रारंभ में SWAG एल्गोरिदम के लिए कठिन था, लेकिन BERT मॉडल के आने के बाद SWAG पर उसके परिणाम ~86% तक पहुँच गए, जो मानवीय स्तर के लगभग बराबर था[2]।
इस सफलता ने संदेह उत्पन्न किया: क्या BERT वास्तव में पाठ को "समझता" है, या उसने केवल dataset में मौजूद सांख्यिकीय कलाकृतियों और पैटर्न को पहचानना सीख लिया है? HellaSwag के लेखकों ने यह परिकल्पना प्रस्तुत की कि BERT का उच्च परिणाम वास्तविक समझ के कारण नहीं, बल्कि dataset की विशेषताओं के अनुकूलन के कारण है। उन्होंने दिखाया कि डेटा के वितरण में थोड़े से भी परिवर्तन पर BERT की सटीकता तेजी से गिर जाती है। इसका अर्थ था कि NLP में प्रगति के वस्तुनिष्ठ मूल्यांकन के लिए एक नए, अधिक जटिल और "पेचीदे" benchmark की आवश्यकता थी[2]।
Dataset का विवरण और उद्देश्य
HellaSwag को एक ऐसे परीक्षण के रूप में बनाया गया था जो आधुनिक मॉडलों की कारण-प्रभाव संबंधों और रोजमर्रा के परिदृश्यों को समझने में सीमाओं को उजागर करे।
कार्य की संरचना
HellaSwag में प्रत्येक उदाहरण दो भागों से बना है:
- संदर्भ: एक छोटा अनुच्छेद (तीन वाक्यों तक), जो किसी स्थिति की शुरुआत का वर्णन करता है।
- चार समापन विकल्प: कहानी के चार संभावित जारी रखने के तरीके, जो कई वाक्यों से भी बने होते हैं।
इन समापनों में से केवल एक सही (वास्तविक) है, और शेष तीन — झूठे हैं, जिन्हें विशेष रूप से मॉडल को भ्रमित करने के लिए बनाया गया है।
डेटा के स्रोत
स्थितियों के उदाहरण दो स्रोतों से लिए गए थे, जो रोजमर्रा के परिदृश्यों की एक विस्तृत श्रृंखला को कवर करते हैं:
- ActivityNet Captions: वीडियो से क्रियाओं के विवरण (उदाहरण के लिए, "एक व्यक्ति खीरे का जार खोलता है")।
- WikiHow: लेखों से निर्देश (उदाहरण के लिए, "कार का पहिया कैसे बदलें")।
HellaSwag का उद्देश्य एक ऐसा benchmark बनाना था जो मनुष्य के लिए (सहज रूप से) आसानी से हल हो जाए, लेकिन उन मॉडलों के लिए कार्य को अधिकतम कठिन बनाए जिनके पास पूर्ण सामान्य ज्ञान नहीं है। इस प्रभाव को लेखकों ने "Goldilocks effect" (Goldilocks effect) कहा[1]।
Adversarial Filtering (AF) की पद्धति
HellaSwag बनाते समय मुख्य नवाचार Adversarial Filtering (AF) की विधि थी — एक विशिष्ट "शिकार" मॉडल के लिए इरादे से बनाए गए "जाल" का पुनरावृत्तिपूर्ण चयन। इस विधि ने ऐसे झूठे विकल्प बनाने की अनुमति दी जो सांख्यिकीय मॉडलों के दृष्टिकोण से भ्रामक रूप से सही के समान दिखते हैं।
AF की कार्य योजना इस प्रकार है:
- उत्पादन। मूल संदर्भ के आधार पर, एक भाषा मॉडल-जनरेटर (उदाहरण के लिए, GPT) बड़ी संख्या में संभावित गलत समापन बनाता है।
- विभेदन। एक वर्गीकरणकर्ता मॉडल (उदाहरण के लिए, BERT), जो "शिकार" की भूमिका निभाता है, उत्पन्न जारी रखने को वास्तविक (सही) से अलग करने का प्रयास करता है।
- चयन। वे झूठे विकल्प चुने जाते हैं जिन्हें वर्गीकरणकर्ता ने सबसे अधिक प्रशंसनीय माना, अर्थात जिन पर उसने सबसे अधिक संभावना से गलती की।
- पुनरावृत्ति। यह प्रक्रिया कई बार दोहराई जाती है, जब तक कि झूठे उत्तर एल्गोरिदम के लिए सही उत्तर से अधिकतम समान नहीं हो जाते।
- मानव सत्यापन। अंतिम चरण में, प्राप्त संग्रहों (संदर्भ + 1 सही समापन + 3 सर्वश्रेष्ठ झूठे) का मूल्यांकन लोगों द्वारा किया जाता है। मूल्यांकनकर्ता पुष्टि करते हैं कि सही विकल्प स्पष्ट रूप से सबसे स्वाभाविक है, और सभी विकल्पों में कोई न कोई तार्किक विसंगति है जो मनुष्य को दिखाई देती है[2]।
AF की बदौलत, HellaSwag में प्रत्येक उदाहरण शुरू से ही इस तरह बनाया गया है कि मॉडल को भ्रमित करे, लेकिन साथ ही मनुष्य के लिए पारदर्शी बना रहे।
परिणाम और महत्व
HellaSwag पाठ समझ के मॉडलों के लिए एक कठोर परीक्षण बन गया। परीक्षण के परिणामों ने मशीनी और मानवीय बुद्धिमत्ता के बीच एक विशाल अंतर दिखाया:
- मनुष्य HellaSwag के कार्यों को लगभग बिना किसी त्रुटि के, लगभग 95-96% सटीकता के साथ हल करता है[2]।
- निर्माण के समय का सर्वश्रेष्ठ मॉडल, BERT-Large, केवल ~47% सटीकता तक पहुँचा। सरल तरीके यादृच्छिक अनुमान (25%) से थोड़ा ही बेहतर परिणाम दिखाते थे[2]।
45 प्रतिशत अंकों से अधिक के अंतर ने इस परिकल्पना की पुष्टि की कि पिछले परीक्षणों पर उच्च अंक वास्तविक समझ का संकेत नहीं थे। HellaSwag ने प्रदर्शित किया कि विशाल मात्रा में डेटा पर प्रशिक्षण के बाद भी मॉडल नई स्थितियों के लिए सामान्य सामान्य ज्ञान विकसित नहीं कर सकते।
बाद के वर्षों में HellaSwag नई भाषा मॉडलों के लिए मानक परीक्षणों में से एक बन गया। AI प्रणालियों की प्रगति को इस benchmark पर उनके परिणामों से ट्रैक किया जा सकता था।
- 2020 में GPT-3 मॉडल (175 अरब पैरामीटर) ने few-shot मोड में ~79% सटीकता दिखाई, जो उस दौर के कई विशेष मॉडलों के स्तर से अधिक थी, लेकिन फिर भी मनुष्य से काफी पीछे थी[3]।
- केवल 2023 में नई पीढ़ी के मॉडल, जैसे GPT-4, HellaSwag पर मानवीय स्तर के तुलनीय परिणाम प्राप्त कर सके (लगभग 95% सटीकता)[4]।
HellaSwag के निर्माण ने NLP में प्रगति के मूल्यांकन के लिए एक नया दृष्टिकोण चिह्नित किया, जो विकसित होते benchmarks के विचार पर आधारित है: जैसे-जैसे मॉडल बेहतर होते हैं, उनकी कमजोरियों को उजागर करने वाले नए, अधिक जटिल परीक्षण बनाना आवश्यक होता है।
संदर्भ
- HellaSwag परियोजना की आधिकारिक वेबसाइट
- वैज्ञानिक लेख «HellaSwag: Can a Machine Really Finish Your Sentence?»
साहित्य
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
टिप्पणियाँ
- ↑ 1.0 1.1 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [१]
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Zellers, R. et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv:1905.07830, 2019. [२]
- ↑ Brown, T. B. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165, 2020. [३]
- ↑ Zellers, R. et al. «HellaSwag Project Page». [४]