WinoGrande Benchmark (UR)
WinoGrande — یہ ایک بڑے پیمانے کا معیاری dataset ہے جو مصنوعی ذہانت کے نظاموں کی عقلِ عام پر مبنی استدلال کی صلاحیت کو جانچنے کے لیے بنایا گیا ہے۔ اس میں تقریباً 44,000 سوالات ہیں جو Winograd Schema Challenge (WSC) کی شکل پر مبنی ہیں، لیکن انہیں ادویرسیریل (adversarial) فلٹرنگ کے طریقے سے اعداد و شمار کی رہنمائیوں کو ختم کر کے کافی وسیع اور پیچیدہ بنایا گیا ہے[1]۔
یہ dataset سنہ 2019 میں Allen Institute for AI اور یونیورسٹی آف واشنگٹن کے محققین کے ایک گروہ نے تیار کیا تھا۔ ہر سوال ایک ایسے جملے پر مشتمل ہوتا ہے جس میں ایک خالی جگہ ہوتی ہے جسے دو اختیارات میں سے ایک سے بھرنا ہوتا ہے، اور صحیح اختیار کا انتخاب سیاق و سباق اور صورتِ حال کی سمجھ کی بنیاد پر کیا جاتا ہے۔ WinoGrande قدرتی زبان کی پروسیسنگ (NLP) کے شعبے میں ایک اہم benchmark بن گیا ہے[2]۔
WSC کا متروک ہونا: تخلیق کے محرکات
اصل Winograd Schema Challenge (WSC)، جو 2011 میں پیش کیا گیا تھا، صرف 273 سوالات پر مشتمل تھا اور طویل عرصے تک عقلِ عام کا ایک قابلِ اعتماد امتحان سمجھا جاتا رہا۔ اس کے سوالات اس طرح بنائے گئے تھے کہ انہیں حل کرنے کے لیے دنیا کو سمجھنا ضروری ہو، نہ کہ محض الفاظ کا ملان کافی ہو[3]۔
تاہم 2018–2019 تک، transformer فن تعمیر پر مبنی بڑے language models جیسے BERT کے ظہور کے ساتھ، صورتِ حال بدل گئی۔ ماڈلز نے اس امتحان کو "توڑنا" سیکھ لیا اور ڈیٹا میں موجود غیر ارادی اعداد و شماری نمونوں (آرٹیفیکٹس) سے فائدہ اٹھا کر تقریباً 90% درستگی حاصل کرنے لگے، نہ کہ حقیقی فہم کی بنیاد پر[4]۔ WSC ایک قابلِ اعتماد اشاریے کے طور پر کام نہیں رہا تھا، جس کے نتیجے میں ایک نئے، زیادہ پیچیدہ اور وسیع benchmark — WinoGrande — کی ضرورت محسوس ہوئی۔
تخلیق اور adversarial filtering کا طریقہ
WinoGrande کی تخلیق دو بنیادی مراحل میں ہوئی: سوالات کی بڑے پیمانے پر تیاری اور پھر ان کی فلٹرنگ۔
کراؤڈ سورسنگ
پہلے مرحلے میں Amazon Mechanical Turk پلیٹ فارم کی مدد سے 47,000 سے زائد جملوں کا ایک بڑا ذخیرہ اکٹھا کیا گیا۔ کراؤڈ ورکرز نے Winograd اسکیم کے مطابق جملوں کے جوڑے بنائے، جس سے ماہرین کے ایک چھوٹے گروہ کی لکھی ہوئی مثالوں کے برعکس لسانی تنوع اور قدرتی بول چال کا "شور" حاصل ہوا[1]۔
AfLite الگورتھم
WinoGrande کی بنیادی اختراع AfLite (Adversarial Filtering Lite) الگورتھم تھا۔ یہ طریقہ ان سوالات کو خودکار طریقے سے ہٹانے کے لیے تیار کیا گیا تھا جنہیں عقلِ عام کی ضرورت کے بغیر محض سادہ اعداد و شماری رہنمائیوں سے حل کیا جا سکتا ہو۔ الگورتھم نے سادہ ماڈلز کا استعمال کرتے ہوئے ان مثالوں کی نشاندہی کی اور انہیں ہٹایا جہاں ایک جواب جملے کے دوسرے الفاظ سے بہت واضح طور پر منسلک تھا۔ مثلاً، یہ سوال "شیروں نے زیبراؤں کو کھا لیا کیونکہ وہ شکاری ہیں" فلٹر کر دیا جاتا، کیونکہ لفظ "شکاری" اعداد و شماری کے اعتبار سے "شیروں" سے گہرا تعلق رکھتا ہے۔
فلٹرنگ کے نتیجے میں جمع کیے گئے ڈیٹا کا تقریباً 14% حذف کر دیا گیا۔ dataset کے حتمی ورژن میں 43,972 سوالات شامل ہیں، جو اسے کہیں زیادہ قابلِ اعتماد اور مشکل امتحان بناتے ہیں[1]۔
ماڈلز کے نتائج اور پیشرفت
WinoGrande کے اجرا کے وقت اس وقت کے بہترین ماڈلز نے انسانی کارکردگی سے کہیں کم نتائج دکھائے۔
- RoBERTa (BERT کا بہتر ورژن) نے ~79% درستگی حاصل کی۔
- انسان اوسطاً ~94% درستگی سے سوالات حل کرتا ہے[1]۔
اس فرق نے تصدیق کی کہ AfLite فلٹرنگ نے ماڈلز کے لیے بہت سے "آسان راستے" کامیابی سے ختم کر دیے۔ تاہم LLM کی ترقی کے ساتھ یہ فرق کم ہونے لگا۔
- 2022 تک ماڈل ST-MoE-32B نے 96.1% درستگی حاصل کی اور انسانی سطح کو پار کر گیا[5]۔
- GPT-3 نے تقریباً 88% کا نتیجہ دکھایا[6]۔
- GPT-4 نے خصوصی fine-tuning کے بغیر ~87.5% درستگی سے سوالات حل کیے[7]۔
اثرات اور تنقید
WinoGrande عقلِ عام کی جانچ کے لیے ایک اہم benchmark بن گیا ہے اور نئے ماڈلز کی آزمائش کے لیے باقاعدگی سے استعمال ہوتا ہے۔ اس کے نتائج معروف AI کمپنیوں کی تکنیکی رپورٹوں اور ماڈلز کے موازنے کے پلیٹ فارمز پر شائع ہوتے ہیں[8]۔
اس کے ساتھ ساتھ dataset بنانے کا طریقہ کار علمی بحث کا موضوع بھی بنا۔ بعض محققین نے نشاندہی کی کہ بڑے پیمانے پر کراؤڈ سورسنگ سے غیر فطری یا مبہم عبارتیں پیدا ہو سکتی ہیں۔ یہ شبہ بھی ظاہر کیا گیا کہ خودکار AfLite فلٹرنگ تمام پوشیدہ آرٹیفیکٹس کو مکمل طور پر ختم کرنے کی صلاحیت نہیں رکھتی[5]۔ اس کے باوجود، WinoGrande نے نہ صرف اشاریوں میں پیشرفت کو فروغ دیا بلکہ AI کی جانچ کے زیادہ مضبوط اور قابلِ اعتماد طریقوں کی تخلیق پر ایک اہم علمی بحث بھی چھیڑی۔
حوالہ جات
- WinoGrande کی سرکاری ویب سائٹ
- Hugging Face پلیٹ فارم پر dataset
مآخذ
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
حواشی
- ↑ 1.0 1.1 1.2 1.3 Sakaguchi, K., Le Bras, R., Bhagavatula, C., Choi, Y. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv:1907.10641. [1]
- ↑ «allenai/winogrande». Hugging Face. [2]
- ↑ «Winograd schema challenge». In Wikipedia. [3]
- ↑ Kocijan, V. et al. «The defeat of the Winograd Schema Challenge». Artificial Intelligence. [4]
- ↑ 5.0 5.1 Lepore, J. «AI Has Been Surprising for Years». Carnegie Endowment for International Peace. [5]
- ↑ Brown, T. et al. «Language Models are Few-Shot Learners». arXiv:2005.14165. [6]
- ↑ OpenAI. «GPT-4 Technical Report». arXiv:2303.08774. [7]
- ↑ «Common Sense Reasoning On Winogrande». HyperAI. [8]