--- title: "WinoGrande Benchmark (CS)" source: "https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)" wiki: "systems-analysis.info/int" article: "WinoGrande_Benchmark_(CS)" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 8473 wiki_created_at: 2026-09-07T01:17:54Z wiki_modified_at: 2026-09-07T01:17:54Z downloaded_at: 2026-09-07T23:25:33Z --- # WinoGrande Benchmark (CS) **WinoGrande** — je rozsáhlý referenční dataset určený k hodnocení schopnosti systémů umělé inteligence k uvažování na základě zdravého rozumu. Obsahuje přibližně 44 000 úloh vycházejících z formátu Winograd Schema Challenge (WSC), avšak výrazně rozšířených a ztížených pomocí „adversariální" metody filtrování za účelem odstranění statistických nápověd[\[1\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-sakaguchi2019-1). Dataset byl vyvinut v roce 2019 skupinou výzkumníků z **Allen Institute for AI** a **Washingtonské univerzity**. Každá úloha představuje větu s mezerou, kterou je třeba vyplnit jednou ze dvou možností, přičemž správnou volbu je nutné provést na základě kontextu a porozumění situaci. WinoGrande se stal jedním z klíčových benchmarků v oblasti zpracování přirozeného jazyka (NLP)[\[2\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-huggingface-2). ## Předpoklady vzniku: zastarání WSC Originální **Winograd Schema Challenge** (WSC), navržený v roce 2011, obsahoval pouhých 273 úloh a po dlouhou dobu byl považován za spolehlivý test zdravého rozumu. Úlohy v něm byly konstruovány tak, aby vyžadovaly porozumění světu, nikoli prosté porovnávání slov[\[3\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-wsc_wiki-3). Avšak v letech 2018–2019, s příchodem velkých jazykových modelů na architektuře transformer, jako byl **BERT**, se situace změnila. Modely se naučily test „prolomit", dosahujíce přesnosti přibližně 90 % díky využívání nezamýšlených statistických zákonitostí (artefaktů) v datech, nikoli díky skutečnému porozumění[\[4\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-kocijan2023-4). WSC přestal být spolehlivým indikátorem, což vedlo k nutnosti vytvořit nový, složitější a rozsáhlejší benchmark — WinoGrande. ## Vývoj a metoda adversarial filtering Vytváření WinoGrande probíhalo ve dvou hlavních fázích: hromadné generování úloh a jejich následná filtrace. ### Crowdsourcing V první fázi byla prostřednictvím platformy **Amazon Mechanical Turk** shromážděna rozsáhlá databáze čítající více než 47 000 vět. Crowd-pracovníci vytvářeli páry vět podle schématu Winograd, což zajistilo jazykovou rozmanitost a „šum" vlastní přirozené řeči, na rozdíl od úloh sestavených malou skupinou odborníků[\[1\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-sakaguchi2019-1). ### Algoritmus AfLite Klíčovou inovací WinoGrande se stal algoritmus **AfLite** (**Adversarial Filtering Lite**). Tato metoda byla vyvinuta pro automatické odstraňování úloh, které lze vyřešit pomocí jednoduchých statistických nápověd, aniž by byl nutný zdravý rozum. Algoritmus využíval jednoduché modely k identifikaci a odstranění těch příkladů, kde jedna z odpovědí byla příliš zjevně spojená s ostatními slovy ve větě. *Například úloha „Lvi snědli zebry, protože jsou **predátoři**\\ by byla odfiltrována, neboť slovo „predátoři" je statisticky těsně asociováno se „lvy".* V důsledku filtrace bylo vyřazeno přibližně 14 % shromážděných dat. Finální verze datasetu obsahuje **43 972 úloh**, což z něj činí výrazně spolehlivější a náročnější test[\[1\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-sakaguchi2019-1). ## Výsledky modelů a pokrok Při vydání WinoGrande dosahovaly tehdejší nejlepší modely výsledků výrazně zaostávajících za lidskými. - **RoBERTa** (vylepšená verze BERT) dosáhla přesnosti **~79 %**. - **Člověk** řeší úlohy průměrně s přesností **~94 %**[\[1\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-sakaguchi2019-1). Tento rozdíl potvrdil, že filtrace AfLite úspěšně odstranila mnoho „snadných" cest pro modely. S rozvojem LLM se však tento rozdíl začal zmenšovat. - Do roku 2022 dosáhl model **ST-MoE-32B** přesnosti **96,1 %**, čímž překonal lidskou úroveň[\[5\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-lepore2025-5). - **GPT-3** dosáhla výsledku přibližně **88 %**[\[6\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-brown2020-6). - **GPT-4**, bez speciálního fine-tuningu, řeší úlohy s přesností **~87,5 %**[\[7\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-openai2023-7). ## Vliv a kritika WinoGrande se stal jedním z klíčových benchmarků pro hodnocení zdravého rozumu a je pravidelně využíván k testování nových modelů. Jeho výsledky jsou publikovány v technických zprávách předních AI společností i na platformách pro porovnávání modelů[\[8\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-hyper_ai-8). Zároveň se metodika vytváření datasetu stala předmětem vědecké diskuse. Někteří výzkumníci upozorňují, že masový crowdsourcing mohl vést ke vzniku nepřirozených nebo nejednoznačných frází. Byly také vysloveny pochybnosti o tom, zda je automatická filtrace AfLite schopna zcela odstranit všechny skryté artefakty[\[5\]](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_note-lepore2025-5). WinoGrande nicméně podnítil nejen pokrok v metrikách, ale i důležitou diskusi o vytváření odolnějších a spolehlivějších metod hodnocení AI. ## Odkazy - Oficiální web WinoGrande - Dataset na platformě Hugging Face ## Literatura - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Poznámky 1. ↑ [1.0](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-sakaguchi2019_1-0) [1.1](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-sakaguchi2019_1-1) [1.2](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-sakaguchi2019_1-2) [1.3](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-sakaguchi2019_1-3) Sakaguchi, K., Le Bras, R., Bhagavatula, C., Choi, Y. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». *arXiv:1907.10641*. [1] 2. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-huggingface_2-0) «allenai/winogrande». *Hugging Face*. [2] 3. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-wsc_wiki_3-0) «Winograd schema challenge». In *Wikipedia*. [3] 4. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-kocijan2023_4-0) Kocijan, V. et al. «The defeat of the Winograd Schema Challenge». *Artificial Intelligence*. [4] 5. ↑ [5.0](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-lepore2025_5-0) [5.1](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-lepore2025_5-1) Lepore, J. «AI Has Been Surprising for Years». *Carnegie Endowment for International Peace*. [5] 6. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-brown2020_6-0) Brown, T. et al. «Language Models are Few-Shot Learners». *arXiv:2005.14165*. [6] 7. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-openai2023_7-0) OpenAI. «GPT-4 Technical Report». *arXiv:2303.08774*. [7] 8. [↑](https://systems-analysis.info/int/WinoGrande_Benchmark_(CS)#cite_ref-hyper_ai_8-0) «Common Sense Reasoning On Winogrande». *HyperAI*. [8]