HellaSwag Benchmark (TH)

HellaSwag — คือชุดข้อมูลอ้างอิง (benchmark) ที่เปิดตัวในปี 2019 เพื่อประเมินความสามารถของโมเดลปัญญาประดิษฐ์ในการทำความเข้าใจสถานการณ์ในชีวิตประจำวัน (commonsense reasoning) ในภาษาธรรมชาติ benchmark นี้ได้รับการพัฒนาโดยกลุ่มนักวิจัยจากมหาวิทยาลัยวอชิงตันและสถาบันปัญญาประดิษฐ์อัลเลน

ภารกิจของ HellaSwag คือการเลือกบทสรุปที่น่าเชื่อถือที่สุดสำหรับบริบทข้อความที่กำหนด จุดเด่นสำคัญของชุดข้อมูลนี้คือมันเป็นเรื่องง่ายดายสำหรับมนุษย์ แต่กลับทำให้แม้แต่โมเดลภาษาขั้นสูงที่อาศัยรูปแบบทางสถิติเชิงผิวเผินต้องหยุดชะงัก

ประวัติและบริบท

HellaSwag เป็นการพัฒนาต่อยอดแนวคิดจาก dataset SWAG (Situations With Adversarial Generations) ที่เสนอโดยกลุ่มผู้เขียนชุดเดียวกันในปี 2018 ในภารกิจ SWAG โมเดลต้องเลือกบทสรุปที่น่าจะเป็นไปได้มากที่สุดสำหรับคำอธิบายสถานการณ์ง่าย ๆ ในตอนแรก SWAG มีความยากสำหรับอัลกอริทึม แต่เมื่อโมเดล BERT ปรากฏขึ้น ผลลัพธ์ของมันบน SWAG ก็พุ่งสูงถึงระดับ ~86% ซึ่งใกล้เคียงกับระดับของมนุษย์แทบจะเท่ากันเลยทีเดียว

ความสำเร็จนี้ก่อให้เกิดข้อสงสัย: BERT "เข้าใจ" ข้อความจริง ๆ หรือเพียงแค่เรียนรู้ที่จะจดจำสิ่งประดิษฐ์ทางสถิติและรูปแบบที่มีอยู่ใน dataset? ผู้เขียน HellaSwag ตั้งสมมติฐานว่าผลลัพธ์สูงของ BERT ไม่ได้เกิดจากความเข้าใจที่แท้จริง แต่เกิดจากการปรับตัวเข้ากับลักษณะเฉพาะของ dataset พวกเขาแสดงให้เห็นว่าเมื่อการกระจายตัวของข้อมูลเปลี่ยนแปลงเพียงเล็กน้อย ความแม่นยำของ BERT ก็ลดลงอย่างรวดเร็ว ซึ่งหมายความว่าจำเป็นต้องมี benchmark ใหม่ที่ซับซ้อนกว่าและ "ท้าทาย" กว่าเพื่อประเมินความก้าวหน้าใน NLP อย่างเป็นกลาง

คำอธิบายและวัตถุประสงค์ของ dataset

HellaSwag ถูกสร้างขึ้นเป็นแบบทดสอบที่มุ่งเปิดเผยข้อจำกัดของโมเดลสมัยใหม่ในการทำความเข้าใจความสัมพันธ์เชิงเหตุและผลและสถานการณ์ในชีวิตประจำวัน

โครงสร้างของภารกิจ

แต่ละตัวอย่างใน HellaSwag ประกอบด้วยสองส่วน:

1. บริบท: ย่อหน้าสั้น (สูงสุดสามประโยค) ที่อธิบายจุดเริ่มต้นของสถานการณ์หนึ่ง
2. ตัวเลือกบทสรุปสี่ตัวเลือก: บทสรุปที่เป็นไปได้สี่แบบของเรื่องราว ซึ่งประกอบด้วยประโยคหลายประโยคเช่นกัน

มีเพียงหนึ่งในบทสรุปเหล่านี้ที่ถูกต้อง (เป็นบทสรุปจริง) ส่วนอีกสามตัวเลือกเป็นบทสรุปเท็จที่สร้างขึ้นเป็นพิเศษเพื่อทำให้โมเดลสับสน

แหล่งที่มาของข้อมูล

ตัวอย่างสถานการณ์ถูกนำมาจากสองแหล่ง ซึ่งครอบคลุมสถานการณ์ในชีวิตประจำวันที่หลากหลาย:

• ActivityNet Captions: คำอธิบายการกระทำจากวิดีโอ (เช่น "คนเปิดกระป๋องแตงกวาดอง")
• WikiHow: คำแนะนำจากบทความ (เช่น "วิธีเปลี่ยนยางรถยนต์")

วัตถุประสงค์ของ HellaSwag คือการสร้าง benchmark ที่มนุษย์แก้ได้ง่าย (โดยสัญชาตญาณ) แต่ทำให้ภารกิจยากที่สุดสำหรับโมเดลที่ไม่มีสามัญสำนึกอย่างสมบูรณ์ ผู้เขียนเรียกผลกระทบนี้ว่า "ผลกระทบโกลดิล็อกส์" (Goldilocks effect)

วิธีการ Adversarial Filtering (AF)

นวัตกรรมสำคัญในการสร้าง HellaSwag คือวิธีการ Adversarial Filtering (AF) — การคัดกรองแบบวนซ้ำของ "กับดัก" ที่ออกแบบมาสำหรับโมเดล "เป้าหมาย" โดยเฉพาะ วิธีการนี้ทำให้สามารถสร้างตัวเลือกเท็จที่มีลักษณะคล้ายคลึงกับตัวเลือกที่ถูกต้องอย่างหลอกลวงจากมุมมองของโมเดลทางสถิติ

แผนการทำงานของ AF มีดังนี้:

1. การสร้าง: จากบริบทต้นฉบับ โมเดลภาษาที่ทำหน้าที่สร้าง (เช่น GPT) จะสร้างบทสรุปที่ไม่ถูกต้องจำนวนมากที่เป็นไปได้
2. การจำแนก: โมเดลตัวแยกประเภท (เช่น BERT) ที่ทำหน้าที่เป็น "เป้าหมาย" พยายามแยกแยะบทสรุปที่สร้างขึ้นจากบทสรุปจริง (ที่ถูกต้อง)
3. การคัดเลือก: ตัวเลือกเท็จที่ตัวแยกประเภทพิจารณาว่าน่าเชื่อถือที่สุดจะถูกคัดเลือก นั่นคือตัวเลือกที่โมเดลมีแนวโน้มผิดพลาดมากที่สุด
4. การวนซ้ำ: กระบวนการทำซ้ำหลายครั้งจนกว่าคำตอบเท็จจะมีความคล้ายคลึงกับคำตอบที่ถูกต้องสำหรับอัลกอริทึมมากที่สุด
5. การตรวจสอบโดยมนุษย์: ในขั้นตอนสุดท้าย ชุดข้อมูลที่ได้ (บริบท + บทสรุปที่ถูกต้อง 1 บท + บทสรุปเท็จที่ดีที่สุด 3 บท) จะได้รับการประเมินโดยมนุษย์ ผู้ประเมินยืนยันว่าตัวเลือกที่ถูกต้องเป็นตัวเลือกที่เป็นธรรมชาติที่สุดอย่างชัดเจน และทางเลือกทั้งหมดมีความไม่สมเหตุสมผลบางอย่างที่มนุษย์สามารถสังเกตเห็นได้

ด้วย AF ทุกตัวอย่างใน HellaSwag ได้รับการออกแบบมาตั้งแต่ต้นเพื่อทำให้โมเดลเข้าใจผิด แต่ยังคงชัดเจนสำหรับมนุษย์

ผลลัพธ์และความสำคัญ

HellaSwag กลายเป็นการทดสอบที่เข้มงวดสำหรับโมเดลการทำความเข้าใจข้อความ ผลลัพธ์การทดสอบแสดงให้เห็นช่องว่างขนาดใหญ่ระหว่างปัญญาประดิษฐ์และปัญญาของมนุษย์:

• มนุษย์ แก้ภารกิจ HellaSwag ได้แทบจะไม่มีข้อผิดพลาด ด้วยความแม่นยำประมาณ 95-96%
• โมเดลที่ดีที่สุดในขณะที่สร้าง benchmark คือ BERT-Large ทำได้เพียง ~47% ของความแม่นยำ วิธีการที่ง่ายกว่าแสดงผลลัพธ์ที่ไม่สูงกว่าการเดาแบบสุ่มมากนัก (25%)

ช่องว่างมากกว่า 45 เปอร์เซ็นต์พอยต์ ยืนยันสมมติฐานที่ว่าผลลัพธ์สูงในการทดสอบก่อนหน้านั้นไม่ได้หมายความว่ามีความเข้าใจที่แท้จริง HellaSwag แสดงให้เห็นว่าแม้หลังจากการฝึกด้วยข้อมูลจำนวนมหาศาล โมเดลก็ยังไม่สามารถพัฒนาสามัญสำนึกทั่วไปสำหรับสถานการณ์ใหม่ได้

ในช่วงปีต่อ ๆ มา HellaSwag ได้กลายเป็นหนึ่งในการทดสอบมาตรฐานสำหรับโมเดลภาษาใหม่ ความก้าวหน้าของระบบ AI สามารถติดตามได้จากผลลัพธ์บน benchmark นี้

• ในปี 2020 โมเดล GPT-3 (175 พันล้านพารามิเตอร์) แสดงความแม่นยำ ~79% ในโหมด few-shot ซึ่งเกินระดับของโมเดลเฉพาะทางหลายตัวในช่วงเวลานั้น แต่ยังคงต่ำกว่ามนุษย์อย่างมีนัยสำคัญ
• เพียงในปี 2023 เท่านั้นที่โมเดลรุ่นใหม่ เช่น GPT-4 สามารถบรรลุผลลัพธ์บน HellaSwag ที่เทียบเคียงได้กับมนุษย์ (ประมาณ 95% ของความแม่นยำ)

การสร้าง HellaSwag ได้ระบุแนวทางใหม่ในการประเมินความก้าวหน้าใน NLP โดยอาศัยแนวคิดของ benchmark ที่วิวัฒนาการ: เมื่อโมเดลพัฒนาขึ้น จำเป็นต้องสร้างการทดสอบใหม่ที่ซับซ้อนยิ่งขึ้นซึ่งเปิดเผยจุดอ่อนของโมเดลเหล่านั้น

ลิงก์

• เว็บไซต์อย่างเป็นทางการของโครงการ HellaSwag
• บทความวิชาการ «HellaSwag: Can a Machine Really Finish Your Sentence?»

เอกสารอ้างอิง

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.