SuperGLUE (benchmark) (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

SuperGLUE — คือ benchmark ที่ครอบคลุม (ชุดงานทดสอบ) สำหรับประเมินระบบประมวลผลภาษาธรรมชาติ โดยเฉพาะ โมเดลภาษาขนาดใหญ่ (Large Language Models)[1] ได้รับการเสนอในปี 2019 โดยกลุ่มนักวิจัยภายใต้การนำของ Alex Wang จากมหาวิทยาลัยนิวยอร์ก โดยมี Facebook AI Research และองค์กรอื่น ๆ ร่วมด้วย[1]

การสร้าง SuperGLUE มีสาเหตุมาจากที่ว่า ในช่วงกลางปี 2019 benchmark รุ่นก่อนอย่าง GLUE กลายเป็น "งานง่าย" สำหรับโมเดลสมัยใหม่ โดยคะแนนรวมของโมเดลที่ดีที่สุดบน GLUE สูงถึง 88.4 ซึ่งเกินกว่าระดับเฉลี่ยของมนุษย์ (87.1)[1] ส่งผลให้ช่องว่างสำหรับความก้าวหน้าในอนาคตลดลง[1] ด้วยเหตุนี้ ผู้เขียนจึงพัฒนา SuperGLUE ขึ้นเป็นทางเลือกที่ยากกว่า ซึ่งสามารถให้การทดสอบความเข้าใจภาษาของโมเดลได้อย่างเข้มงวดยิ่งขึ้น[1] เป้าหมายของ SuperGLUE คือการจัดเตรียมตัวชี้วัดความก้าวหน้าที่เป็นกลางและยาก "ต่อการเรียนรู้" สำหรับการทำความเข้าใจภาษาอังกฤษโดยรวม[1] คาดว่าการปรับปรุงผลลัพธ์อย่างเห็นได้ชัดบน SuperGLUE จะต้องอาศัยนวัตกรรมที่สำคัญในวิธี Machine Learning เช่น การเรียนรู้จากตัวอย่างขนาดเล็กที่มีประสิทธิภาพมากขึ้น การเรียนรู้แบบหลายงาน และการเรียนรู้แบบ self-supervised[1] กล่าวอีกนัยหนึ่ง SuperGLUE รวมงานที่ง่ายสำหรับมนุษย์แต่ยากสำหรับปัญญาประดิษฐ์[1] เพื่อกระตุ้นการพัฒนาโมเดลที่มีความเข้าใจภาษาอย่างแท้จริงและลึกซึ้ง

ลักษณะเฉพาะและความแตกต่างจาก GLUE

SuperGLUE ยึดตามรูปแบบของ GLUE เป็นส่วนใหญ่ โดยเสนอ ตัวชี้วัดคุณภาพรวม เพียงตัวเดียวสำหรับงานทั้งหมด ลีดเดอร์บอร์ด สาธารณะ และ ชุดเครื่องมือ สำหรับการวิเคราะห์โมเดล[1] อย่างไรก็ตาม SuperGLUE นำมาซึ่งการปรับปรุงและนวัตกรรมหลายประการเมื่อเทียบกับรุ่นก่อน[1]:

  • งานที่ยากขึ้น: SuperGLUE คัดเลือก แปดงานที่ยากที่สุด[1] สองในนั้นสืบทอดมาจาก GLUE (ในฐานะงานที่ยากที่สุดในนั้น) ส่วนที่เหลือถูกเลือกจากผู้สมัครใหม่โดยพิจารณาจากความยากสำหรับโมเดล NLP สมัยใหม่[1] ดังนั้น benchmark จึงมุ่งเน้นที่ด้านของความเข้าใจที่โมเดลเคยแสดงผลลัพธ์แย่ที่สุด
  • ความหลากหลายของรูปแบบ: หากใน GLUE งานทั้งหมดล้วนเป็นการจำแนกประโยคหรือคู่ประโยค SuperGLUE จะรวม ช่วงรูปแบบที่กว้างขึ้น[1] นอกจากการจำแนกแล้ว ยังเพิ่มงาน การแก้ไข coreference และ การตอบคำถาม ซึ่งต้องการให้โมเดลเข้าใจข้อความที่เชื่อมโยงกันและ การอนุมานเชิงตรรกะ[1]
  • การประเมินของมนุษย์สำหรับทุกงาน: สำหรับแต่ละงานใน SuperGLUE มีการคำนวณ ระดับประสิทธิภาพพื้นฐานของมนุษย์ (non-expert)[1] ซึ่งยืนยันว่าแม้แต่โมเดลที่แข็งแกร่งอย่าง BERT ก็ยังด้อยกว่ามนุษย์อย่างมีนัยสำคัญในช่วงเวลาที่เปิดตัว benchmark[1] การมี เกณฑ์อ้างอิงของมนุษย์ (~90% โดยรวม) ช่วยให้มีช่องว่างสำหรับการเติบโตของโมเดลและทำหน้าที่เป็นเป้าหมาย[1]
  • กฎและเครื่องมือที่โปร่งใส: มีการทบทวนกฎการโพสต์ผลลัพธ์บนลีดเดอร์บอร์ด (เพื่อให้การเปรียบเทียบเป็นธรรมและระบุผลงานของผู้เขียน dataset)[1] นอกจากนี้ยังเผยแพร่ชุดเครื่องมือแบบเปิดใหม่สำหรับการ fine-tuning และการเรียนรู้แบบหลายงานของโมเดลบนข้อมูล SuperGLUE ได้อย่างสะดวก[1]

โดยรวมแล้ว มาตรการเหล่านี้ทำให้ SuperGLUE เป็นการทดสอบที่น่าเชื่อถือมากขึ้นสำหรับ ความสามารถทางภาษาโดยรวม ของโมเดล โดยไม่สามารถบรรลุผลลัพธ์สูงด้วยการโกงแบบแคบ ๆ หรือการปรับแต่งให้เข้ากับรูปแบบเฉพาะของ GLUE รุ่นเดิม[1]

ชุดงานของ SuperGLUE

SuperGLUE ประกอบด้วย แปดงาน ที่ครอบคลุมด้านต่าง ๆ ของการทำความเข้าใจข้อความ

  • BoolQ (Boolean Questions): งานประเภท ถาม-ตอบ (QA) โดยแต่ละตัวอย่างมีข้อความสั้น ๆ (ข้อความจาก Wikipedia) และคำถามที่ต้องตอบว่า "ใช่" หรือ "ไม่"[1] คำถามถูกสร้างโดยผู้ใช้ (จากการค้นหาใน Google) และต้องการการดึงข้อเท็จจริงที่ชัดเจนหรือโดยนัยจากข้อความ โดยตัวชี้วัดคุณภาพคือความแม่นยำ (accuracy)[1]
  • CB (CommitmentBank): งาน การอนุมานเชิงตรรกะ (textual entailment) ที่มีสามคลาส[1] dataset ประกอบด้วยข้อความสั้นที่มีประโยคซับซ้อน โดยต้องพิจารณาว่าผู้เขียนข้อความ มุ่งมั่นต่อความจริง ของคำกล่าวที่ฝังอยู่มากน้อยเพียงใด[1] โดยแท้จริงแล้ว นี่คือการตรวจสอบว่าคำกล่าวสามารถสรุปได้จากบริบทที่ให้มาหรือไม่ งานนี้ยากเนื่องจากขนาดตัวอย่างที่เล็ก (ประมาณ 250 ตัวอย่าง) และความไม่สมดุลของคลาส โดยประเมินคุณภาพด้วยความแม่นยำและค่า F1 เฉลี่ยตามคลาส[1]
  • COPA (Choice of Plausible Alternatives): งาน การใช้เหตุผลเชิงเหตุและผล[1] โมเดลได้รับประโยคเดียวเป็นสมมติฐาน และต้องเลือกสาเหตุหรือผลลัพธ์ที่ถูกต้องจากสองตัวเลือก[1] ตัวอย่างทั้งหมดของ COPA ถูกสร้างด้วยมือและต้องการ สามัญสำนึก เพื่อสร้างความสัมพันธ์เชิงเหตุและผล เนื้อหาครอบคลุมสถานการณ์จากบล็อกและสารานุกรมเฉพาะทาง โดยตัวชี้วัดคือความแม่นยำ (สัดส่วนของการเลือกที่ถูกต้อง)[1] ตัวอย่าง: กำหนดประโยค "เด็กได้รับภูมิคุ้มกันต่อโรค" และคำถาม "สาเหตุคืออะไร?" — มนุษย์เข้าใจทันทีว่าคำตอบที่ถูกต้องคือ "เขาได้รับวัคซีน" ในขณะที่โมเดลต้องคาดเดาความสัมพันธ์เชิงเหตุผล[1]
  • MultiRC (Multi-Sentence Reading Comprehension): งาน การทำความเข้าใจข้อความแบบหลายประโยค ที่มีองค์ประกอบของการเลือกหลายตัวเลือก[1] โมเดลได้รับย่อหน้าข้อความ คำถามเกี่ยวกับเนื้อหา และรายการคำตอบที่เป็นไปได้ โดยต้องระบุว่าคำตอบใดถูกต้อง (แต่ละคำถามอาจมีคำตอบที่ถูกต้องหลายข้อ)[1] ลักษณะพิเศษ: การตอบคำถามโดยทั่วไปต้องรวมข้อมูลจากหลายประโยคของข้อความ ซึ่งทดสอบความสามารถของโมเดลใน การเชื่อมโยงข้อเท็จจริง[1] คุณภาพวัดด้วยสองตัวชี้วัด ได้แก่ F1 ตามคำตอบ (คำนึงถึงชุดที่ถูกต้องบางส่วน) และ Exact Match คือสัดส่วนของคำถามที่ได้รับชุดคำตอบที่ถูกต้องครบถ้วน[1]
  • ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): งาน การอ่านเพื่อทำความเข้าใจโดยใช้ความรู้[1] เป็นการทดสอบแบบ Cloze ที่ดัดแปลง: กำหนดข้อความข่าว (บทความจาก CNN/Daily Mail) และประโยคที่มีคำนามว่างเปล่า โดยโมเดลต้องเลือกว่าหน่วยงานใดจากข้อความเหมาะกับช่องว่าง[1] ตัวเลือกคำตอบถูกกำหนดให้เป็นหน่วยงานทั้งหมดที่กล่าวถึงในบทความ ซึ่งอาจมีความหมายที่ตรงกัน[1] การแก้ปัญหาสำเร็จต้องการการทำความเข้าใจบริบทและสามัญสำนึก โดยตัวชี้วัดคือ token-level F1 สูงสุด และ Exact Match (การจับคู่แบบตรงทั้งหมด) ของคำตอบที่ทำนาย[1]
  • RTE (Recognizing Textual Entailment): งานการจำแนกแบบไบนารีสำหรับ การอนุมานจากข้อความ (entailment vs. not entailment)[1] ชุดข้อมูลรวมตัวอย่างจากการแข่งขันหลายรายการในการรู้จำการอนุมานจากข้อความ (ซีรีส์ RTE 1-5)[1] แต่ละงานมีคู่ข้อความ (premise-hypothesis) โดยโมเดลต้องพิจารณาว่า hypothesis ตามมาจากข้อความหรือไม่ ต่างจาก dataset ขนาดใหญ่อื่น ๆ RTE ค่อนข้างเล็ก (ประมาณ 2,500 ตัวอย่างการฝึกอบรม) แต่แสดงให้เห็นถึงประโยชน์อย่างมีนัยสำคัญจาก transfer learning โดยความแม่นยำเพิ่มขึ้นจาก ~56% (ระดับการเดาสุ่ม) ไปเป็น ~86% ด้วยการปรากฏของโมเดลประเภท BERT[1] อย่างไรก็ตาม ณ เวลาที่เปิดตัว SuperGLUE ความแม่นยำของโมเดลยังคงล้าหลังมนุษย์ประมาณ 8 เปอร์เซ็นต์พอยต์[1] ดังนั้น RTE จึงถูกรวมไว้ในฐานะหนึ่งในงานที่ยังคงมีช่องว่างกับระดับของมนุษย์
  • WiC (Word-in-Context): งาน การแก้ไขความคลุมเครือของความหมายของคำในบริบท (WSD)[1] กำหนดสองประโยคอิสระซึ่งแต่ละประโยคมีคำที่มีความหมายหลายนัยเดียวกัน โดยต้องพิจารณาว่าคำนั้น ใช้ในความหมายเดียวกัน ในทั้งสองกรณีหรือไม่[1] ข้อมูลนำมาจากแหล่งทรัพยากรพจนานุกรม (WordNet, VerbNet, Wiktionary) จึงครอบคลุมคำและความหมายที่หลากหลาย[1] งานนี้ถูกจัดให้เป็นการจำแนกแบบไบนารีและประเมินด้วยสัดส่วนคำตอบที่ถูกต้อง WiC ต้องการให้โมเดลเข้าใจความแตกต่างทางความหมายที่ละเอียดอ่อน ซึ่งแท้จริงแล้วคือการทดสอบ ความหมายทางคำศัพท์
  • WSC (Winograd Schema Challenge): งาน การแก้ไข coreference โดยใช้สามัญสำนึก[1] แต่ละงานประกอบด้วยประโยคเดียวที่มีสรรพนาม และรายการหน่วยงาน (คำนาม) สองหน่วยจากประโยคเดียวกัน[1] ต้องพิจารณาว่า สรรพนามที่กำหนดอ้างถึง คำนามใดในสองคำนั้น[1] ตัวอย่างประโยค winograd แบบคลาสสิก: "ถ้วยรางวัลไม่พอดีกับกระเป๋าเดินทาง เพราะมันเล็กเกินไป" — มนุษย์เข้าใจว่า "มัน" อ้างถึงกระเป๋าเดินทาง (กระเป๋าเดินทางเล็กเกินไป) ตัวอย่างเช่นนี้ไม่สามารถแก้ไขได้หากปราศจาก ความรู้ในชีวิตประจำวันและบริบท[1] ใน GLUE มีรูปแบบที่ง่ายกว่าของงานนี้อยู่แล้ว (WNLI) แต่โมเดลต่าง ๆ ไม่สามารถเอาชนะแม้กระทั่งระดับความสุ่มได้เป็นเวลานาน[1] เฉพาะเทคนิคพิเศษ เช่น การเพิ่มข้อมูลภายนอกที่มีตัวอย่างคล้ายกัน เท่านั้นที่ยกระดับคุณภาพของโมเดลบน WSC ไปถึง ~90% ภายในปี 2019[1] อย่างไรก็ตาม มนุษย์แก้งาน WSC ได้แทบไม่มีข้อผิดพลาด (~96-100% ของคำตอบที่ถูกต้อง)[1] ใน SuperGLUE รวมเวอร์ชันดั้งเดิมของ WSC ในรูปแบบการจำแนกแบบไบนารี (สำหรับแต่ละคู่ "สรรพนาม-หน่วยงาน" โมเดลตอบว่าอ้างถึงกันหรือไม่)[1] งานนี้ยังคงเป็นหนึ่งในการทดสอบที่ยากที่สุดซึ่งต้องการการใช้เหตุผลเชิง commonsense

การทดสอบทั้งหมดของ SuperGLUE มี ชุดทดสอบแบบปิด โดยคำตอบที่ไม่เป็นที่รู้จักสำหรับนักพัฒนา[1] โมเดลส่งการทำนายไปยังเซิร์ฟเวอร์ซึ่งคำนวณคะแนนรวม — ความแม่นยำเฉลี่ยตามงาน (สำหรับงานที่มีหลายตัวชี้วัด จะเฉลี่ยตัวชี้วัดภายในก่อน)[1] คะแนน SuperGLUE เพียงตัวเดียวนี้ช่วยให้เปรียบเทียบโมเดลตามระดับปัญญาทางภาษาโดยรวมได้ง่ายขึ้น

ผลลัพธ์และความก้าวหน้าของโมเดล

เมื่อเปิดตัว SuperGLUE ผู้เขียนได้อ้างอิงผลลัพธ์ของโมเดลพื้นฐานที่แข็งแกร่ง (BERT ที่ปรับปรุงแล้ว) เป็นจุดอ้างอิง และผลลัพธ์เหล่านั้น ต่ำกว่าของมนุษย์อย่างมีนัยสำคัญ ในทุกงาน[1] โดยเฉลี่ยแล้ว โมเดลที่ดีที่สุดในขณะนั้นทำคะแนนได้ ต่ำกว่าประมาณ 20 คะแนน เมื่อเทียบกับมนุษย์ตามตัวชี้วัดรวม[1] ในงานบางอย่าง ช่องว่างนั้นใหญ่เป็นพิเศษ: ตัวอย่างเช่น ในงาน WSC โมเดลแทบจะไปถึง ~65% ของความแม่นยำเมื่อเทียบกับ 100% ของมนุษย์ (ล้าหลัง ~35 คะแนน)[1] แม้แต่ในงานที่ดูเหมือน "ง่ายกว่า" (BoolQ, CB, RTE, WiC) ระบบอัตโนมัติก็ยังล้าหลังระดับมนุษย์ประมาณ 10 คะแนน[1] ความแตกต่างเหล่านี้ยืนยันว่า SuperGLUE ท้าทายเทคโนโลยีปัจจุบันอย่างจริงจังและไม่สามารถแก้ไขได้อย่างเรียบง่าย

อย่างไรก็ตาม เพียงไม่กี่เดือนหลังจากการปรากฏตัวของ SuperGLUE ก็เริ่มมี ความก้าวหน้าอย่างรวดเร็ว[1] ในปลายปี 2019 นักวิจัยของ Google ได้นำเสนอโมเดล T5 (Text-To-Text Transfer Transformer) ที่มี 11 พันล้านพารามิเตอร์ ซึ่งบรรลุผลลัพธ์รวม 88.9 ใกล้เคียงกับระดับมนุษย์ที่ ~89.8[2] ในทางปฏิบัติ T5 ปรับปรุงสถิติก่อนหน้าบน SuperGLUE ถึง 4.3 คะแนนและลดสัดส่วนข้อผิดพลาดลงเกือบหนึ่งในสาม[2] เหลือเพียงช่องว่างขั้นต่ำ 0.9 คะแนน จากตัวชี้วัดของมนุษย์[2] นักพัฒนาสังเกตว่า SuperGLUE ถูกออกแบบมาโดยเจตนาเพื่อให้งานง่ายสำหรับมนุษย์ ดังนั้นการที่โมเดลไปถึงระดับ ~89% จึงเป็นเหตุการณ์สำคัญ[2]

โมเดลแรกที่ สามารถเอาชนะคุณภาพเฉลี่ยของมนุษย์ ได้คือโมเดลจาก Microsoft ชื่อ DeBERTa (Decoding-enhanced BERT with disentangled attention)[3] ในเดือนมกราคม 2021 นักวิจัยรายงานว่า DeBERTa เวอร์ชันที่มี 1.5 พันล้านพารามิเตอร์ทำคะแนนได้ 89.9 คะแนน ซึ่งสูงกว่าเกณฑ์อ้างอิงของมนุษย์เล็กน้อยที่ 89.8[3] นี่เป็น ครั้งแรก ที่โมเดลเดี่ยวสามารถเอาชนะมนุษย์ตามตัวชี้วัด SuperGLUE[3] นอกจากนี้ ensemble ของโมเดล DeBERTa หลายตัวยังเพิ่มสถิติไปถึง ~90.3 คะแนน[3] โมเดล DeBERTa แซงหน้าผู้นำเดิม (Google T5) ประมาณ 0.6% และแสดงให้เห็นถึงประสิทธิภาพของแนวคิดใหม่ในสถาปัตยกรรม Transformer (การแสดงเนื้อหาและตำแหน่งคำแยกกัน decoder mask ที่ปรับปรุงแล้ว ฯลฯ)[4]

ความก้าวหน้าไม่ได้หยุดอยู่แค่นั้น: เมื่อโมเดลภาษาขยายขนาดและความซับซ้อนมากขึ้น ผลลัพธ์บน SuperGLUE ก็ยังคงปรับปรุงต่อไป[5] ในช่วงปลายปี 2021 โมเดล T-NLRv5 ของ Microsoft (ตระกูล Microsoft Turing NLR) ครองอันดับหนึ่งบนลีดเดอร์บอร์ด ซึ่งขยายช่องว่างเหนือระดับมนุษย์ออกไปอีก[5] งาน GLUE ที่ยังไม่สามารถแก้ไขได้สำหรับเครื่องจักร (เช่น ความละเอียดอ่อนของ NLI) ถูก "ปิด" โดยโมเดลนี้ ซึ่งใกล้เคียงกับ ความเท่าเทียมกันอย่างแท้จริงกับมนุษย์ แม้ในงานย่อยที่ยากที่สุด[5]

ในช่วงปี 2022-2023 เกณฑ์ระดับมนุษย์บน SuperGLUE ถูกเอาชนะอย่างมั่นใจโดยโมเดลขนาดใหญ่อิสระหลายตัว[6] ตัวอย่างเช่น โมเดล PaLM จาก Google (540 พันล้านพารามิเตอร์) เมื่อ fine-tuning บนงาน SuperGLUE ทำคะแนนได้ประมาณ 90.4 คะแนน และโมเดล GPT-4 (พัฒนาโดย OpenAI) ทำคะแนนได้สูงกว่าเล็กน้อย[6] ในช่วงกลางปี 2023 ตารางลีดเดอร์บอร์ดของ SuperGLUE มีโมเดลหลายตัวที่ทำคะแนนได้เกิน 90 (กล่าวคือ เกินระดับมนุษย์เฉลี่ย)[6] อาจกล่าวได้ว่า benchmark นี้ ถูกแก้ไขได้จริงในทางปฏิบัติ โดยระบบสมัยใหม่[6]: คะแนนของโมเดลที่ดีที่สุดสูงมากจนเกินความสามารถของคนส่วนใหญ่ที่ไม่มีความเชี่ยวชาญ[6] ความสำเร็จนี้แสดงให้เห็นถึงความก้าวหน้าอย่างมหาศาลใน NLP ในระยะเวลาอันสั้น แต่ในขณะเดียวกันก็ชี้ให้เห็นถึงความจำเป็นในการทดสอบใหม่ที่ยากยิ่งขึ้นสำหรับโมเดลล่าสุด[6] benchmark ที่ตามมาก็เริ่มปรากฏขึ้นแล้ว (เช่น MMLU, BIG-Bench และอื่น ๆ) ที่มุ่งทดสอบโมเดลในด้านความเข้าใจที่กว้างขึ้นและความรู้รอบด้านที่เกินขอบเขตของงาน SuperGLUE[6]

อิทธิพลและการวิจัยต่อเนื่อง

SuperGLUE จึงได้รับการยืนยันว่าเป็น ขั้นตอนสำคัญในการพัฒนาวิธีการประเมิน ในการประมวลผลภาษา[3] ในแวดวงผู้ที่ชื่นชอบและวิชาการ ผลลัพธ์ของมันกลายเป็นเหมือน "กระดาษทดสอบ" สำหรับสถาปัตยกรรมใหม่ของ Large Language Models: การบรรลุหรือเกินระดับมนุษย์บน SuperGLUE ถูกมองว่าเป็นสัญญาณของโมเดลขั้นสูงที่มีความเข้าใจภาษาเชิงลึก[3] สิ่งนี้สะท้อนออกมาในทางปฏิบัติด้วย — โมเดลภาษาสมัยใหม่หลายตัวที่บรรลุผลลัพธ์สูงบน SuperGLUE ได้กลายเป็นพื้นฐานสำหรับระบบถาม-ตอบ, agent สนทนา, ระบบสรุปข้อความ และอื่น ๆ[3] SuperGLUE ยังคงถูกใช้โดยนักวิจัยสำหรับการ fine-tuning และการเปรียบเทียบอัลกอริทึม แม้ว่าตำแหน่งแนวหน้าจะค่อย ๆ เปลี่ยนไปสู่เกณฑ์การประเมิน AI ใหม่

ลิงก์ภายนอก

  • เว็บไซต์อย่างเป็นทางการของ SuperGLUE
  • บทความดั้งเดิมของ SuperGLUE (NeurIPS)
  • บทความของ Microsoft เกี่ยวกับการบรรลุระดับมนุษย์ของ DeBERTa
  • หน้า dataset ของ SuperGLUE บน Papers With Code

บรรณานุกรม

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

หมายเหตุ

[1] [2] [3] [4] [5] [6] </references>

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». Reddit /r/linguistics. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». Microsoft Research Blog. [3]
  4. ↑ 4.0 4.1 «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». Synced Review. [4]
  5. ↑ 5.0 5.1 5.2 5.3 «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». Microsoft Research Blog. [5]
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 6.7 «The Ultimate Guide to AI Benchmarks». The AI Navigator. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=SuperGLUE_(benchmark)_(TH)&oldid=7016"