MT-Bench (benchmark) (TH)
MT-Bench (ย่อมาจากภาษาอังกฤษ Multi-Turn Benchmark, «เบนช์มาร์กแบบหลายรอบ») — คือชุดการทดสอบมาตรฐาน (benchmark) สำหรับการประเมินโมเดลภาษาขนาดใหญ่ (LLM) ในสภาพแวดล้อมของการสนทนาแบบหลายรอบ เบนช์มาร์กนี้ถูกนำเสนอในปี 2023 โดยทีมนักวิจัยจาก LMSYS (นำโดย เลียนหมิน เจิง, Lianmin Zheng) ในฐานะส่วนหนึ่งของวิธีการ LLM-as-a-Judge («LLM ในบทบาทผู้ตัดสิน») เพื่อการเปรียบเทียบคุณภาพของแชทบอทอย่างเป็นกลาง[1]
แตกต่างจากการทดสอบแบบรอบเดียวแบบดั้งเดิม (เช่น MMLU) MT-Bench ตรวจสอบความสามารถของโมเดลในการดำเนินบทสนทนาแบบหลายขั้นตอน การรับรู้ข้อมูลใหม่อย่างต่อเนื่อง และการปฏิบัติตามคำสั่งของผู้ใช้อย่างแม่นยำ เป้าหมายคือการประเมินการทำงานของแชทบอทในสถานการณ์ที่ซับซ้อนอย่างสมจริงยิ่งขึ้น โดยมุ่งเน้นที่ความสอดคล้องกับความพึงพอใจของมนุษย์และข้อกำหนดเชิงปฏิบัติของระบบการสนทนา[2]
เบื้องหลังการสร้าง
การพัฒนาโมเดล LLM เชิงสนทนา เช่น ChatGPT, GPT-4 และ Vicuna ได้เปิดเผยช่องว่างระหว่างตัววัดคุณภาพแบบดั้งเดิมและการรับรู้ของผู้ใช้จริงต่อคำตอบ ปรากฏว่าการปรับปรุงโมเดลในแง่ของความสอดคล้องกับคำสั่งของมนุษย์ (ผ่าน RLHF) ไม่ได้ทำให้ผลลัพธ์บนเบนช์มาร์กแบบรอบเดียวแบบเก่าดีขึ้นเสมอไป การทดสอบอย่าง MMLU หรือ HELM มักไม่สามารถแยกความแตกต่างระหว่างแชทบอทที่ปรับปรุงแล้ว («aligned») กับโมเดลพื้นฐานของพวกมันได้ สิ่งนี้ชี้ให้เห็นข้อจำกัดของวิธีการเดิมที่ไม่สะท้อนคุณภาพของการโต้ตอบแบบหลายรอบและคำสั่งในรูปแบบเปิด
MT-Bench ถือกำเนิดขึ้นเป็นการตอบสนองต่อปัญหานี้ โดยนำเสนอชุดคำถามแบบปลายเปิดในรูปแบบของบทสนทนาที่มุ่งเน้นสองด้าน: 1. ความสามารถของโมเดลในการดำเนินการสนทนาที่ต่อเนื่องผ่านหลายขั้นตอน (turns) 2. การปฏิบัติตามคำสั่งที่ซับซ้อนของผู้ใช้อย่างแม่นยำ[1]
โครงสร้างและเนื้อหาของเบนช์มาร์ก
MT-Bench ประกอบด้วยสถานการณ์บทสนทนาแบบหลายรอบที่คัดเลือกมาอย่างพิถีพิถันจำนวน 80 สถานการณ์ ครอบคลุมประเภทงานที่หลากหลาย แต่ละสถานการณ์ประกอบด้วยชุดการแลกเปลี่ยนหลายครั้งระหว่างผู้ใช้และโมเดล เพื่อทดสอบความสามารถของโมเดลในการรักษาบริบทและปรับตัวต่อข้อมูลใหม่ บทสนทนาถูกจัดกลุ่มตาม 8 หมวดหมู่ ของงาน:
- Writing (การเขียนข้อความ) — ทดสอบทักษะความคิดสร้างสรรค์ (เช่น การเขียนบล็อก)
- Roleplay (การสนทนาตามบทบาท) — การจำลองบทสนทนาในบทบาทที่กำหนด
- Extraction (การดึงข้อมูล) — ความสามารถในการดึงข้อเท็จจริงจากบริบทที่ให้มา
- Reasoning (การใช้เหตุผลเชิงตรรกะ) — การแก้ปัญหาที่ต้องใช้การคิดเชิงตรรกะ
- Math (คณิตศาสตร์) — การแก้โจทย์คณิตศาสตร์
- Coding (การเขียนโปรแกรม) — การเขียนหรือดีบักโค้ด
- STEM (วิทยาศาสตร์และเทคโนโลยี) — คำถามจากสาขาวิทยาศาสตร์ธรรมชาติ
- Humanities (ความรู้ด้านมนุษยศาสตร์) — คำถามด้านประวัติศาสตร์ วรรณกรรม และสังคมศาสตร์
ในแต่ละหมวดหมู่มีงานบทสนทนา 10 รายการ งานเหล่านี้ถูกออกแบบให้มีการต่อเนื่องที่ท้าทาย (เช่น คำถามชี้แจงที่ปรากฏขึ้นอย่างกะทันหัน) เพื่อทดสอบโมเดลในบทสนทนาที่ «สมจริง» อย่างมีเงื่อนไข[3]
วิธีการประเมิน: LLM-as-a-Judge
คุณลักษณะสำคัญของ MT-Bench คือการใช้โมเดลภาษาที่มีประสิทธิภาพสูงในบทบาท ผู้ตัดสิน สำหรับการประเมินคำตอบอัตโนมัติ (LLM-as-a-Judge) ในงานวิจัยต้นฉบับ บทบาทนี้ถูกรับผิดชอบโดยโมเดล GPT-4[1]
ขั้นตอนการประเมินมีดังนี้: 1. สำหรับแต่ละสถานการณ์บทสนทนา โมเดลผู้เข้าร่วมหลายโมเดลจะสร้างคำตอบ 2. โมเดลผู้ตัดสิน (GPT-4) เปรียบเทียบคำตอบเหล่านี้ (ในรูปแบบการเปรียบเทียบคู่หรือการให้คะแนนตามระดับคะแนน) และตัดสินว่าคำตอบใดเป็นที่นิยมมากกว่า
การตัดสินอัตโนมัติมาแทนที่การติดป้ายกำกับด้วยมือที่ใช้เวลานาน นักวิจัยแสดงให้เห็นว่าคะแนนของ GPT-4 ในฐานะผู้ตัดสินมี ความสอดคล้องมากกว่า 80% กับผลลัพธ์ของผู้เชี่ยวชาญที่เป็นมนุษย์ ซึ่งเทียบได้กับความสอดคล้องระหว่างมนุษย์ด้วยกันเอง สิ่งนี้แสดงให้เห็นถึงความน่าเชื่อถือของวิธีการและความเป็นไปได้ในการขยายขนาดการประเมินโดยไม่ต้องมีการมีส่วนร่วมของมนุษย์โดยตรง เพื่อเพิ่มความเป็นกลาง อคติที่อาจเกิดขึ้นของโมเดลผู้ตัดสินได้รับการพิจารณาและบรรเทา เช่น ผลกระทบของ การเบี่ยงเบนเชิงตำแหน่ง (การนิยมคำตอบแรก) ความยาวของคำตอบ (การนิยมคำตอบที่ยาวกว่า) และ การยกย่องตนเอง (ความลำเอียงต่อคำตอบในสไตล์ของตนเอง)[1]
ผลลัพธ์และการประยุกต์ใช้
MT-Bench ช่วยให้สามารถระบุความแตกต่างที่ชัดเจนในคุณภาพของโมเดลในปัจจุบัน ในหมวดหมู่การใช้เหตุผลเชิงตรรกะ คณิตศาสตร์ และการเขียนโปรแกรม GPT-4 มีประสิทธิภาพเหนือกว่าเวอร์ชันก่อนหน้าอย่างมีนัยสำคัญ (เช่น GPT-3.5) ซึ่งยืนยันว่าโมเดลขนาดใหญ่กว่าสามารถรักษาบริบทได้ดีกว่าตลอดหลายขั้นตอนของการสนทนา
เพื่อการใช้ผลลัพธ์ในทางปฏิบัติ ทีม LMSYS ได้เปิดตัว ลีดเดอร์บอร์ดสาธารณะ ที่โมเดลถูกจัดอันดับตามคะแนน MT-Bench เฉลี่ยและคะแนน Elo จาก Chatbot Arena การจัดอันดับนี้ได้รับการอัปเดตเป็นประจำ สะท้อนถึงความก้าวหน้าในอุตสาหกรรม ชุดข้อมูลและโค้ดสำหรับการรันถูกเผยแพร่ในรูปแบบเปิด ทำให้นักพัฒนาอิสระสามารถทดสอบโมเดลของตนได้[2]
ข้อจำกัดและการวิจารณ์
แม้จะมีการใช้งานที่ประสบความสำเร็จ MT-Bench และแนวทาง LLM-as-a-Judge มีข้อจำกัดหลายประการ:
- ความไม่สมบูรณ์ของผู้ตัดสิน โมเดลผู้ตัดสิน (เช่น GPT-4) ไม่ได้ทรงพลังทุกอย่าง: บางครั้งไม่สามารถตรวจจับข้อผิดพลาดเชิงข้อเท็จจริงหรือภาพหลอน (hallucinations) ในคำตอบของโมเดลที่ถูกทดสอบได้
- ความยากในการประเมินตรรกะและคณิตศาสตร์ ผู้ตัดสิน LLM อาจไม่สามารถติดตามการใช้เหตุผลที่ซับซ้อนหรือตรวจสอบการพิสูจน์ได้อย่างสมบูรณ์ ซึ่งอาจนำไปสู่ข้อผิดพลาดในการประเมิน
- การเบี่ยงเบน (Biases) แม้จะมีมาตรการบรรเทา โมเดลผู้ตัดสินอาจยังคงมีอคติต่อสไตล์หรือรูปแบบคำตอบบางอย่าง
แง่มุมเหล่านี้หมายความว่าในแอปพลิเคชันที่มีความสำคัญสูง การกำกับดูแลโดยมนุษย์หรือวิธีการประเมินแบบผสมผสานยังคงเป็นสิ่งที่พึงประสงค์
การพัฒนาและการขยาย
ความสำเร็จของ MT-Bench กระตุ้นให้เกิดเวอร์ชันที่ขยายออกไป ในปี 2024 มีการนำเสนอวิธีการ MT-Bench-101 ที่มุ่งเน้นการวิเคราะห์ความสามารถของโมเดลในบทสนทนาอย่างละเอียดยิ่งขึ้น ผู้เขียนได้สร้างอนุกรมวิธานทักษะสามระดับและรวบรวมชุดข้อมูลขนาดใหญ่กว่าอย่างมีนัยสำคัญ ซึ่งทำให้สามารถระบุความแตกต่างเล็กน้อยในพฤติกรรมของโมเดลในขั้นตอนต่างๆ ของบทสนทนาได้[4]
ลิงก์
- พื้นที่เก็บข้อมูลทางการที่มีข้อมูล MT-Bench บน GitHub
เอกสารอ้างอิง
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
หมายเหตุ
- ↑ 1.0 1.1 1.2 1.3 Zheng, L. et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv:2306.05685, 2023. [1]
- ↑ 2.0 2.1 «MT-Bench (Multi-turn Benchmark)». Klu.ai Glossary. [2]
- ↑ «MT-Bench - GM-RKB». GaborMelli.com. [3]
- ↑ Bai, G. et al. «MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues». arXiv:2402.14762, 2024. [4]