MT-Bench (benchmark) (RO)

MT-Bench (abrev. din engl. Multi-Turn Benchmark, „benchmark multi-turn") — este un set de referință de sarcini de testare (benchmark) pentru evaluarea modelelor lingvistice de mari dimensiuni (LLM) în condiții de dialog multi-turn. Benchmark-ul a fost propus în 2023 de o echipă de cercetători LMSYS (condusă de Lianmin Zheng) ca parte a metodei LLM-as-a-Judge („LLM în rolul judecătorului") pentru compararea obiectivă a calității chatbot-urilor.

Spre deosebire de testele tradiționale single-turn (precum MMLU), MT-Bench verifică capacitatea modelelor de a purta un dialog în mai multe etape, de a asimila succesiv noi date de intrare și de a urma cu precizie instrucțiunile utilizatorului. Scopul este o evaluare mai realistă a funcționării chatbot-urilor în scenarii complexe, orientată spre concordanța cu preferințele umane și cerințele practice ale sistemelor conversaționale.

Premisele creării

Dezvoltarea modelelor LLM de dialog, precum ChatGPT, GPT-4 și Vicuna, a evidențiat decalajul dintre metricile tradiționale de calitate și percepția reală a utilizatorilor asupra răspunsurilor. S-a constatat că îmbunătățirea unui model din perspectiva alinierii la instrucțiunile umane (prin RLHF) nu conduce întotdeauna la rezultate mai bune pe benchmark-urile vechi, single-turn. Teste precum MMLU sau HELM nu disting adesea chatbot-urile îmbunătățite („aliniate") de modelele lor de bază. Aceasta indică limitele metodologiilor anterioare, care nu reflectă calitatea interacțiunii multi-turn și a instrucțiunilor în formă deschisă.

MT-Bench a apărut ca răspuns la această problemă, propunând un set de întrebări cu răspuns deschis în format de dialog, axat pe două aspecte: 1. Capacitatea modelului de a susține o conversație coerentă pe parcursul mai multor pași (turns). 2. Urmarea precisă a instrucțiunilor complexe ale utilizatorului.

Structura și conținutul benchmark-ului

MT-Bench constă din 80 de scenarii de dialog multi-turn atent selectate, acoperind diverse tipuri de sarcini. Fiecare scenariu include o serie de mai multe schimburi între utilizator și model, testând capacitatea modelului de a reține contextul și de a se adapta la noi date de intrare. Dialogurile sunt grupate în 8 categorii de sarcini:

• Writing (redactare de text) — verificarea abilităților creative (de exemplu, scrierea unui articol de blog).
• Roleplay (joc de rol) — simularea dialogurilor în roluri specifice.
• Extraction (extragere de informații) — capacitatea de a extrage fapte dintr-un context dat.
• Reasoning (raționament logic) — rezolvarea sarcinilor de gândire logică.
• Math (matematică) — rezolvarea problemelor matematice.
• Coding (programare) — scrierea sau depanarea codului.
• STEM (știință și tehnologie) — întrebări din domeniile științelor exacte și naturale.
• Humanities (cunoștințe umanistice) — întrebări de istorie, literatură, științe sociale.

În fiecare categorie sunt reprezentate câte 10 sarcini de dialog. Sarcinile includ în mod intenționat continuări dificile (de exemplu, întrebări de clarificare bruște) pentru a testa modelul în condiții de conversație „reală".

Metodologia de evaluare: LLM-as-a-Judge

Caracteristica esențială a MT-Bench este utilizarea unui model lingvistic puternic în rolul judecătorului pentru evaluarea automată a răspunsurilor (LLM-as-a-Judge). În lucrarea originală, acest rol a fost îndeplinit de modelul GPT-4.

Procedura de evaluare se desfășoară astfel: 1. Pentru fiecare scenariu de dialog, mai multe modele participante generează răspunsuri. 2. Modelul-judecător (GPT-4) compară aceste răspunsuri (în format de comparație pereche sau evaluare pe scară de punctaj) și pronunță un verdict asupra preferabilității.

Judecata automatizată înlocuiește adnotarea manuală, care necesită mult timp. Cercetătorii au demonstrat că evaluările GPT-4 în calitate de judecător au o concordanță de peste 80% cu rezultatele experților umani, ceea ce este comparabil cu gradul de concordanță dintre oameni înșiși. Aceasta atestă fiabilitatea metodei și posibilitatea de a scala evaluările fără participarea directă a omului. Pentru creșterea obiectivității, au fost identificate și atenuate potențialele distorsiuni ale modelului-judecător, precum efectul de distorsiune pozițională (preferința pentru primul răspuns), verbozității (preferința pentru răspunsul mai lung) și auto-promovării (indulgența față de răspunsurile în stil propriu).

Rezultate și aplicare

MT-Bench a permis evidențierea unor diferențe notabile în calitățile modelelor contemporane. La categoriile de raționament logic, matematică și programare, GPT-4 a depășit semnificativ versiunile anterioare (de exemplu, GPT-3.5). Aceasta a confirmat că modelele mai mari rețin mai bine contextul pe parcursul mai multor pași ai dialogului.

Pentru utilizarea practică a rezultatelor, echipa LMSYS a lansat un clasament public, în care modelele sunt ierarhizate după scorul mediu MT-Bench și ratingul Elo din Chatbot Arena. Acest clasament este actualizat periodic, reflectând progresul din industrie. Setul de date și codul pentru rularea acestuia au fost puse la dispoziție în acces deschis, permițând dezvoltatorilor independenți să-și testeze propriile modele.

Limitări și critici

În ciuda aplicării cu succes, MT-Bench și abordarea LLM-as-a-Judge prezintă o serie de limitări:

• Imperfecțiunea judecătorului. Modelul-judecător (de exemplu, GPT-4) nu este atotputernic: nu recunoaște întotdeauna erorile factuale sau halucinațiile din răspunsurile modelelor testate.
• Dificultăți în evaluarea logicii și matematicii. Judecătorul LLM poate să nu urmărească complet un raționament complex sau să verifice o demonstrație, ceea ce poate genera erori de evaluare.
• Distorsiuni (Biases). În ciuda măsurilor de atenuare, modelul-judecător poate păstra o predispoziție față de un anumit stil sau format al răspunsului.

Aceste aspecte înseamnă că, în aplicațiile critice, supravegherea umană sau metodele combinate de evaluare sunt în continuare de dorit.

Dezvoltare și extensii

Succesul MT-Bench a stimulat apariția unor versiuni extinse. În 2024 a fost propusă metodologia MT-Bench-101, vizând o analiză și mai detaliată a capacităților modelelor în dialog. Autorii au elaborat o taxonomie pe trei niveluri a abilităților și au colectat un dataset considerabil mai mare, ceea ce a permis identificarea unor diferențe subtile în comportamentul modelelor la diferite etape ale dialogului.

Referințe

• Repozitoriu oficial cu datele MT-Bench pe GitHub

Bibliografie

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.