MT-Bench (benchmark) (NL)

MT-Bench (afkorting van het Engels Multi-Turn Benchmark, «meerstaps-benchmark») — een referentieset van testhtaken (benchmark) voor de evaluatie van grote taalmodellen (LLM) in omstandigheden van een meerstapsdialooog. De benchmark werd in 2023 voorgesteld door een team van onderzoekers van LMSYS (onder leiding van Lianmin Zheng) als onderdeel van de methode LLM-as-a-Judge («LLM als rechter») voor de objectieve vergelijking van de kwaliteit van chatbots.

In tegenstelling tot traditionele eenstapstests (zoals MMLU) controleert MT-Bench het vermogen van modellen om een meerstapsdialoog te voeren, opeenvolgend nieuwe invoer te verwerken en instructies van de gebruiker nauwkeurig op te volgen. Het doel is een realistischere evaluatie van de werking van chatbots in complexe scenario's, gericht op overeenstemming met menselijke voorkeuren en de praktische vereisten van conversatiesystemen.

Achtergrond en aanleiding

De ontwikkeling van conversationele LLM-modellen zoals ChatGPT, GPT-4 en Vicuna bracht een kloof aan het licht tussen traditionele kwaliteitsmetrieken en de werkelijke gebruikerservaring met antwoorden. Het bleek dat het verbeteren van een model vanuit het oogpunt van afstemming op menselijke instructies (via RLHF) niet altijd de resultaten op oudere, eenstaps-benchmarks verbeterde. Tests zoals MMLU of HELM maken vaak geen onderscheid tussen verbeterde («uitgelijnde») chatbots en hun basismodellen. Dit wijst op de beperktheid van vroegere methoden, die de kwaliteit van meerstapsinteractie en instructies in open vorm niet weerspiegelden.

MT-Bench verscheen als antwoord op dit probleem en biedt een set open vragen in dialoogformaat die zich richt op twee aspecten: 1. Het vermogen van het model om een samenhangende conversatie door meerdere stappen (turns) te onderhouden. 2. Het nauwkeurig opvolgen van complexe gebruikersinstructies.

Structuur en inhoud van de benchmark

MT-Bench bestaat uit 80 zorgvuldig samengestelde meerstaps dialoogscenario's die verschillende typen taken omvatten. Elk scenario omvat een reeks van meerdere uitwisselingen tussen de gebruiker en het model, waarbij het vermogen van het model om context vast te houden en zich aan te passen aan nieuwe invoer wordt getest. De dialogen zijn gegroepeerd in 8 categorieën van taken:

• Writing (tekst schrijven) — het testen van creatieve vaardigheden (bijvoorbeeld het schrijven van een blogpost).
• Roleplay (rollenspel) — het simuleren van dialogen in bepaalde rollen.
• Extraction (informatie-extractie) — het vermogen om feiten uit een gegeven context te halen.
• Reasoning (logisch redeneren) — het oplossen van taken die logisch denken vereisen.
• Math (wiskunde) — het oplossen van wiskundige vraagstukken.
• Coding (programmeren) — het schrijven of debuggen van code.
• STEM (exacte en technische wetenschappen) — vragen uit de natuurwetenschappelijke gebieden.
• Humanities (geesteswetenschappen) — vragen over geschiedenis, literatuur en sociale wetenschappen.

In elke categorie zijn 10 dialoogtaken opgenomen. De taken bevatten bewust strikvragen (bijvoorbeeld plotselinge verduidelijkende vragen), om het model te testen in een gesimuleerd «echt» gesprek.

Evaluatiemethode: LLM-as-a-Judge

Een kernkenmerk van MT-Bench is het gebruik van een krachtig taalmodel in de rol van rechter voor geautomatiseerde beoordeling van antwoorden (LLM-as-a-Judge). In het oorspronkelijke werk vervulde het model GPT-4 deze rol.

De evaluatieprocedure is als volgt opgebouwd: 1. Voor elk dialoogscenario genereren meerdere deelnemende modellen antwoorden. 2. Het rechtermodel (GPT-4) vergelijkt deze antwoorden (in de vorm van paarsgewijze vergelijking of beoordeling op een puntenschaal) en geeft een oordeel over welk antwoord de voorkeur verdient.

Geautomatiseerde beoordeling vervangt de arbeidsintensieve handmatige annotatie. Onderzoekers toonden aan dat de beoordelingen van GPT-4 als rechter een overeenkomst van meer dan 80% vertonen met de resultaten van menselijke experts, wat vergelijkbaar is met de onderlinge overeenstemming tussen mensen zelf. Dit getuigt van de betrouwbaarheid van de methode en de mogelijkheid om evaluaties te schalen zonder directe menselijke betrokkenheid. Om de objectiviteit te vergroten werden potentiële vooringenomenheden van het rechtermodel geïdentificeerd en afgezwakt, zoals het effect van positiebias (voorkeur voor het eerste antwoord), breedsprakigheid (voorkeur voor het langere antwoord) en zelfverheerlijking (loyaliteit aan antwoorden in de eigen stijl).

Resultaten en toepassingen

MT-Bench maakte het mogelijk om merkbare verschillen in de kwaliteit van hedendaagse modellen zichtbaar te maken. In de categorieën logisch redeneren, wiskunde en programmeren overtrof GPT-4 de eerdere versies (zoals GPT-3.5) aanzienlijk. Dit bevestigde dat grotere modellen de context beter vasthouden over meerdere stappen van een dialoog.

Voor praktisch gebruik van de resultaten lanceerde het LMSYS-team een openbaar leaderboard waarop modellen worden gerangschikt op basis van de gemiddelde MT-Bench-score en de Elo-rating uit de Chatbot Arena. Dit leaderboard wordt regelmatig bijgewerkt en weerspiegelt de vooruitgang in de sector. De dataset zelf en de code voor het uitvoeren ervan zijn openbaar beschikbaar gesteld, zodat onafhankelijke ontwikkelaars hun modellen kunnen testen.

Beperkingen en kritiek

Ondanks het succesvolle gebruik hebben MT-Bench en de LLM-as-a-Judge-aanpak een aantal beperkingen:

• Onvolkomenheid van de rechter. Het rechtermodel (bijvoorbeeld GPT-4) is niet almachtig: het herkent niet altijd feitelijke fouten of hallucinaties in de antwoorden van de geteste modellen.
• Moeilijkheden bij de beoordeling van logica en wiskunde. Een LLM-rechter kan een complexe redenering mogelijk niet volledig volgen of een bewijs controleren, wat fouten bij de beoordeling kan veroorzaken.
• Vooringenomenheden (Biases). Ondanks maatregelen ter verzachting kan het rechtermodel een voorkeur blijven vertonen voor een bepaalde stijl of het formaat van een antwoord.

Deze aspecten betekenen dat menselijk toezicht of gecombineerde evaluatiemethoden in kritieke toepassingen nog steeds wenselijk zijn.

Ontwikkeling en uitbreidingen

Het succes van MT-Bench stimuleerde de ontwikkeling van uitgebreide versies. In 2024 werd de methode MT-Bench-101 voorgesteld, gericht op een nog gedetailleerdere analyse van de capaciteiten van modellen in dialoog. De auteurs stelden een drielaagse taxonomie van vaardigheden op en verzamelden een aanzienlijk grotere dataset, waardoor subtiele verschillen in het gedrag van modellen in verschillende fasen van de dialoog zichtbaar werden.

Verwijzingen

• Officiële repository met MT-Bench-gegevens op GitHub

Literatuur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.