MT-Bench (benchmark) (SV)

MT-Bench (förkortning av eng. Multi-Turn Benchmark, «flerstegs-benchmark») — är en referensuppsättning testuppgifter (benchmark) för utvärdering av stora språkmodeller (LLM) i flerstegsdialog. Benchmarken föreslogs år 2023 av ett forskarteam från LMSYS (lett av Lianmin Zheng) som en del av metoden LLM-as-a-Judge («LLM i rollen som domare») för objektiv jämförelse av chatbotars kvalitet.

Till skillnad från traditionella enstegs-tester (som MMLU) testar MT-Bench modellernas förmåga att föra en flerstegs-dialog, successivt ta in ny information och noggrant följa användarens instruktioner. Syftet är en mer realistisk utvärdering av chatbotars prestanda i komplexa scenarier, inriktad på överensstämmelse med mänskliga preferenser och praktiska krav på konversationssystem.

Bakgrund och tillkomst

Utvecklingen av dialogbaserade LLM-modeller, såsom ChatGPT, GPT-4 och Vicuna, avslöjade en klyfta mellan traditionella kvalitetsmått och den verkliga användarupplevelsen av svar. Det visade sig att förbättring av en modell ur perspektivet anpassning till mänskliga instruktioner (via RLHF) inte alltid förbättrar resultaten på äldre, enstegs-benchmarks. Tester som MMLU eller HELM kan ofta inte skilja förbättrade («justerade») chatbotar från deras basmodeller. Detta påvisar begränsningarna hos tidigare metoder, som inte återspeglar kvaliteten på flerstegsinteraktion och öppna instruktioner.

MT-Bench uppstod som ett svar på detta problem och erbjuder en uppsättning öppna frågor i dialogformat, med fokus på två aspekter: 1. Modellens förmåga att upprätthålla ett sammanhängande samtal genom flera steg (turns). 2. Exakt följsamhet av komplexa användarinstruktioner.

Benchmarkens struktur och innehåll

MT-Bench består av 80 noggrant utvalda flerstegsdialog-scenarier som täcker olika typer av uppgifter. Varje scenario omfattar en serie av flera utbyten mellan användaren och modellen, och testar modellens förmåga att hålla kontexten och anpassa sig till ny information. Dialogerna är grupperade i 8 kategorier av uppgifter:

• Writing (textskrivning) — testning av kreativa färdigheter (t.ex. att skriva ett blogginlägg).
• Roleplay (rollspelsdialog) — simulering av dialoger i bestämda roller.
• Extraction (informationsutvinning) — förmågan att extrahera fakta ur given kontext.
• Reasoning (logiskt resonemang) — lösning av uppgifter som kräver logiskt tänkande.
• Math (matematik) — lösning av matematiska problem.
• Coding (programmering) — skrivning eller felsökning av kod.
• STEM (naturvetenskap och teknik) — frågor från naturvetenskapliga områden.
• Humanities (humanistiska kunskaper) — frågor om historia, litteratur och samhällsvetenskap.

I varje kategori finns 10 dialoguppgifter. Uppgifterna innehåller avsiktligt knepiga fortsättningar (t.ex. plötsliga förtydligande frågor) för att testa modellen i en villkorligt «verklig» konversation.

Utvärderingsmetodik: LLM-as-a-Judge

En central egenskap hos MT-Bench är användningen av en stark språkmodell i rollen som domare för automatiserad utvärdering av svar (LLM-as-a-Judge). I det ursprungliga arbetet var det modellen GPT-4 som spelade denna roll.

Utvärderingsförfarandet är uppbyggt på följande sätt: 1. För varje dialogscenario genererar flera deltagarmodeller svar. 2. Domarmodellen (GPT-4) jämför dessa svar (i form av parvisa jämförelser eller poängsättning) och avkunnar en dom om vilket svar som är att föredra.

Automatiserat domslut ersätter den tidskrävande manuella annoteringen. Forskarna visade att GPT-4:s bedömningar som domare har mer än 80% överensstämmelse med expertbedömningar från människor, vilket är jämförbart med överensstämmelsen mellan människor sinsemellan. Detta vittnar om metodens tillförlitlighet och möjligheten att skala upp utvärderingar utan direkt mänsklig medverkan. För att öka objektiviteten har potentiella snedvridningar hos domarmodellen identifierats och begränsats, såsom effekten av positionsbias (preferens för det första svaret), mångordighetsbias (preferens för längre svar) och självförhärligandebias (välvilja mot svar i den egna stilen).

Resultat och tillämpning

MT-Bench har gjort det möjligt att identifiera märkbara skillnader i kvaliteten hos moderna modeller. I kategorierna logiskt resonemang, matematik och programmering överträffade GPT-4 markant tidigare versioner (t.ex. GPT-3.5). Detta bekräftade att större modeller bättre behåller kontexten under flera steg i en dialog.

För praktisk användning av resultaten lanserade LMSYS-teamet ett publikt leaderboard där modeller rangordnas efter genomsnittlig MT-Bench-poäng och Elo-rating från Chatbot Arena. Denna ranking uppdateras regelbundet och återspeglar framstegen i branschen. Själva datasetet och koden för att köra det gjordes publikt tillgängliga, vilket möjliggör för oberoende utvecklare att testa sina modeller.

Begränsningar och kritik

Trots framgångsrik tillämpning har MT-Bench och LLM-as-a-Judge-metoden ett antal begränsningar:

• Domarens ofullkomlighet. Domarmodellen (t.ex. GPT-4) är inte allsmäktig: den känner inte alltid igen faktafel eller hallucinationer i de testade modellernas svar.
• Svårigheter med utvärdering av logik och matematik. En LLM-domare kan inte alltid följa ett komplext resonemang fullt ut eller verifiera ett bevis, vilket kan leda till fel vid utvärderingen.
• Snedvridningar (Biases). Trots åtgärder för att begränsa dem kan domarmodellen behålla en fördom mot en viss stil eller format på svar.

Dessa aspekter innebär att mänsklig tillsyn eller kombinerade utvärderingsmetoder fortfarande är önskvärda i kritiskt viktiga tillämpningar.

Vidareutveckling och utvidgningar

Framgången med MT-Bench stimulerade framväxten av utvidgade versioner. År 2024 föreslogs metoden MT-Bench-101, inriktad på en ännu mer detaljerad analys av modellernas förmågor i dialog. Författarna formulerade en trenivå-taxonomi av färdigheter och samlade in ett avsevärt större dataset, vilket möjliggjorde identifiering av subtila skillnader i modellernas beteende vid olika stadier av dialogen.

Länkar

• Officiellt arkiv med MT-Bench-data på GitHub

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.