MT-Bench (benchmark) (HU)

MT-Bench (a röv. az angol Multi-Turn Benchmark, „többlépéses benchmark" kifejezésből) — egy referencia tesztfeladat-gyűjtemény (benchmark) a nagy nyelvi modellek (LLM) értékelésére többlépéses párbeszédes környezetben. A benchmarkot 2023-ban javasolta az LMSYS kutatócsapata (Lianmin Zheng vezetésével) a LLM-as-a-Judge („LLM bíró szerepében") módszer részeként, a chatbotok minőségének objektív összehasonlítása céljából.

A hagyományos egylépéses tesztekkel (például MMLU) ellentétben az MT-Bench azt vizsgálja, hogy a modellek képesek-e többlépéses párbeszédet folytatni, fokozatosan befogadni az új beviteli adatokat, és pontosan követni a felhasználói utasításokat. A cél a chatbotok realisztikusabb értékelése összetett forgatókönyvekben, a felhasználói preferenciákhoz és a társalgási rendszerek gyakorlati követelményeihez való illeszkedés szempontjából.

Az létrehozás előzményei

A párbeszédes LLM-modellek — mint a ChatGPT, a GPT-4 és a Vicuna — fejlődése rávilágított a hagyományos minőségi metrikák és a valódi felhasználói tapasztalat közötti szakadékra. Kiderült, hogy a modell fejlesztése az emberi utasításokhoz való illeszkedés szempontjából (RLHF-en keresztül) nem mindig javítja az eredményeket a régi, egylépéses benchmarkokon. Az olyan tesztek, mint az MMLU vagy a HELM, sokszor nem különböztetik meg a finomított („összehangolt") chatbotokat azok alapmodelljeitől. Ez a korábbi módszerek korlátaira utal, amelyek nem tükrözik a többlépéses interakció és a nyílt végű utasítások minőségét.

Az MT-Bench erre a problémára adott válaszként jelent meg, nyílt végű kérdések párbeszédes formátumban összeállított készletét kínálva, amely két szempontra összpontosít: 1. A modell képessége arra, hogy következetes beszélgetést folytasson több lépésen keresztül (turns). 2. Az összetett felhasználói utasítások pontos követése.

A benchmark szerkezete és tartalma

Az MT-Bench 80 gondosan összeválogatott, többlépéses párbeszédes forgatókönyvből áll, amelyek különböző feladattípusokat fednek le. Minden forgatókönyv a felhasználó és a modell közötti több váltást tartalmaz, vizsgálva, hogy a modell képes-e megőrizni a kontextust és alkalmazkodni az új bevitelekhez. A párbeszédek 8 feladatkategória szerint vannak csoportosítva:

• Writing (szövegírás) — kreatív készségek vizsgálata (például blogbejegyzés írása).
• Roleplay (szerepjáték-párbeszéd) — meghatározott szerepekben zajló párbeszédek szimulálása.
• Extraction (információkinyerés) — tények kinyerésének képessége a megadott kontextusból.
• Reasoning (logikai érvelés) — logikai gondolkodást igénylő feladatok megoldása.
• Math (matematika) — matematikai feladatok megoldása.
• Coding (programozás) — kód írása vagy hibakeresés.
• STEM (természettudományok és műszaki területek) — természettudományos területekről szóló kérdések.
• Humanities (humán tudományok) — történelemmel, irodalommal, társadalomtudományokkal kapcsolatos kérdések.

Minden kategóriában 10 párbeszédes feladat szerepel. A feladatok szándékosan tartalmaznak rafinált folytatásokat (például hirtelen pontosító kérdéseket), hogy a modellt feltételesen „valódi" beszélgetési körülmények között teszteljék.

Az értékelési módszer: LLM-as-a-Judge

Az MT-Bench fő jellemzője, hogy egy erős nyelvi modellt használ bíró szerepében a válaszok automatizált értékeléséhez (LLM-as-a-Judge). Az eredeti munkában ezt a szerepet a GPT-4 modell töltötte be.

Az értékelési eljárás a következőképpen épül fel: 1. Minden párbeszédes forgatókönyvhöz a résztvevő modellek válaszokat generálnak. 2. A bíró modell (GPT-4) összehasonlítja ezeket a válaszokat (páros összehasonlítás vagy pontozásos skálán történő értékelés formájában), és döntést hoz az előnyösebb válaszról.

Az automatizált bíráskodás kiváltja a munkaigényes kézi jelölést. A kutatók kimutatták, hogy a GPT-4 mint bíró értékelései több mint 80%-ban egyeznek az emberi szakértők eredményeivel, ami összevethető az emberek egymás közötti egyezési arányával. Ez a módszer megbízhatóságát és az értékelések közvetlen emberi részvétel nélküli skálázásának lehetőségét bizonyítja. Az objektivitás növelése érdekében azonosították és mérsékelték a bíró modell lehetséges torzításait, mint például a pozíciós torzítás (az első válasz előnyben részesítése), a szószámbeli torzítás (a hosszabb válasz előnyben részesítése) és az önfelmagasztalás (saját stílusú válaszok iránti elnézés) hatásait.

Eredmények és alkalmazás

Az MT-Bench lehetővé tette a jelenlegi modellek közötti minőségbeli különbségek azonosítását. A logikai érvelés, a matematika és a programozás kategóriákban a GPT-4 jelentősen felülmúlta a korábbi verziókat (például a GPT-3.5-öt). Ez megerősítette, hogy a nagyobb modellek jobban megőrzik a kontextust a párbeszéd több lépésén keresztül.

Az eredmények gyakorlati felhasználása érdekében az LMSYS csapata elindított egy nyilvános rangsort, ahol a modellek az átlagos MT-Bench pontszám és a Chatbot Arena Elo-besorolása alapján kerülnek rangsorolásra. Ez a rangsor rendszeresen frissül, tükrözve az iparág fejlődését. Maga a dataset és a futtatáshoz szükséges kód nyilvánosan elérhetővé vált, lehetővé téve a független fejlesztők számára saját modelljeik tesztelését.

Korlátok és kritika

Sikeres alkalmazása ellenére az MT-Bench és az LLM-as-a-Judge megközelítés számos korláttal rendelkezik:

• A bíró tökéletlensége. A bíró modell (például a GPT-4) nem mindenható: nem mindig ismeri fel a tesztelt modellek válaszaiban lévő ténybeli hibákat vagy hallucinációkat.
• A logika és a matematika értékelésének nehézségei. Az LLM-bíró esetleg nem képes teljes egészében végigkövetni az összetett érvelést vagy ellenőrizni egy bizonyítást, ami értékelési hibákhoz vezethet.
• Torzítások (Biases). A mérséklő intézkedések ellenére a bíró modell megőrizhet bizonyos elfogultságot egy adott válaszstílus vagy -formátum iránt.

Ezek a szempontok azt jelzik, hogy kritikus fontosságú alkalmazásokban még mindig kívánatos az emberi felügyelet vagy kombinált értékelési módszerek alkalmazása.

Fejlesztés és bővítések

Az MT-Bench sikere ösztönözte a bővített verziók megjelenését. 2024-ben bevezették az MT-Bench-101 módszertant, amely a modellek párbeszédbeli képességeinek még részletesebb elemzésére törekszik. A szerzők háromszintű készségtaxonómiát alakítottak ki, és lényegesen nagyobb datasetet gyűjtöttek össze, ami lehetővé tette a modellek viselkedésében mutatkozó finom különbségek azonosítását a párbeszéd különböző szakaszaiban.

Hivatkozások

• Az MT-Bench adatait tartalmazó hivatalos GitHub-repozitórium

Irodalom

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.