MT-Bench (benchmark) (PL)

MT-Bench (skrót od ang. Multi-Turn Benchmark, «wieloetapowy benchmark») — to wzorcowy zestaw zadań testowych (benchmark) służący do oceny dużych modeli językowych (LLM) w warunkach wieloetapowego dialogu. Benchmark został zaproponowany w 2023 roku przez zespół badaczy LMSYS (na czele z Lianminem Zhengiem, Lianmin Zheng) jako część metody LLM-as-a-Judge («LLM w roli sędziego») służącej do obiektywnego porównywania jakości chatbotów.

W odróżnieniu od tradycyjnych jednoetapowych testów (takich jak MMLU), MT-Bench sprawdza zdolność modeli do prowadzenia wieloetapowego dialogu, sekwencyjnego przyswajania nowych danych wejściowych oraz precyzyjnego przestrzegania instrukcji użytkownika. Celem jest bardziej realistyczna ocena działania chatbotów w złożonych scenariuszach, ukierunkowana na zgodność z preferencjami ludzkimi i praktycznymi wymaganiami systemów konwersacyjnych.

Przesłanki powstania

Rozwój dialogowych modeli LLM, takich jak ChatGPT, GPT-4 i Vicuna, ujawnił przepaść między tradycyjnymi metrykami jakości a rzeczywistą percepcją odpowiedzi przez użytkowników. Okazało się, że poprawa modelu z punktu widzenia zgodności z ludzkimi instrukcjami (poprzez RLHF) nie zawsze przekłada się na wyższe wyniki w starych, jednoetapowych benchmarkach. Testy takie jak MMLU czy HELM często nie rozróżniają ulepszonych («wyrównanych») chatbotów od ich modeli bazowych. Wskazuje to na ograniczoność dawnych metodyk, które nie odzwierciedlają jakości wieloetapowej interakcji i instrukcji w otwartej formie.

MT-Bench pojawił się jako odpowiedź na ten problem, oferując zestaw pytań otwartych w formacie dialogu, który koncentruje się na dwóch aspektach: 1. Umiejętności modelu podtrzymywania spójnej rozmowy przez kilka kroków (turns). 2. Precyzyjnym przestrzeganiu złożonych instrukcji użytkownika.

Struktura i zawartość benchmarku

MT-Bench składa się z 80 starannie dobranych wieloetapowych scenariuszy dialogowych, obejmujących różne typy zadań. Każdy scenariusz zawiera serię kilku wymian między użytkownikiem a modelem, sprawdzając zdolność modelu do utrzymania kontekstu i adaptacji do nowych danych wejściowych. Dialogi są pogrupowane według 8 kategorii zadań:

• Writing (tworzenie tekstu) — sprawdzanie umiejętności twórczych (np. pisanie bloga).
• Roleplay (rozmowa w rolach) — symulowanie dialogów w określonych rolach.
• Extraction (wydobywanie informacji) — umiejętność wyciągania faktów z dostarczonego kontekstu.
• Reasoning (rozumowanie logiczne) — rozwiązywanie zadań wymagających logicznego myślenia.
• Math (matematyka) — rozwiązywanie zadań matematycznych.
• Coding (programowanie) — pisanie lub debugowanie kodu.
• STEM (nauki ścisłe i techniczne) — pytania z dziedzin przyrodniczych i technicznych.
• Humanities (wiedza humanistyczna) — pytania z historii, literatury i nauk społecznych.

W każdej kategorii znajduje się po 10 zadań dialogowych. Zadania celowo zawierają podchwytliwe kontynuacje (np. nieoczekiwane pytania doprecyzowujące), aby przetestować model w warunkach zbliżonych do «prawdziwej» rozmowy.

Metodyka oceny: LLM-as-a-Judge

Kluczową cechą MT-Bench jest wykorzystanie silnego modelu językowego w roli sędziego do zautomatyzowanej oceny odpowiedzi (LLM-as-a-Judge). W oryginalnej pracy w tej roli występował model GPT-4.

Procedura oceny przebiega następująco: 1. Dla każdego scenariusza dialogowego kilka modeli uczestniczących generuje odpowiedzi. 2. Model-sędzia (GPT-4) porównuje te odpowiedzi (w formacie porównania parowego lub oceny w skali punktowej) i wydaje werdykt o preferencji.

Zautomatyzowane sędziowanie zastępuje pracochłonne ręczne oznaczanie. Badacze wykazali, że oceny GPT-4 jako sędziego wykazują ponad 80% zgodności z wynikami ekspertów-ludzi, co jest porównywalne ze zgodnością między samymi ludźmi. Świadczy to o wiarygodności metody i możliwości skalowania ocen bez bezpośredniego udziału człowieka. W celu zwiększenia obiektywności uwzględniono i zniwelowano potencjalne odchylenia modelu-sędziego, takie jak efekt pozycyjnego odchylenia (preferencja pierwszej odpowiedzi), gadatliwości (preferencja dłuższej odpowiedzi) oraz samochwalstwa (pobłażliwość wobec odpowiedzi w własnym stylu).

Wyniki i zastosowanie

MT-Bench pozwolił na ujawnienie wyraźnych różnic w jakości współczesnych modeli. W kategoriach rozumowania logicznego, matematyki i programowania GPT-4 znacząco przewyższył poprzednie wersje (np. GPT-3.5). Potwierdziło to, że większe modele lepiej utrzymują kontekst na kolejnych etapach dialogu.

Do praktycznego wykorzystania wyników zespół LMSYS uruchomił publiczny leaderboard, gdzie modele są klasyfikowane według średniego wyniku MT-Bench i ratingu Elo z Chatbot Arena. Ten ranking jest regularnie aktualizowany, odzwierciedlając postęp w branży. Sam dataset oraz kod do jego uruchomienia zostały udostępnione publicznie, co pozwala niezależnym deweloperom testować własne modele.

Ograniczenia i krytyka

Pomimo skutecznego zastosowania, MT-Bench i podejście LLM-as-a-Judge mają szereg ograniczeń:

• Niedoskonałość sędziego. Model-sędzia (np. GPT-4) nie jest wszechmocny: nie zawsze rozpoznaje błędy faktyczne lub halucynacje w odpowiedziach testowanych modeli.
• Trudności z oceną logiki i matematyki. Sędzia LLM może nie być w stanie w pełni prześledzić złożonego rozumowania lub zweryfikować dowodu, co grozi błędami podczas oceny.
• Odchylenia (Biases). Pomimo działań łagodzących, model-sędzia może zachowywać stronniczość wobec określonego stylu lub formatu odpowiedzi.

Te aspekty oznaczają, że w krytycznie ważnych zastosowaniach wciąż pożądany jest nadzór człowieka lub kombinowane metody oceny.

Rozwój i rozszerzenia

Sukces MT-Bench pobudził powstanie rozszerzonych wersji. W 2024 roku zaproponowano metodykę MT-Bench-101, ukierunkowaną na jeszcze bardziej szczegółową analizę zdolności modeli w dialogu. Autorzy stworzyli trzystopniową taksonomię umiejętności i zebrali znacznie większy dataset, co pozwoliło ujawnić subtelne różnice w zachowaniu modeli na różnych etapach dialogu.

Odnośniki

• Oficjalne repozytorium z danymi MT-Bench na GitHub

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.