Benchmark-uri LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Benchmark-urile modelelor lingvistice de mari dimensiuni sunt seturi standardizate de teste destinate măsurării, comparării și evaluării calității și capacităților modelelor lingvistice de mari dimensiuni (LLM)[1]. De obicei, fiecare benchmark reprezintă un set fix de sarcini (de exemplu, întrebări, texte sau instrucțiuni), pentru care răspunsurile corecte sau criteriile de evaluare sunt cunoscute dinainte. Această abordare asigură o comparație obiectivă a diferitelor modele în condiții identice, permițând urmărirea progresului în domeniu și identificarea punctelor forte și slabe ale modelelor[2].

Utilizarea regulată a benchmark-urilor joacă un rol esențial în dezvoltarea LLM, stimulând dezvoltatorii să îmbunătățească modelele și asigurând transparența și comparabilitatea rezultatelor în comunitatea științifică. Evoluția benchmark-urilor reflectă dezvoltarea LLM înseși: de la sarcini simple de înțelegere a limbajului până la teste complexe care verifică raționamentul în mai mulți pași, bunul simț, etica și siguranța[3].

Categorii principale și exemple

Benchmark-urile LLM acoperă o varietate de competențe și domenii de aplicare. Mai jos sunt prezentate categoriile principale și cele mai cunoscute seturi de sarcini din fiecare.

Înțelegerea generală a limbajului

Această categorie evaluează capacitățile de bază ale modelului de înțelegere și interpretare a limbajului natural.

  • GLUE (General Language Understanding Evaluation, 2019) — unul dintre primele benchmark-uri complexe, incluzând o serie de sarcini variate: de la determinarea tonalității până la evaluarea coerenței logice a textului. Rezultatele tuturor sarcinilor sunt agregate într-un scor unic, ceea ce a permis compararea modelelor timpurii după eficiența lor cumulată[4].
  • SuperGLUE (2019) — succesorul „consolidat" al GLUE, dezvoltat ca răspuns la faptul că modelele au atins rapid pe acesta un nivel aproape uman. SuperGLUE include sarcini mai dificile, care necesită o înțelegere profundă a contextului și capacitatea de a trage concluzii[5].
  • WinoGrande (2019) — o variantă extinsă a testului Winograd Schema. Conține 44 de mii de sarcini de rezolvare a ambiguităților pronominale în propoziții, care necesită bun simț pentru alegerea interpretării corecte[6].

Benchmark-uri multisarcină și complexe

Aceste seturi testează modelele pe un spectru larg de cunoștințe și abilități, depășind cadrul sarcinilor pur lingvistice.

  • MMLU (Massive Multitask Language Understanding, 2020) — o colecție de sarcini sub formă de test-grilă, acoperind 57 de domenii: de la discipline școlare până la cunoștințe profesionale specializate (drept, medicină). MMLU măsoară amploarea cunoștințelor enciclopedice ale modelului[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — cel mai mare benchmark colaborativ la momentul creării, elaborat de peste 400 de autori. Acesta include peste 200 de sarcini pe teme diverse, de la lingvistică la fizică, pentru a testa modelele dincolo de simpla potrivire de tipare și a le identifica limitele în situații nestandard[8].

Bun simț și veridicitate

Aceste benchmark-uri evaluează capacitatea modelului de a formula concluzii logice despre situații cotidiene și de a evita răspândirea informațiilor false.

  • HellaSwag (2019) — testează bunul simț printr-o sarcină de alegere a celei mai plauzibile continuări pentru descrierea unei situații. Particularitatea benchmark-ului constă în prezența „capcanelor": răspunsurile greșite sunt generate automat și par foarte plauzibile, ceea ce impune modelului o înțelegere profundă a contextului[9].
  • TruthfulQA (2021) — măsoară tendința modelului de a răspândi mituri populare și concepții greșite. Conține întrebări la care răspunsul frecvent întâlnit pe internet este incorect (de exemplu, „Vaccinurile provoacă autism?"). Modelului i se cere să nu cedeze stereotipurilor false și să ofere un răspuns corect din punct de vedere factual[10].

Probleme matematice

  • GSM8K (2021) — include mii de probleme matematice textuale de nivel școlar primar. Fiecare problemă necesită executarea unei secvențe de 2–8 pași aritmetici pentru obținerea răspunsului, testând astfel capacitatea modelului de raționament în mai mulți pași[11].
  • MATH (2021) — un set mai dificil, alcătuit din probleme de olimpiade și concursuri de matematică. Include secțiuni de algebră, geometrie și teoria numerelor, cerând modelului stăpânirea unor metode de rezolvare netriviale[12].

Generarea de cod sursă

  • HumanEval (2021) — test standard pentru evaluarea capacității LLM de a scrie cod. Conține 164 de sarcini de programare, în care modelul trebuie să genereze cod corect în Python pe baza unei descrieri date. Corectitudinea este evaluată cu ajutorul testelor unitare[13].
  • SWE-bench (2023) — un benchmark mai realist, care colectează descrieri de probleme reale (issues) de pe GitHub. Modelul trebuie să genereze un patch (fragment de cod) care să rezolve problema. Aceasta necesită înțelegerea unui volum mare de cod scris de alții și un raționament complex pas cu pas[14].

Evaluarea modelelor de dialog

  • Chatbot Arena (2024) — platformă online deschisă unde două modele anonime participă la un dialog în pereche cu utilizatorul. După dialog, utilizatorul votează care răspuns a fost mai bun. Pe baza miilor de astfel de „dueluri" se formează un rating Elo al preferințelor utilizatorilor, care reflectă calitatea modelelor în comunicarea directă[15].
  • MT-Bench (2023) — benchmark automatizat pentru testarea la stres a abilităților de dialog. Conține 80 de perechi de întrebări care simulează un dialog cu mai multe runde. Răspunsurile modelelor sunt evaluate de un alt LLM mai puternic („LLM-as-a-judge", de exemplu GPT-4) pe o scală prestabilită[16].

Siguranță și fiabilitate

  • AgentHarm (2024) — benchmark care evaluează tendința agenților LLM de a executa instrucțiuni periculoase. Include 110 scenarii reprezentând sarcini malițioase (de la fraudă la infracțiuni cibernetice). Un model bun trebuie să refuze executarea unor astfel de solicitări[17].
  • SafetyBench (2023) — un set amplu de peste 11 mii de întrebări care verifică în ce măsură modelul evită în mod consecvent generarea de conținut inadecvat și sfaturi dăunătoare, inclusiv la solicitări provocatoare[18].

Limitări și probleme actuale

  • Contaminarea datelor: Principala amenințare la adresa validității evaluării este scurgerea datelor de test în seturile de antrenament. Modelul poate pur și simplu să memoreze răspunsurile, ceea ce îi inflațează artificial rezultatele[2].
  • Saturarea benchmark-urilor: Pe măsură ce modelele evoluează, performanța lor pe benchmark-urile mai vechi (precum GLUE) atinge un plafon, iar testul încetează să mai fie util pentru diferențierea modelelor noi, mai puternice. Aceasta impune dezvoltarea continuă a unor etaloane mai dificile[2].
  • Decalajul față de realitate: Rezultatele ridicate pe benchmark-uri nu garantează întotdeauna funcționarea fiabilă a modelului în scenarii reale, nestructurate. Mediul real este adesea mai bogat și mai imprevizibil decât orice set fix de sarcini[1].

Referințe

  • Open LLM Leaderboard — clasament deschis al modelelor din comunitatea Hugging Face
  • Chatbot Arena Leaderboard — clasament al modelelor de chat bazat pe preferințele utilizatorilor

Note

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.info/int/index.php?title=Benchmark-uri_LLM&oldid=753"