Benchmarks des LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Les benchmarks des grands modèles de langage sont des ensembles de tests standardisés conçus pour mesurer, comparer et évaluer la qualité et les capacités des grands modèles de langage (LLM)[1]. Généralement, chaque benchmark se compose d'un ensemble fixe de tâches (par exemple, des questions, des textes ou des instructions) pour lesquelles les réponses correctes ou les critères d'évaluation sont connus à l'avance. Cette approche garantit une comparaison objective des différents modèles dans des conditions identiques, ce qui permet de suivre les progrès dans le domaine et d'identifier les forces et les faiblesses des modèles[2].

L'utilisation régulière des benchmarks joue un rôle clé dans le développement des LLM, en incitant les développeurs à améliorer leurs modèles et en assurant la transparence et la comparabilité des résultats au sein de la communauté scientifique. L'évolution des benchmarks reflète le développement des LLM eux-mêmes : des tâches simples de compréhension du langage aux tests complexes évaluant le raisonnement en plusieurs étapes, le sens commun, l'éthique et la sécurité[3].

Principales catégories et exemples

Les benchmarks pour LLM couvrent une variété de compétences et de domaines d'application. Ci-dessous sont présentées les principales catégories et les ensembles de tâches les plus connus dans chacune d'elles.

Compréhension générale du langage

Cette catégorie évalue les capacités fondamentales du modèle à comprendre et à interpréter le langage naturel.

  • GLUE (General Language Understanding Evaluation, 2019) — l'un des premiers benchmarks complets, comprenant un ensemble de tâches variées allant de la détection de sentiment à l'évaluation de la cohérence logique du texte. Les résultats de toutes les tâches sont agrégés en un score unique, ce qui a permis de comparer les premiers modèles sur la base de leur efficacité globale[4].
  • SuperGLUE (2019) — le successeur « renforcé » de GLUE, développé en réponse au fait que les modèles ont rapidement atteint un niveau proche de celui de l'homme sur ce benchmark. SuperGLUE inclut des tâches plus difficiles, nécessitant une compréhension approfondie du contexte et la capacité de tirer des conclusions[5].
  • WinoGrande (2019) — une version étendue du défi Winograd Schema. Il contient 44 000 tâches de résolution de pronoms ambigus dans des phrases, ce qui exige du sens commun pour choisir la bonne interprétation[6].

Benchmarks multitâches et complexes

Ces ensembles testent les modèles sur un large éventail de connaissances et de compétences, allant au-delà des simples tâches linguistiques.

  • MMLU (Massive Multitask Language Understanding, 2020) — un ensemble de tâches sous forme de questionnaire couvrant 57 domaines, des matières scolaires aux connaissances professionnelles spécialisées (droit, médecine). MMLU mesure l'étendue des connaissances du modèle[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — le plus grand benchmark collaboratif au moment de sa création, développé par plus de 400 auteurs. Il comprend plus de 200 tâches sur des sujets très variés, de la linguistique à la physique, afin de tester les modèles au-delà de la simple correspondance de motifs et de déterminer leurs limites dans des situations non standard[8].

Sens commun et véracité

Ces benchmarks évaluent la capacité du modèle à tirer des conclusions logiques sur des situations de la vie quotidienne et à éviter de propager de fausses informations.

  • HellaSwag (2019) — teste le sens commun à travers une tâche consistant à choisir la fin la plus plausible pour une description de situation. La particularité de ce benchmark est la présence de « pièges » : les réponses incorrectes sont générées automatiquement et semblent très plausibles, ce qui exige du modèle une compréhension profonde du contexte[9].
  • TruthfulQA (2021) — mesure la propension du modèle à propager des mythes populaires et des idées fausses. Il contient des questions pour lesquelles la réponse courante sur Internet est incorrecte (par exemple, « Les vaccins provoquent-ils l'autisme ? »). Le modèle doit résister aux stéréotypes erronés et fournir une réponse factuellement correcte[10].

Problèmes mathématiques

  • GSM8K (2021) — comprend des milliers de problèmes de mathématiques de niveau école primaire. Chaque problème nécessite une séquence de 2 à 8 étapes arithmétiques pour obtenir la réponse, ce qui teste la capacité du modèle à effectuer un raisonnement en plusieurs étapes[11].
  • MATH (2021) — un ensemble plus complexe, composé de problèmes issus d'olympiades et de concours de mathématiques. Il couvre des domaines tels que l'algèbre, la géométrie et la théorie des nombres, exigeant du modèle la maîtrise de méthodes de résolution non triviales[12].

Génération de code logiciel

  • HumanEval (2021) — un test standard pour évaluer la capacité d'un LLM à écrire du code. Il contient 164 problèmes de programmation où le modèle doit générer du code Python correct à partir d'une description donnée. L'exactitude est évaluée à l'aide de tests unitaires[13].
  • SWE-bench (2023) — un benchmark plus réaliste, qui rassemble des descriptions de problèmes réels (issues) de GitHub. Le modèle doit générer un patch (un fragment de code) qui résout le problème. Cela nécessite de comprendre un grand volume de code existant et un raisonnement complexe en plusieurs étapes[14].

Évaluation des modèles conversationnels

  • Chatbot Arena (2024) — une plateforme en ligne ouverte où deux modèles anonymes participent à un dialogue par paires avec un utilisateur. Après le dialogue, l'utilisateur vote pour la meilleure réponse. Sur la base de milliers de ces « duels », un classement Elo des préférences des utilisateurs est établi, reflétant la qualité des modèles en conversation réelle[15].
  • MT-Bench (2023) — un benchmark automatisé pour les tests de résistance des compétences conversationnelles. Il contient 80 paires de questions simulant un dialogue à plusieurs tours. Les réponses des modèles sont évaluées par un autre LLM plus puissant (« LLM-as-a-judge », par exemple GPT-4) selon une échelle prédéfinie[16].

Sécurité et fiabilité

  • AgentHarm (2024) — un benchmark évaluant la propension des agents LLM à exécuter des instructions dangereuses. Il comprend 110 scénarios présentant des tâches malveillantes (allant de la fraude à la cybercriminalité). Un bon modèle doit refuser d'exécuter de telles requêtes[17].
  • SafetyBench (2023) — un vaste ensemble de plus de 11 000 questions testant la constance avec laquelle un modèle évite de générer du contenu inapproprié et des conseils nuisibles, y compris en réponse à des requêtes provocatrices[18].

Limites et problèmes actuels

  • Contamination des données : La principale menace à la fiabilité de l'évaluation est la fuite des données de test dans les ensembles d'entraînement. Le modèle peut simplement mémoriser les réponses, ce qui gonfle artificiellement ses résultats[2].
  • Saturation des benchmarks : À mesure que les modèles évoluent, leurs performances sur les anciens benchmarks (comme GLUE) atteignent un plafond, et le test devient alors inutile pour distinguer les nouveaux modèles plus puissants. Cela nécessite le développement constant de références plus complexes[2].
  • Écart avec la réalité : Des scores élevés sur les benchmarks ne garantissent pas toujours des performances fiables du modèle dans des scénarios réels et non structurés. L'environnement réel est souvent plus riche et plus imprévisible que n'importe quel ensemble de tâches fixes[1].

Liens externes

Références

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.info/int/index.php?title=Benchmarks_des_LLM&oldid=759"