ELO‑ранжирование моделей

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

ELO-ранжирование языковых моделей — это метод оценки и сравнения больших языковых моделей (LLM), основанный на адаптированной системе рейтингов Эло, изначально разработанной для шахмат. Данный подход использует попарные сравнения моделей на основе человеческих предпочтений для создания единого рейтинга, отражающего относительную производительность моделей.

Хотя подход в обиходе называют «ELO-ранжированием» — по системе рейтингов Эло, применявшейся в первой версии, — лидерборд впоследствии перешёл к формулировке Брэдли-Терри с оценкой методом максимального правдоподобия, а операторы переименовали публикуемую метрику в Arena Score. Слово «Elo» тем не менее сохраняется как неформальное обозначение получаемых оценок.[1][2]

Наиболее известная реализация подхода — платформа LMArena (изначально LMSYS Chatbot Arena, позднее LMArena). В отличие от традиционных бенчмарков, измеряющих абсолютные показатели на конкретных задачах, ELO-системы определяют относительные способности моделей на основе прямых сравнений их ответов человеческими оценщиками. Основной принцип заключается в том, что пользователи сравнивают ответы двух анонимных моделей на один и тот же запрос и выбирают лучший вариант. На основе этих предпочтений рассчитывается рейтинг каждой модели, где более высокий рейтинг указывает на превосходство в человеческих оценках[3]. При этом более высокая оценка отражает более сильное совокупное человеческое предпочтение в рамках конкретного состава пользователей, промптов и конкурирующих моделей платформы — а не универсальную, не зависящую от задач меру способностей модели.[3]

История развития

Происхождение системы ELO

Система рейтингов Эло названа в честь Арпада Эло (Arpad Emmerich Elo, венг. Élő Árpád Imre; 1903–1992) — венгерско-американского физика и шахматного мастера, преподававшего физику в университете Маркетт в Милуоки[4]. Поскольку «Elo» — фамилия, она пишется в смешанном регистре, а не как аббревиатура.[5] Эло разработал систему в конце 1950-х годов как более обоснованную со статистической точки зрения замену прежней системы Харкнесса, точность оценок которой вызывала нарекания; впервые он описал её в серии работ начиная с 1961 года.[6]

  • 1960: Шахматная федерация США (USCF) официально приняла систему Эло.
  • 1970: Всемирная шахматная федерация (FIDE) начала использовать систему[6].

Адаптация для языковых моделей

Применение ELO для оценки LLM началось с запуска платформы LMSYS Chatbot Arena, публично представленной в блоге 3 мая 2023 года; опубликованный тогда же первый лидерборд уже охватывал данные голосования, собранные примерно с 24 апреля 2023 года[3]. Платформа была создана организацией LMSYS (Large Model Systems Organization) — коллаборацией исследователей из UC Berkeley SkyLab, UC San Diego и Carnegie Mellon University[7]; сама LMSYS выросла из межуниверситетского сотрудничества, включавшего UC Berkeley, Стэнфордский университет, UC San Diego, Carnegie Mellon University и MBZUAI[8].

В дальнейшем платформа была переименована и выделена в самостоятельную структуру: в сентябре 2024 года она переехала на отдельный сайт lmarena.ai (LMArena), в апреле 2025 года команда инкорпорировалась как независимая компания, а 28 января 2026 года платформа была переименована в Arena и переехала на домен arena.ai. Старые ссылки, например лидерборд LMSYS на Hugging Face, стали в основном историческими. Подробная хронология приведена в статье LMArena.[9]

Методология

Математические основы

Классическая формула ELO

В классической системе Эло рейтинг обновляется инкрементально после каждого отдельного сравнения. Ожидаемая вероятность победы модели А над моделью В задаётся логистической кривой:

P(A>B)=11+10(RB−RA)/400

где RA и RB — текущие рейтинги моделей до сравнения. После наблюдения результата рейтинг модели А обновляется по формуле:

R'A=RA+K×(SA−EA)

где K — коэффициент развития (К-фактор), SA — фактический результат (1 для победы, 0,5 для ничьей, 0 для поражения), а EA — ожидаемый результат[10][6].

Главный недостаток этого подхода при оценке LLM — зависимость от порядка сравнений: рейтинги пересчитываются шаг за шагом, поэтому итоговый результат может меняться в зависимости от последовательности обработки матчей. Такое поведение уместно для людей, чьё мастерство меняется со временем, но меньше подходит моделям, чьё поведение по существу зафиксировано (модели с открытыми весами фактически статичны, тогда как хостингуемые проприетарные модели могут незаметно меняться — именно поэтому операторы стараются закреплять конкретные версии API).[1]

Модель Брэдли-Терри

Чтобы устранить зависимость от порядка сравнений, современные версии платформы (включая LMSYS Chatbot Arena) приняли модель Брэдли-Терри. Вероятность того, что ответ модели i будет предпочтен ответу модели j, вычисляется как:

P(i>j)=eβieβi+eβj

где βi и βj — коэффициенты (рейтинги) моделей. Вместо обновления оценок после каждого сравнения система оценивает все коэффициенты одновременно по всему набору собранных голосов методом максимального правдоподобия (MLE) — это эквивалентно подгонке логистической регрессии по всем попарным сравнениям. Вычисление становится глобальным и не зависит от хронологического порядка[3][11].

Для читаемости платформа масштабирует подобранные коэффициенты — по соглашению они умножаются на 400 и сдвигаются на 1000, — чтобы оценки попадали в привычный, «шахматный» диапазон. Это преобразование не влияет на предсказания; и поскольку модель Брэдли-Терри использует иную логистическую базу, чем классическая формула Эло, итоговые числа не совпадают численно с шахматными рейтингами Эло — ещё одна причина, по которой операторы приняли название «Arena Score». Доверительные интервалы вычисляются бутстрэппингом; ничьи учитываются как полпобеды и полпоражения.[1]

Переход от инкрементальной онлайн-системы Эло к формулировке Брэдли-Терри был объявлен 7 декабря 2023 года; мотивацией стали доступность полной истории сравнений и статичность большинства моделей, из-за чего централизованная оценка оказывается одновременно осуществимой и более стабильной.[1] В июне 2024 года операторы переименовали колонку «Elo rating» в «Arena Score», отметив, что величина фактически являлась коэффициентом Брэдли-Терри, а не классическим рейтингом Эло.[2]

Контроль стиля

В августе 2024 года платформа ввела контроль стиля (англ. style control). Стилистические атрибуты ответов — такие как длина ответа и использование Markdown-заголовков, жирного шрифта и списков — добавляются в регрессию Брэдли-Терри как явные ковариаты, и их оценённый эффект исключается при вычислении оценки модели. Цель — отделить содержательное качество модели от мешающих стилистических предпочтений, чтобы модель не вознаграждалась просто за более длинные или сильнее форматированные ответы.[12]

Процесс оценки в Chatbot Arena

  1. Анонимное сравнение: Пользователи взаимодействуют с двумя анонимными моделями параллельно.
  2. Голосование: После получения ответов пользователи выбирают предпочтительный вариант (или фиксируют ничью).
  3. Раскрытие идентичности: Названия моделей показываются только после голосования.
  4. Обновление рейтинга: Рейтинги обновляются на основе результатов голосования, как правило, пакетной обработкой для повышения стабильности[3].

Преимущества и недостатки

Преимущества

  • Простота и интерпретируемость: Система легка для понимания и реализации.
  • Масштабируемость: Позволяет оценивать большое количество моделей без необходимости полных попарных сравнений.
  • Соответствие человеческим предпочтениям: Рейтинг напрямую отражает реальные предпочтения пользователей, а не абстрактные метрики.

Недостатки и ограничения

  • Волатильность. Отдельные вычисления ELO могут быть нестабильны; рейтинги становятся надёжными только после большого числа сравнений.[11]
  • Нетранзитивность. Предпочтения не обязаны удовлетворять условию A>B и B>C → A>C, что противоречит ключевому допущению рейтинговых моделей.[11]
  • Чувствительность к выборке и порядку. Надёжные рейтинги требуют больших объёмов данных, а при классической схеме результат чувствителен к порядку агрегирования сравнений.[11]
  • Смещение стиля и многословности. Пользователи могут предпочитать более длинные или сильнее форматированные ответы, а также различаться культурно; механизм контроля стиля введён именно для противодействия этому.[12]
  • Смещение распределения промптов. Оценка отражает распределение промптов, отправляемых на платформе, а не равномерное покрытие всех возможных задач.[13]
  • Нестационарность хостингуемых моделей. Проприетарные модели, обслуживаемые через API, могут меняться без предупреждения, поэтому платформа старается фиксировать конкретные версии.[1]
  • Хрупкость верхних позиций. Поскольку все рейтинги связаны между собой, верхние позиции могут быть чувствительны к исчезающе малым объёмам данных: одно из исследований показало, что удаление всего 0,003 % человеческих предпочтений способно сменить модель на первой строчке.[14]
  • Уязвимость к накрутке голосов. Взаимосвязанный механизм рейтингов допускает «вездесущую» манипуляцию — влияние на ранг целевой модели через голосования, в которых целевая модель даже не участвует, — с использованием лишь сотен специально сконструированных голосов.[15]
  • Институциональные смещения и непрозрачность. Часть исследователей утверждает, что закрытое претестирование перед релизом, избирательное раскрытие результатов и асимметричный доступ к данным сравнений могут искажать лидерборд — например, крупные провайдеры способны тестировать множество закрытых вариантов и публиковать только лучший, тогда как модели с открытыми весами депрекируются чаще. Операторы платформы оспорили масштаб этих эффектов, признав при этом необходимость более ясной политики и большей прозрачности.[16][17]
  • Надёжность аннотаторов. Стандартные методы в духе Эло придают каждому голосу одинаковый вес, игнорируя различия в надёжности голосующих (людей или моделей). Фреймворки вроде am-ELO совместно оценивают методом максимального правдоподобия и силу модели, и надёжность каждого аннотатора, позволяя ослаблять влияние ненадёжных или недобросовестных голосующих.[18]
  • Нетранзитивность в автоматизированных вариантах (LLM-как-судья). Сама Chatbot Arena опирается на человеческие голоса, но многие производные бенчмарки, масштабирующие подход (например, AlpacaEval и MT-Bench), используют модель-судью. В этой настройке судьи проявляют смещение позиции и нетранзитивные предпочтения, из-за чего итоговые рейтинги становятся чувствительными к выбору базовой модели.[19]

Заключение

Ранжирование на основе предпочтений (в духе Эло) стало важной частью экосистемы оценки языковых моделей, предлагая интуитивно понятный способ сравнения моделей на открытых задачах по человеческим суждениям. Переход от классического обновления Эло к формулировке Брэдли-Терри/MLE вместе с контролем стиля и бутстрэп-доверительными интервалами сделал рейтинги существенно стабильнее и лучше калиброванными. В то же время документированные проблемы — волатильность, нетранзитивность, смещения выборки и стиля, хрупкость верхних позиций, асимметрия раскрытия данных и подверженность манипуляциям — показывают, что ни одна отдельно взятая оценка предпочтений не отражает возможности модели в полной мере. Дальнейшая работа, включая учитывающие надёжность аннотаторов модели вроде am-ELO, указывает на то, что будущее оценки LLM — в комбинировании множественных подходов для более полной картины возможностей моделей.

Ссылки

См. также

Литература

  • Elo, A. E. (1978). The Rating of Chessplayers, Past and Present. Arco Publishing. archive.org.
  • Bradley, R. A.; Terry, M. E. (1952). Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika 39(3/4): 324–345.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Daynauth, R. et al. (2025). Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat. arXiv:2411.14483.
  • Liu, Y. et al. (2024). Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators. arXiv:2403.16950.
  • Chatzi, I.; Straitouri, E.; Thejaswi, S.; Gomez‑Rodriguez, M. (2024). Prediction‑Powered Ranking of Large Language Models. arXiv:2402.17826.
  • Xu, Y.; Ruis, L.; Rocktäschel, T.; Kirk, R. (2025). Investigating Non‑Transitivity in LLM‑as‑a‑Judge. arXiv:2502.14074.
  • Liu, Z. et al. (2025). am‑ELO: A Stable Framework for Arena‑based LLM Evaluation. arXiv:2505.03475.
  • Tang, S.; Wang, Y.; Jin, C. (2025). Is Elo Rating Reliable? A Study Under Model Misspecification. arXiv:2502.10985.
  • Nair, A. et al. (2025). Tournament of Prompts: Evolving LLM Instructions Through Structured Debates and Elo Ratings. arXiv:2506.00178.
  • Ameli, S. et al. (2024). A Statistical Framework for Ranking LLM‑Based Chatbots. arXiv:2412.18407.
  • Huang, J. Y.; Shen, Y.; Wei, D.; Broderick, T. (2025). Dropping Just a Handful of Preferences Can Change Top LLM Rankings. arXiv:2508.11847.
  • Min, R. et al. (2025). Improving Your Model Ranking on Chatbot Arena by Vote Rigging. arXiv:2501.17858.
  • Singh, S. et al. (2025). The Leaderboard Illusion. arXiv:2504.20879.
  • Sun, H.; Shen, Y.; Ton, J.‑F. (2024). Rethinking Bradley‑Terry Models in Preference‑Based Reward Modeling: Foundations, Theory, and Alternatives. arXiv:2411.04991.
  • Glickman, M. E. (2025). Paired Comparison Models with Strength‑Dependent Ties and Order Effects. arXiv:2505.24783.
  • Glickman, M. E. (2025). Rating Competitors in Games with Strength‑Dependent Tie Probabilities. arXiv:2506.11354.
  • Hua, H.-F.; Dong, J.; Liu, Z. (2023). Rating of Players by Laplace Approximation and Dynamic Bradley–Terry Model. arXiv:2310.10386.

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 1,4 «Chatbot Arena: New models & Elo system update». LMSYS Org, 7 декабря 2023. [1]
  2. ↑ 2,0 2,1 «The Multimodal Arena is Here!». LMSYS Org, 27 июня 2024. [2]
  3. ↑ 3,0 3,1 3,2 3,3 3,4 «Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings». LMSYS Org. [3]
  4. ↑ «Elo rating system». В Wikipedia, The Free Encyclopedia. [4]
  5. ↑ «Anniversary of Arpad Elo – rating system that changed chess world». International Chess Federation (FIDE). [5]
  6. ↑ 6,0 6,1 6,2 Elo, A. E. (1978). The Rating of Chessplayers, Past and Present. Arco Publishing. (В предисловии: система использовалась USCF с 1960 года и была принята FIDE в 1970-м.)
  7. ↑ «LMSYS Chatbot Arena: The Ultimate LLM Leaderboard». Originality.AI. [6]
  8. ↑ «LMSYS Chatbot Arena: Live and Community-Driven LLM Evaluation». LMSYS Org, 1 марта 2024. [7]
  9. ↑ «Announcing a New Site for Chatbot Arena». LMSYS Org, 20 сентября 2024. [8]
  10. ↑ «How Does the Elo Rating System Work?». History Hit. [9]
  11. ↑ 11,0 11,1 11,2 11,3 Boubdir, M., et al. «Elo Uncovered: Robustness and Best Practices in Language Model Evaluation». arXiv:2311.17295. [10]
  12. ↑ 12,0 12,1 «Does style matter? Disentangling style and substance in Chatbot Arena». LMSYS Org, 28 августа 2024. [11]
  13. ↑ Chiang, W.-L. et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference». arXiv:2403.04132. [12]
  14. ↑ Huang, J. Y. et al. «Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings». arXiv:2508.11847. [13]
  15. ↑ Min, R. et al. «Improving Your Model Ranking on Chatbot Arena by Vote Rigging». arXiv:2501.17858. [14]
  16. ↑ Singh, S. et al. (2025). «The Leaderboard Illusion». arXiv:2504.20879. [15]
  17. ↑ «LMArena Response to 'The Leaderboard Illusion' Writeup». Arena / LMArena Blog. [16]
  18. ↑ Liu, Z. et al. «am-ELO: A Stable Framework for Arena-based LLM Evaluation». arXiv:2505.03475. [17]
  19. ↑ Xu, Y. et al. «Investigating Non-Transitivity in LLM-as-a-Judge». arXiv:2502.14074. [18]