HELM Benchmark
HELM (англ. Holistic Evaluation of Language Models — «холистическая оценка языковых моделей») — открытый фреймворк оценки и семейство бенчмарков для измерения возможностей, ограничений, эффективности и общественных рисков больших языковых моделей (LLM) и других базовых моделей. Он разработан в Стэнфордском центре исследований базовых моделей (CRFM) и представлен Перси Ляном (Percy Liang) и коллегами в статье 2022 года Holistic Evaluation of Language Models, опубликованной в журнале Transactions on Machine Learning Research в 2023 году[1].
HELM отличается от обычного бенчмарка, содержащего один фиксированный набор данных и одну главную метрику. Он объединяет таксономию сценариев оценки, стандартизированные процедуры промптинга и адаптации, множество метрик, единый интерфейс моделей, публичные промпты и ответы, воспроизводимое программное обеспечение и версионируемые веб-лидерборды. Название может относиться к общей методологии оценки, Python-фреймворку или одному из нескольких наборов бенчмарков, построенных на его основе[2].
Исходная оценка, позже названная HELM Classic, протестировала 30 языковых моделей от 12 организаций на 42 сценариях. Она включала 16 основных сценариев, оцениваемых по семи категориям метрик, и 26 дополнительных сценариев, объединённых в семь целевых оценок. Основными метриками были точность, калибровка, робастность, справедливость, предвзятость, токсичность и эффективность[1].
Изначально HELM задумывался как постоянно обновляемый «живой» бенчмарк. Однако 1 июня 2026 года проект перешёл в режим сопровождения (maintenance mode). Его код, документация, сырые результаты и существующие лидерборды остаются в открытом доступе, но Stanford CRFM больше не планирует добавлять новые функции или новые оценки в официальные лидерборды. Программное обеспечение сопровождается волонтёрами в меру возможностей[3].
Терминология и охват
Термин HELM Benchmark используется в нескольких связанных значениях:
| Значение | Описание |
|---|---|
| Методология оценки | Предложение оценивать языковые модели через широкое покрытие сценариев, множество метрик, стандартизированные условия и явное признание того, что осталось неоценённым. |
| HELM Classic | Конфигурация бенчмарка, представленная в исходной статье: 16 основных сценариев и 26 целевых сценариев. |
| Программный фреймворк | Расширяемый Python-пакет, стандартизирующий наборы данных, запросы к моделям, построение промптов, исполнение, метрики, хранение результатов и визуализацию. |
| Семейство бенчмарков | Версионируемые наборы и лидерборды, построенные на фреймворке, включая HELM Lite, HELM Capabilities, HELM Safety, VHELM, HEIM, MedHELM и AHELM. |
| Публичный репозиторий результатов | Веб-интерфейсы с агрегированными баллами, а также отдельными промптами, ответами моделей, метаданными прогонов и загружаемыми сырыми результатами. |
Исходный бенчмарк концентрировался на текстовых англоязычных моделях. Позднейшие проекты распространили те же принципы проектирования на многоязычные модели, медицину, корпоративные задачи, vision-language-модели, системы text-to-image и аудио-языковые модели.
Предпосылки и мотивация
Языковые модели — системы общего назначения, которые можно адаптировать к множеству задач с помощью промптинга, обучения в контексте, дообучения, инструментов и других методов. Модель, показывающая сильный результат на одном наборе данных, тем не менее может быть ненадёжной, предвзятой, неэффективной, плохо откалиброванной или бесполезной в другой области.
До HELM разработчики моделей часто оценивали разные системы на разных подборках бенчмарков. Полученные отчёты было трудно сравнивать, поскольку они различались по:
- наборам данных;
- шаблонам промптов;
- примерам few-shot;
- параметрам декодирования;
- парсерам вывода;
- метрикам;
- условиям доступа к моделям;
- обработке ошибок и отсутствующих результатов.
Исследователи HELM проанализировали покрытие оценок заметных моделей и подсчитали, что до их проекта средняя модель была протестирована лишь на 17,9 % из 16 основных сценариев HELM. У некоторых крупных моделей не было ни одного общего набора оценочных данных. HELM повысил среднее покрытие до 96,0 %, применив единый протокол оценки к одному и тому же набору моделей[1].
Проект был мотивирован тремя связанными проблемами:
- Разрежённое покрытие. Небольшого числа бенчмарков точности недостаточно, чтобы охарактеризовать широкий круг задач, в которых могут применяться модели общего назначения.
- Узость метрик. Одна точность не измеряет калибровку, робастность, межгрупповые различия, вредный вывод или потребление ресурсов.
- Отсутствие стандартизации. Баллы, полученные с разными промптами, примерами, парсерами и настройками сэмплирования, не обязательно сопоставимы.
HELM также стремился повысить прозрачность оценки. Многие коммерческие отчёты о моделях приводят агрегированные баллы, не публикуя точные промпты или ответы моделей. HELM, напротив, открывает выходы на уровне промптов, чтобы пользователи могли разобраться, почему изменилась метрика и отражает ли автоматическая оценка реальное поведение модели.
Принципы холистической оценки
Исходная статья определяет холистическую оценку через три главных элемента[1].
| Принцип | Смысл | Реализация в HELM |
|---|---|---|
| Широкое покрытие и признание неполноты | Оценка должна представлять множество задач, областей, языков и рисков, одновременно явно документируя важные пробелы. | HELM начинает с таксономии возможных сценариев и метрик и лишь затем выбирает выполнимое подмножество бенчмарка. |
| Измерение по нескольким метрикам | У каждого сценария применения может быть несколько желательных или нежелательных свойств, а не только точность выполнения задачи. | Основные сценарии оцениваются по точности, калибровке, робастности, справедливости, предвзятости, токсичности и эффективности там, где это применимо. |
| Стандартизация | Модели следует сравнивать в согласованных условиях оценки, чтобы различия по возможности объяснялись самими системами, а не обвязкой. | HELM стандартизирует сэмплирование сценариев, адаптацию промптов, примеры в контексте, настройки декодирования, обработку вывода, метрики и форматы результатов. |
Две дополнительные операционные практики стали центральными для проекта:
- Прозрачность. Промпты, ответы, промежуточная статистика и агрегированные результаты открыты для изучения.
- Воспроизводимость. Фреймворк, конфигурации и файлы результатов публикуются, чтобы третьи стороны могли повторить или расширить оценки.
Слово «холистический» не означает, что HELM претендует на измерение всех возможностей или рисков. Исходная статья явно перечисляет отсутствующие языки, задачи, метрики, семейства моделей и условия применения. Признание этих пробелов — часть методологии, а не случайное ограничение.
Таксономия сценариев
HELM использует сценарий как основную единицу оценки. В исходной концептуальной таксономии сценарий характеризуется тремя компонентами:
- Задача: что модель должна сделать — ответить на вопросы, резюмировать, найти информацию, классифицировать.
- Область: тематика, источник, население, институт или период времени, которые представлены данными.
- Язык: язык или языковая разновидность, на которой выполняется задача.
Измерение области можно проанализировать через вопросы:
- О чём содержание?
- Кто создал контент или в нём представлен?
- Когда контент был создан?
Такая структура призвана выявлять пробелы в покрытии. Например, бенчмарк может содержать много англоязычных наборов вопрос-ответ, но не иметь вопросов на пренебрегаемых диалектах, вопросов из отдельных географических регионов или актуальных данных, созданных после обучения модели.
В программном обеспечении несколько связанных терминов имеют более узкие значения[4]:
| Термин | Функция |
|---|---|
Scenario
|
Определяет задачу и распределение данных, порождает оценочные экземпляры. |
Instance
|
Содержит вход (например, вопрос или документ) и ноль или более эталонных выходов. |
Reference
|
Представляет приемлемый или размеченный выход, например вариант с несколькими вариантами ответа или резюме. |
Adapter
|
Преобразует экземпляры в запросы к модели согласно стратегии промптинга и адаптации. |
Request
|
Задаёт вход модели, параметры декодирования, лимиты токенов и другие настройки API. |
RequestResult
|
Хранит ответ модели и связанные метаданные, возвращённые слоем исполнения. |
Metric
|
Преобразует выходы модели и эталоны в статистики по экземплярам и агрегаты. |
RunSpec
|
Объединяет сценарий, модель, адаптер, метрики, преобразования данных и настройки исполнения для одной конфигурации оценки. |
Такое разделение позволяет оценивать один и тот же набор данных разными методами промптинга или метриками и переиспользовать один и тот же интерфейс моделей во множестве наборов бенчмарков.
HELM Classic
HELM Classic — ретроспективное название бенчмарка, представленного в исходной статье HELM. Его последний официальный релиз лидерборда — версия 0.4.0 от 17 ноября 2023 года[5].
Бенчмарк содержит два уровня:
- Основные сценарии (core scenarios), предназначенные для широкого стандартизированного сравнения с плотным покрытием несколькими метриками.
- Целевые оценки (targeted evaluations), предназначенные для более глубокого изучения отдельных возможностей или рисков.
Основные сценарии
16 основных сценариев охватывают шесть широких семейств задач[1].
| Семейство задач | Сценарий | Оцениваемая способность |
|---|---|---|
| Ответы на вопросы | NaturalQuestions, open-book | Ответы на естественно возникающие поисковые вопросы при наличии релевантного отрывка из Википедии. |
| Ответы на вопросы | NaturalQuestions, closed-book | Ответы на те же фактические вопросы без вспомогательного отрывка. |
| Ответы на вопросы | BoolQ | Ответы на естественные вопросы «да/нет» с опорой на вспомогательный отрывок. |
| Ответы на вопросы | NarrativeQA | Ответы на вопросы о книгах и киносценариях по нарративным резюме. |
| Ответы на вопросы | QuAC | Контекстные ответы на вопросы из информационно-поисковых диалогов о статьях Википедии. |
| Ответы на вопросы | HellaSwag | Выбор наиболее правдоподобного продолжения описания повседневной ситуации. |
| Ответы на вопросы | OpenBookQA | Ответы на вопросы начального естествознания, требующие как приведённых фактов, так и более широкого здравого смысла. |
| Ответы на вопросы | TruthfulQA | Ответы на вопросы, составленные так, чтобы выявлять распространённые заблуждения и подражательные ложные утверждения. |
| Ответы на вопросы | MMLU | Ответы на вопросы с вариантами ответов из академических и профессиональных предметных областей. |
| Информационный поиск | MS MARCO, regular | Ранжирование или выбор релевантных отрывков для поисковых запросов на естественном языке. |
| Информационный поиск | MS MARCO, TREC | Оценка поиска на меньшем плотно размеченном подмножестве TREC Deep Learning. |
| Резюмирование | CNN/DailyMail | Создание резюме новостных статей. |
| Резюмирование | XSum | Создание предельно кратких абстрагирующих резюме одного документа. |
| Анализ тональности | IMDB | Классификация тональности рецензий на фильмы. |
| Детекция токсичности | CivilComments | Классификация онлайн-комментариев на предмет токсичного содержимого. |
| Прочая классификация | RAFT | Решение few-shot-задач классификации из набора реальных задач с ограниченным объёмом размеченных данных. |
HELM не обязательно прогоняет каждый исходный набор данных в полной оригинальной форме. Некоторые сценарии используют отобранные предметы, ограниченные выборки экземпляров или стандартизированные разбиения, чтобы сделать широкую межмодельную оценку вычислительно выполнимой.
Основные метрики
HELM Classic стремится измерять семь категорий метрик для каждого основного сценария. Из 112 теоретически возможных комбинаций «сценарий-метрика» в исходном исследовании было реализовано 98, то есть 87,5 %[1].
| Категория метрики | Назначение | Типичная операционализация | Важная оговорка |
|---|---|---|---|
| Точность | Измеряет, успешно ли модель выполняет заявленную задачу. | Exact match, точность классификации, F1, метрики ранжирования, ROUGE или другая специфичная для сценария мера. | Метрики разных задач численно не эквивалентны, и их не следует трактовать как единую универсальную концепцию правильности. |
| Калибровка | Измеряет, соответствует ли заявленная уверенность эмпирической правильности. | Ожидаемая ошибка калибровки, селективная классификация или уверенность, выведенная из вероятностей модели. | Многие chat-API не раскрывают вероятности токенов, из-за чего калибровка для некоторых систем недоступна. |
| Робастность | Измеряет, сохраняется ли качество при сохраняющих смысл изменениях входа. | Худшая или возмущённая точность при опечатках, альтернативных написаниях, стяжениях, изменении регистра или синонимах. | Автоматические возмущения покрывают лишь малую часть реальных сдвигов распределения. |
| Справедливость | Измеряет различия в качестве, связанные с демографическими группами, диалектами или контрфактическими изменениями. | Разбиение по группам и возмущения: замена имён, упоминаний идентичности или признаков английских диалектов. | Справедливость — спорное социальное понятие, которое невозможно полностью представить одной семьёй численных тестов. |
| Предвзятость | Измеряет стереотипные ассоциации или демографическое представительство в генерируемом тексте. | Подсчёты или основанные на классификаторах оценки демографических упоминаний и стереотипных совместных вхождений. | Измеренные ассоциации зависят от выбранных групп, шаблонов, классификаторов и культурного контекста. |
| Токсичность | Измеряет склонность генерировать текст, классифицируемый как токсичный. | Внешняя оценка токсичности (изначально в том числе через Perspective API), применяемая к ответам моделей. | Классификатор токсичности может содержать собственные ошибки и демографические предвзятости. |
| Эффективность | Измеряет ресурсы, необходимые для обучения или работы модели. | Время выполнения, число токенов, стоимость API, использование оборудования, энергопотребление или оценка выбросов CO2 при наличии информации. | Закрытые поставщики моделей не всегда раскрывают достаточную информацию об обучении и инфраструктуре. |
Метрики выбраны так, чтобы делать компромиссы видимыми. Модель с самой высокой средней точностью может оказаться не самой робастной, лучше всего откалиброванной, наименее токсичной или самой эффективной системой.
Целевые оценки
26 целевых сценариев организованы в семь направлений[1].
| Целевая оценка | Назначение | Примеры включённых задач и наборов данных |
|---|---|---|
| Язык | Проверяет лингвистическую компетентность, языковое моделирование, диалектные вариации и синтаксическое понимание. | WikiText-103, подмножества The Pile, BLiMP, International Corpus of English и TwitterAAE. |
| Знания | Измеряет фактические, общие и бытовые знания более напрямую, чем широкие основные сценарии. | WikiFact и насыщенные знаниями конфигурации вопрос-ответ. |
| Рассуждение | Проверяет формальное, математическое, юридическое, программное и композициональное рассуждение. | Синтетические задачи рассуждения, bAbI, GSM8K, MATH, HumanEval, LSAT, LegalSupport, импутация данных и сопоставление сущностей. |
| Запоминание и авторские права | Исследует, воспроизводит ли модель материал, вероятно попавший в её обучающие данные. | Извлечение или продолжение защищённых авторским правом текстов и лицензированного исходного кода. |
| Дезинформация | Измеряет способность генерировать или подкреплять вводящие в заблуждение нарративы. | Задачи повторения нарративов и нарративного клина, оцениваемые людьми. |
| Предвзятость | Сфокусированное измерение социальных стереотипов и демографических ассоциаций. | BBQ и BOLD. |
| Токсичность | Измеряет токсичные продолжения на промптах, провоцирующих опасный язык. | RealToxicityPrompts и BOLD. |
Различие между основными и целевыми оценками методологическое. Основные сценарии должны получать несколько метрик одновременно, тогда как целевые оценки изолируют более узкий феномен с помощью специализированных данных и оценивания.
Стандартизированный протокол адаптации
Языковую модель нельзя оценить на задаче, пока задача не преобразована в текстовый интерфейс модели. HELM называет этот процесс адаптацией.
HELM Classic обычно использовал few-shot-обучение в контексте с числом демонстраций до пяти. Три случайных зерна выбирали разные демонстрационные примеры, чтобы результаты меньше зависели от одной произвольной few-shot-выборки. Адаптер определял:
- структуру промпта;
- инструкции и разделители;
- выбор демонстраций;
- подачу вопросов с вариантами ответов;
- максимальные длины входа и выхода;
- стоп-последовательности;
- параметры декодирования;
- извлечение и нормализацию вывода.
Для оценки робастности и справедливости HELM создавал дополнительные версии экземпляров с контролируемыми возмущениями. Возмущённые и невозмущённые выходы оценивались одной и той же метрикой задачи.
Этот протокол повысил согласованность, но не устранил чувствительность к промптам. Разные семейства моделей могут по-разному реагировать на один и тот же универсальный промпт, и лучший промпт для одной модели может быть неэффективен для другой.
Масштаб исходной оценки
Исходное исследование HELM было необычно масштабным для своего времени[1].
| Величина | Заявленное значение |
|---|---|
| Модели | 30 |
| Организации-разработчики моделей | 12 |
| Семейства моделей | 16 |
| Основные сценарии | 16 |
| Целевые сценарии | 26 |
| Всего сценариев | 42 |
| Покрытие сценарий-метрика | 98 из 112 основных пар |
| Прогоны «модель-сценарий» | 4 939 |
| Запросы к моделям | Около 17,43 млн |
| Обработанные токены | Около 12,17 млрд |
| Стоимость коммерческих API | Около 38 001 долл. США по ценам того времени |
| Инференс открытых моделей | Около 19 500 GPU-часов |
Эти затраты относятся к оценке 2022 года, и их не следует использовать как актуальные цены или требования к оборудованию. Они показывают, почему исходная конфигурация считалась всеобъемлющей, но операционно тяжёлой.
Исходные выводы
В статье было представлено 25 выводов верхнего уровня. К важным заключениям относятся[1]:
- Инструктивная настройка была в целом полезной. В оценённом наборе моделей 2022 года
text-davinci-002достигла лучших агрегированных результатов по точности, робастности и справедливости. - Закрытые модели и модели ограниченного доступа лидировали в историческом сравнении точности. Авторы подчёркивали, что это снимок доступных на тот момент моделей, а не постоянная зависимость между открытостью и качеством.
- Калибровка зависела от сценария. Более высокая точность иногда соответствовала лучшей, а иногда худшей калибровке.
- Точность, робастность и справедливость коррелировали, но не были взаимозаменяемы. Модели с близкой стандартной точностью могли по-разному реагировать на возмущения.
- Некоторые провалы робастности были велики. Модель могла показывать сильный результат на исходных данных и терять значительную точность после сравнительно малых изменений входа.
- Размер модели не был достаточен для предсказания всех результатов. Тренды масштабирования различались между семействами моделей, сценариями и метриками.
- Эффективность требовала значительных компромиссов. Более точные модели часто были медленнее, дороже или более ресурсоёмкими.
- Промптинг и адаптация влияли на ранжирование. В частности, результаты вопросов с вариантами ответов могли заметно меняться в зависимости от того, оцениваются ли варианты по отдельности или генерируются как текст.
- Предвзятость и токсичность варьировали независимо от агрегированной точности. Модель с сильным выполнением задач не обязательно была наименее вредной системой.
- Ни одна модель не доминировала по всем измерениям. Предпочтительная система зависела от задачи, метрики, ограничений применения и приемлемого профиля рисков.
Эти выводы исторически важны, но не описывают возможности современных моделей. Большинство систем, протестированных в исходном исследовании, с тех пор были превзойдены или выведены из эксплуатации.
Архитектура программного обеспечения
HELM реализован как расширяемый Python-фреймворк. Официальный пакет распространяется под именем crfm-helm, а исходный код публикуется под лицензией Apache 2.0[6].
Пайплайн оценки
Типичная оценка проходит следующую последовательность[4]:
Scenarioзагружает или строит коллекцию экземпляров.DataPreprocessorвыбирает разбиения, назначает идентификаторы, сэмплирует данные и применяет настроенные возмущения.Adapterпреобразует каждый экземпляр в один или несколько запросов, подходящих для конкретного интерфейса модели.Executorотправляет запросы локальной модели, удалённому API или прокси-службе.- Фреймворк записывает ответы, информацию о токенах, тайминги, ошибки и метаданные запросов.
- Одна или несколько реализаций
Metricпреобразуют результаты в статистики. - Этап суммаризации агрегирует статистики и формирует таблицы, отчёты и данные лидерборда.
- Веб-сервер позволяет исследовать прогоны, промпты, ответы моделей и баллы.
Такой дизайн разделяет данные, промптинг, исполнение и оценивание. Исследователь может заменить один компонент, не переписывая весь бенчмарк.
Интерфейс моделей
HELM предоставляет единый абстрактный формат запроса для моделей, доступных через:
- коммерческие API;
- размещённые поставщиками эндпоинты открытых моделей;
- локальные инференс-серверы;
- реализации моделей Hugging Face;
- пользовательские клиенты;
- мультимодальные интерфейсы.
Запрос может задавать модель, промпт или chat-сообщения, температуру, максимальную длину вывода, стоп-последовательности, число генераций и другие параметры.
Абстракция не делает все модели идентичными. Поставщики различаются токенизацией, фильтрами безопасности, системными промптами, доступом к вероятностям, окнами контекста, лимитами запросов и схемами ответов. HELM записывает метаданные моделей и использует специфичные для клиентов реализации для трансляции общего формата запросов в вызовы поставщиков.
Базовое использование
Пакет можно установить из Python Package Index:
pip install crfm-helm
Небольшой прогон бенчмарка затем можно выполнить, суммаризировать и отобразить следующими командами[2]:
helm-run \ --run-entries mmlu:subject=philosophy,model=openai/gpt2 \ --suite my-suite \ --max-eval-instances 10 helm-summarize --suite my-suite helm-server --suite my-suite
Локальный веб-интерфейс показывает агрегированные баллы и позволяет изучить точные промпты и ответы, стоящие за ними.
Полноценная промышленная оценка дополнительно требует учётных данных моделей, доступа к наборам данных, явной конфигурации прогона, достаточного хранилища и среды исполнения, подходящей для оцениваемой модели.
Расширяемость
Фреймворк поддерживает новые компоненты через модульные спецификации:
- новые сценарии и загрузчики наборов данных;
- новые метрики;
- новые клиенты моделей;
- новые токенизаторы;
- новые адаптеры промптинга;
- новые возмущения данных;
- новые аннотаторы и LLM-судьи;
- новые схемы лидербордов;
- новые мультимодальные типы данных.
Пользовательский сценарий определяет, как загружаются экземпляры и какие выходы считаются эталонами. Функция спецификации прогона затем объединяет его с адаптером и метриками.
Фреймворк также содержит файл метаданных о контаминации для записи связей «модель — набор данных», известных мейнтейнерам. Это механизм аннотирования, а не автоматический детектор контаминации.
Прозрачность и воспроизводимость
Публичная структура результатов HELM — одна из его отличительных черт. В зависимости от набора и лицензионных ограничений данных лидерборд может раскрывать:
- метаданные наборов данных и сценариев;
- шаблоны промптов;
- демонстрации в контексте;
- полные запросы к моделям;
- сырые ответы моделей;
- извлечённые предсказания;
- значения метрик по экземплярам;
- агрегированные статистики;
- метаданные моделей;
- конфигурацию прогона;
- записи об ошибках;
- загружаемые файлы результатов.
Это позволяет пользователю отличить, например, провал рассуждения от отказа, ошибки форматирования, сбоя парсера вывода или исключения API.
Воспроизведение всё же может быть неполным, если результат зависит от закрытой модели, изменившейся с момента исходного прогона. Поставщик может обновить модель под неизменным именем API, закрыть эндпоинт, изменить поведение модерации, токенизацию или лимиты запросов.
Эволюция семейства бенчмарков
Исходный дизайн HELM Classic был широким, но дорогим. По мере изменения возможностей и интерфейсов языковых моделей Stanford CRFM создал меньшие и более специализированные наборы.
| Набор | Первый релиз | Последний официальный релиз на 10 июля 2026 года | Основной фокус |
|---|---|---|---|
| HELM Classic | 2022 | v0.4.0, 17 ноября 2023 года
|
Широкая мультиметрическая оценка на основе исходной статьи. |
| HELM Lite | 2023 | v1.13.0, 10 января 2025 года
|
Лёгкая оценка общих возможностей языковых моделей. |
| HELM Safety | 2024 | v1.17.0, 24 ноября 2025 года
|
Стандартизированная оценка по нескольким категориям рисков безопасности. |
| HELM Capabilities | 2025 | v1.15.0, 24 ноября 2025 года
|
Свежие сценарии, отобранные по качеству и сниженному насыщению для оценки возможностей. |
| Фреймворк HELM | 2022 | Python-пакет v0.5.16, 30 апреля 2026 года
|
Общее программное обеспечение, интерфейсы моделей, сценарии, метрики и инструменты работы с результатами. |
Версии наборов и версии программного пакета — разные вещи. Установка конкретного релиза фреймворка не обязательно воспроизводит все исторические лидерборды без соответствующих конфигураций и данных.
HELM Lite
HELM Lite представлен в декабре 2023 года как менее дорогой бенчмарк общих возможностей[7][8].
Он упрощает HELM Classic за счёт:
- использования одного случайного зерна вместо трёх;
- отказа от возмущений робастности и справедливости;
- отказа от метрик калибровки;
- отказа от перплексии корпуса;
- удаления вычислительно дорогого сценария информационного поиска MS MARCO;
- ограничения сценариев максимумом около 1 000 оценочных экземпляров;
- концентрации на возможностях, а не на комбинированной оценке «возможности и риски».
HELM Lite содержит десять конфигураций сценариев:
| Сценарий | Возможность или область | Типичный выход |
|---|---|---|
| NarrativeQA | Нарративные ответы на вопросы | Краткий ответ |
| NaturalQuestions, open-book | Поисково-поддержанные фактические ответы на вопросы | Краткий ответ |
| NaturalQuestions, closed-book | Фактическое вспоминание | Краткий ответ |
| OpenBookQA | Рассуждение на уровне начального естествознания | Ответ с вариантами |
| MMLU, пять отобранных предметов | Академические и профессиональные знания | Ответ с вариантами |
| MATH | Олимпиадная математика | Обоснованный краткий ответ |
| GSM8K | Математические рассуждения уровня начальной школы | Обоснованный краткий ответ |
| LegalBench, пять отобранных задач | Юридическое рассуждение | Преимущественно ответ с вариантами |
| MedQA | Медицинские знания | Ответ с вариантами |
| WMT14, пять исходных языков | Машинный перевод на английский | Переведённое предложение |
Протокол использует до пяти примеров в контексте или столько, сколько помещается в окно контекста модели. Проект публикует ответы моделей, поскольку автоматические метрики кратких ответов вроде F1 или BLEU не охватывают все аспекты качества ответа.
HELM Lite также демонстрирует компромисс стандартизации. Универсальные промпты дают более последовательное сравнение, но ассистентная модель, оптимизированная под диалоговый вывод, может показать результат хуже, чем с промптом, специфичным для поставщика.
HELM Safety
HELM Safety представлен в ноябре 2024 года как коллекция из пяти бенчмарков безопасности, охватывающая шесть широких категорий рисков: насилие, мошенничество, дискриминация, сексуальный контент, преследование и обман[9][10].
Первый релиз оценил 24 языковые модели.
| Бенчмарк | Основной фокус риска | Объём в HELM Safety v1.0 | Подход к оценке |
|---|---|---|---|
| BBQ | Социальная дискриминация и стереотипные рассуждения | 58 492 вопроса | Точность выбора ответа и специфичная для бенчмарка метрика предвзятости |
| SimpleSafetyTests | Явно опасные запросы, связанные с физическим или сексуальным вредом | 100 опасных промптов | Оценка вредности моделью-судьёй |
| HarmBench | Джейлбрейкинг, мошенничество, насилие, преследование, обман | 321 опасное поведение | Оценка вредности моделью-судьёй |
| AnthropicRedTeam | Red-team-атаки, выполненные людьми и с помощью моделей, по нескольким категориям рисков | 38 961 атака | Оценка вредности моделью-судьёй |
| XSTest | Чрезмерные отказы и реакции на безопасные и опасные промпты | 450 промптов | Оценка полезности и вредности моделью-судьёй |
HELM Safety нормализует публикуемые метрики так, что более высокие значения обычно означают меньший измеренный риск. Это упрощает отображение лидерборда, но не делает категории рисков взаимозаменяемыми.
Проект прямо заявляет, что HELM Safety не может удостоверить безопасность модели. Его сценарии покрывают лишь отдельные угрозы и методы промптинга. Система с высоким баллом всё равно может проявлять опасное поведение за пределами бенчмарка.
Оценка также выявила слабости автоматического судейства. Некоторые модели-судьи отказывались оценивать вредный текст или не следовали формату оценивания, особенно когда ответ содержал крайне небезопасный контент. Такие сбои могут привести к тому, что именно самые проблемные выходы труднее всего поддаются автоматической оценке.
HELM Capabilities
HELM Capabilities представлен в марте 2025 года как преемник HELM Lite для сравнения общих возможностей[11][12].
Его первый релиз отобрал пять относительно свежих сценариев по сложности, ясности, распространённости, воспроизводимости и степени насыщения.
| Возможность | Сценарий | Исходный объём | Объём оценки HELM Capabilities | Основная метрика |
|---|---|---|---|---|
| Общие знания | MMLU-Pro | Около 12 000 вопросов | 1 000 отобранных вопросов | Точность |
| Научное рассуждение | GPQA | 448 вопросов | 448 вопросов | Точность |
| Следование инструкциям | IFEval | 541 промпт | 541 промпт | Строгая точность следования инструкциям |
| Диалог | WildBench | 1 024 диалога | 1 000 отобранных диалогов | WB-Score с модельной оценкой |
| Математическое рассуждение | Omni-MATH | 4 428 задач | 1 000 отобранных задач | Оценка математической точности моделью-судьёй |
MMLU-Pro и GPQA используют zero-shot-промптинг с цепочкой рассуждений в исходной конфигурации HELM Capabilities. IFEval оценивается детерминированными функциями-проверками, тогда как WildBench и Omni-MATH требуют постобработки или судейства моделью.
Набор делает упор на прозрачность на уровне промптов. Пользователи могут изучить входы, полные ответы, извлечённые ответы и выходы судей, а не полагаться только на агрегированный ранг.
HELM Capabilities также иллюстрирует более широкий сдвиг в оценке LLM. Ранние бенчмарки часто использовали точные эталоны или варианты ответов, тогда как диалоговая и продвинутая математическая генерация всё больше опирается на структурированные рубрики, экстракторы ответов, символьные проверки или LLM-судей.
Мультимодальные и доменные расширения
Фреймворк HELM был адаптирован к нескольким типам моделей и прикладным областям.
| Проект | Тип моделей или область | Основной вклад |
|---|---|---|
| HEIM | Text-to-image-модели | Оценивает 12 аспектов, включая соответствие промпту, визуальное качество, эстетику, оригинальность, рассуждение, знания, предвзятость, токсичность, справедливость, робастность, многоязычность и эффективность. Исходное исследование охватило 62 сценария и 26 моделей[13]. |
| VHELM | Vision-language-модели | Охватывает визуальное восприятие, знания, рассуждение, предвзятость, справедливость, многоязычность, робастность, токсичность и безопасность. Первый релиз оценил 22 модели на 21 наборе данных[14]. |
| MedHELM | Медицинские и клинические применения языковых моделей | Использует проверенную клиницистами таксономию из пяти категорий, 22 подкатегорий и 121 медицинской задачи. Связанное исследование оценило девять моделей по 35 бенчмаркам[15]. |
| AHELM | Аудио-языковые модели | Оценивает восприятие аудио, знания, рассуждение, распознавание эмоций, предвзятость, справедливость, многоязычность, робастность, токсичность и безопасность. Исходное исследование протестировало 14 аудио-языковых моделей и три pipeline-базлайна[16]. |
| Корпоративные бенчмарки | Деловые и профессиональные применения | Оценивает языковые модели на практических корпоративных задачах, а не только на академических наборах вопрос-ответ. |
| Многоязычные проекты HELM | Неанглоязычные и многоязычные модели | Включает проекты и лидерборды, сфокусированные на китайском, арабском, тайском и языках Юго-Восточной Азии. |
Эти проекты используют общее программное обеспечение и принципы оценки, но их не следует объединять в один балл. Они охватывают разные модальности, условия данных, метрики и риски применения.
Интерпретация результатов
Лидерборд HELM призван давать многомерный профиль модели, а не бесспорное упорядочение от лучшей к худшей.
При интерпретации результата важны следующие детали:
- семейство бенчмарков и версия релиза;
- точное подмножество сценариев;
- разбиение набора данных и объём выборки;
- версия модели или снимок API;
- адаптер промптов;
- число и отбор примеров в контексте;
- политика цепочки рассуждений;
- температура сэмплирования и число генераций;
- правила извлечения вывода;
- реализация метрик;
- использование возмущений;
- LLM-судья и промпт судьи;
- доступ к инструментам или внешнему поиску;
- обработка ошибок и таймаутов;
- метод агрегирования.
Агрегированный балл может скрывать значительные различия. Две модели с одинаковой средней могут иметь противоположные сильные стороны в математическом рассуждении, диалоге, следовании инструкциям, токсичности и эффективности.
Некоторые наборы HELM используют нормализованные метрики или агрегаты на основе сравнений. Такие значения зависят от выбранных сценариев, шкал метрик, а иногда и от других моделей, присутствующих в лидерборде. Добавление новой модели может изменить статистику относительного ранжирования, даже если выходы прежних моделей не изменились.
Результаты по отдельным сценариям и на уровне промптов поэтому информативнее заголовочного ранга при выборе системы для конкретного применения.
Текущий статус и режим сопровождения
По состоянию на 10 июля 2026 года последний официальный релиз ПО HELM — v0.5.16, опубликованный 30 апреля 2026 года[6].
HELM перешёл в режим сопровождения 1 июня 2026 года. Согласно опубликованной политике[3]:
- исходный код и существующие лидерборды остаются доступными;
- сопровождение выполняется волонтёрами в меру возможностей;
- новые функции фреймворка не планируются;
- новые оценки в официальные лидерборды HELM добавляться не будут;
- значительные баги и поломки внешних API могут исправляться при наличии ресурсов у мейнтейнеров;
- заметные модели, поставщики и сценарии могут рассматриваться как вклад;
- фиксированного графика релизов пакета нет;
- активные исследовательские коллаборации больше не поддерживаются исходными мейнтейнерами.
Базовое программное обеспечение может продолжать работать долго, однако сценарии и клиенты моделей могут ломаться, когда поставщики меняют API, аутентификацию, имена моделей, форматы ответов или поведение модерации.
Режим сопровождения также меняет трактовку HELM как «живого бенчмарка». Архитектура остаётся расширяемой, и третьи стороны могут создавать новые прогоны или форки, но официальные лидерборды Stanford больше не предполагается обновлять под новые модели.
Ограничения и критика
Широта не означает полноты
Слово «холистический» может поощрять сверхинтерпретацию. Даже исходная оценка на 42 сценария представляла лишь малую часть возможных применений моделей.
Исходный бенчмарк был преимущественно англоязычным и чисто текстовым. Он не охватывал целиком:
- большинство языков и диалектов мира;
- длительное многоходовое взаимодействие;
- агентов, использующих внешние инструменты;
- системы с дополненным поиском (RAG);
- разработку ПО в масштабе репозитория;
- рассуждения на длинном контексте;
- мультимодальное восприятие и генерацию;
- взаимодействие с речью в реальном времени;
- персонализированных ассистентов;
- физические или роботизированные действия;
- утечки приватности;
- риски кибербезопасности и биобезопасности;
- надёжность в конкретных условиях применения.
Позднейшие проекты HELM закрыли часть пробелов, но ни одно семейство бенчмарков не может представить все сценарии использования моделей.
Неоднозначность между фреймворком и бенчмарком
«Балл HELM» — не однозначно определённая метрика. Он может относиться к HELM Classic, HELM Lite, HELM Capabilities, HELM Safety, отраслевому набору или пользовательскому прогону на фреймворке.
Даже внутри одного набора публикации могут приводить:
- один сценарий;
- среднее по группе сценариев;
- среднее по конкретной метрике;
- нормализованный агрегат;
- относительную долю побед;
- ограниченное подмножество моделей.
В результатах следует указывать точный набор, релиз, метрику и процедуру агрегирования.
Чувствительность к промптам и адаптации
Стандартизированный промпт даёт согласованность, но не обязательно эффективный интерфейс для каждой модели.
Базовые языковые модели, инструктированные модели, чат-ассистенты и рассуждающие модели обучены под разные стили взаимодействия. Обычный промпт дополнения, хорошо работающий для базовой модели, может заставить ассистента добавлять пояснения, ломающие exact-match-оценивание. Chat-шаблон может вносить системные инструкции, недоступные другой модели.
Выбор few-shot-примеров также создаёт дисперсию. HELM Classic снижал этот эффект тремя случайными зёрнами, а HELM Lite отказался от повторных зёрен ради экономии.
Следовательно, HELM оценивает комбинацию:
- модели;
- промпта;
- адаптера;
- парсера;
- конфигурации декодирования —
и не измеряет абстрактную возможность модели в отрыве от способа её вызова.
Загрязнение данных (контаминация)
Многие сценарии HELM используют общедоступные наборы данных, которые могли попасть в корпусы предобучения, инструктивной настройки или настройки под бенчмарк. Модель может получить высокий балл за счёт сочетания обобщения, знакомства с шаблоном задачи и запоминания.
Исходная статья признавала ограниченность знаний о контаминации между обучающими и тестовыми данными. Позднее в ПО были добавлены метаданные об известных связях «модель — набор данных», но такие аннотации опираются на неполные раскрытия и не выявляют нераскрытое или косвенное попадание[1][4].
Публикация полных промптов и ответов улучшает аудируемость, но одновременно упрощает включение бенчмарка в будущие обучающие данные.
Операционализация социальных концепций
Справедливость, предвзятость, токсичность и безопасность — широкие социальные понятия. HELM неизбежно сводит их к выбранным наборам данных, группам, возмущениям и метрикам.
Например:
- классификатор токсичности может присваивать более высокие баллы reclaimed-языку или упоминаниям идентичности;
- контрфактическая замена имён может не сохранять полный смысл входа;
- бенчмарк предвзятости может представлять стереотипы одной страны или правовой системы;
- групповые средние могут скрывать интерсекциональные и внутригрупповые различия;
- отказ по каждому чувствительному запросу может снизить измеренный вред, делая систему менее полезной.
Численную метрику поэтому следует трактовать как свидетельство о конкретном операциональном определении, а не как полное измерение справедливости или безопасности.
Зависимость от внешних оценщиков
Некоторые метрики зависят от сторонних служб или моделей:
- классификаторов токсичности;
- систем определения языка;
- моделей эмбеддингов;
- LLM-судей;
- проприетарных API модерации.
Внешний оценщик может меняться со временем, содержать недокументированные предвзятости, стать недоступным или давать другие баллы после обновления.
LLM-судьи добавляют дополнительные проблемы:
- предпочтение подробных ответов;
- смещение позиции и порядка;
- чувствительность к промпту оценивания;
- самопредпочтение или предпочтение своего семейства моделей;
- неверные математические или фактические суждения;
- отказ читать вредный контент;
- невыполнение запрошенного формата балла.
HELM Safety обнаружил, что некоторые модели-судьи отказывались оценивать самые вредные ответы, показывая, что автоматическая оценка безопасности может выборочно сбоить именно на тех случаях, для анализа которых она предназначена[9].
Агрегированный рейтинг может скрывать компромиссы
Объединение разнородных метрик в один балл требует ценностных суждений. Прирост математической точности не может объективно компенсировать возросшую токсичность, стоимость или ослабленное следование инструкциям без указания потребностей конкретного применения.
Нормализация также может менять видимую важность сценария. Малое изменение одной сырой метрики может стать большим в нормализованном виде, тогда как значимое улучшение другой метрики почти не повлияет на агрегат.
Исходная цель мультиметрического дизайна HELM — как раз обнажить такие компромиссы. Трактовка лидерборда как единственной гонки подрывает эту цель.
Стоимость оценки
HELM Classic потребовал миллионов вызовов моделей, миллиардов обработанных токенов, значительных расходов на API и тысяч GPU-часов. Повторение полной оценки для каждой новой модели было трудно выполнимо даже для хорошо обеспеченной исследовательской группы.
Позднейшие наборы снизили стоимость за счёт:
- уменьшения выборок из наборов данных;
- одного случайного зерна;
- меньшего числа возмущений;
- удаления калибровки и перплексии;
- меньшего выбора сценариев;
- лёгких автоматических метрик.
Эти изменения повышают практичность, но снижают статистическую точность и покрытие метрик.
Статистическая неопределённость
Многие баллы лидербордов вычисляются по выборочным подмножествам, а не по полным наборам данных. Различия в несколько пунктов могут отражать:
- какие экземпляры попали в выборку;
- какие демонстрации в контексте были выбраны;
- стохастическую генерацию модели;
- изменчивость модели-судьи;
- сбои парсера вывода;
- таймауты API;
- изменения эндпоинта модели.
Точечная оценка без доверительных интервалов может подразумевать больше уверенности, чем позволяет оценка. Это особенно важно, когда модели различаются менее чем на один-два процентных пункта.
Закрытые API и дрейф моделей
Проприетарная API-модель может изменяться, сохраняя прежнее продуктовое имя. Поставщик может обновить:
- веса;
- системные промпты;
- фильтры безопасности;
- поведение сэмплирования;
- обработку окна контекста;
- доступ к инструментам;
- токенизацию;
- инфраструктуру инференса.
Оценка с датированным идентификатором модели воспроизводима лучше, чем с алиасом вроде «latest», но даже датированные эндпоинты могут быть выключены.
Возникает различие между воспроизводимостью кода HELM и воспроизводимостью самой тестируемой модели: первое может быть открытым, второе — недоступным.
Ограниченные данные
Некоторые отраслевые наборы данных нельзя свободно распространять из-за лицензионных, приватностных или институциональных ограничений. Фреймворк поддерживает локально хранимые ограниченные сценарии, но внешние пользователи могут быть не в состоянии воспроизвести соответствующие результаты лидерборда без отдельного доступа.
Эта проблема особенно актуальна для медицинских, корпоративных, юридических и проприетарных данных.
Оценка безопасности не может сертифицировать безопасность
Конечный бенчмарк может выявить наблюдаемые сценарии отказа, но не способен установить, что модель будет вести себя безопасно при любом возможном промпте, конфигурации инструментов, языке или атаке.
Результаты по безопасности зависят от:
- модели угроз;
- таксономии рисков;
- силы атак;
- распределения промптов;
- системного промпта модели;
- прав доступа к инструментам;
- надёжности судьи;
- определения вредности;
- баланса между отказом и полезностью.
HELM Safety прямо представляет свои баллы как измерение отдельных рисков, а не сертификацию безопасности[9].
Сопровождение и устойчивость
Непрерывная оценка требует постоянной работы:
- добавления новых моделей;
- обновления насыщенных наборов данных;
- сопровождения клиентов поставщиков;
- оплаты инференса;
- исправления ошибок бенчмарка;
- поддержания соглашений об ограниченных данных;
- ревалидации судей и метрик;
- сохранения воспроизводимых эндпоинтов моделей.
Переход HELM в режим сопровождения иллюстрирует сложность поддержания широкого публичного лидерборда. Существующие результаты остаются ценными как исторические записи и воспроизводимые артефакты исследований, но со временем они будут всё хуже представлять экосистему frontier-моделей.
Ссылки
- Официальный сайт HELM
- Официальный репозиторий HELM
- Документация HELM
- Лидерборд HELM Classic
- Лидерборд HELM Lite
- Лидерборд HELM Capabilities
- Лидерборд HELM Safety
- Статья Holistic Evaluation of Language Models (OpenReview)
- HELM — AI Wiki
- HELM Benchmark — англоязычная версия статьи
См. также
Литература
- Liang, P. et al. (2023). Holistic Evaluation of Language Models. Transactions on Machine Learning Research. arXiv:2211.09110.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Srivastava, A. et al. (2023). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. Transactions on Machine Learning Research. arXiv:2206.04615.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. NAACL. arXiv:2104.14337.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Lee, T. et al. (2024). VHELM: A Holistic Evaluation of Vision Language Models. arXiv:2410.07112.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Liang, P. et al. "Holistic Evaluation of Language Models". Transactions on Machine Learning Research, 2023. OpenReview; arXiv:2211.09110.
- ↑ 2,0 2,1 Stanford CRFM. "Holistic Evaluation of Language Models (HELM)". Official documentation. [1]
- ↑ 3,0 3,1 Stanford CRFM. "HELM Maintenance Mode Policy". [2]
- ↑ 4,0 4,1 4,2 Stanford CRFM. "HELM Code Structure". Official documentation. [3]
- ↑ Stanford CRFM. "HELM Classic". [4]
- ↑ 6,0 6,1 Stanford CRFM. "Holistic Evaluation of Language Models". GitHub repository. [5]
- ↑ Liang, P. et al. "HELM Lite: Lightweight and Broad Capabilities Evaluation". Stanford CRFM, 19 December 2023. [6]
- ↑ Stanford CRFM. "HELM Lite". [7]
- ↑ 9,0 9,1 9,2 Kaiyom, F. et al. "HELM Safety: Towards Standardized Safety Evaluations of Language Models". Stanford CRFM, 8 November 2024. [8]
- ↑ Stanford CRFM. "HELM Safety". [9]
- ↑ Xu, J.; Mai, Y.; Liang, P. "HELM Capabilities: Evaluating LMs Capability by Capability". Stanford CRFM, 20 March 2025. [10]
- ↑ Stanford CRFM. "HELM Capabilities". [11]
- ↑ Lee, T. et al. "Holistic Evaluation of Text-To-Image Models". NeurIPS, 2023. [12]
- ↑ Lee, T. et al. "VHELM: A Holistic Evaluation of Vision Language Models". arXiv:2410.07112, 2024. [13]
- ↑ Bedi, S. et al. "MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks". 2025. [14]
- ↑ Lee, T. et al. "AHELM: A Holistic Evaluation of Audio-Language Models". arXiv:2508.21376, 2025. [15]