IFEval Benchmark

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

IFEval (Instruction-Following Eval) — бенчмарк для измерения того, насколько точно большие языковые модели (LLM) следуют явным инструкциям на естественном языке. Он был представлен Джеффри Чжоу (Jeffrey Zhou) и соавторами в 2023 году в статье «Instruction-Following Evaluation for Large Language Models»[1].

IFEval сфокусирован на проверяемых инструкциях (verifiable instructions): ограничениях, выполнение которых может быть проверено простой и интерпретируемой компьютерной программой. Примеры включают требование содержать указанные ключевые слова, использовать определённый язык, не превышать лимит слов, не использовать запятые, содержать фиксированное число буллитов или целиком состоять из корректного JSON[1].

Публичный бенчмарк содержит 541 промпт и 25 типов инструкций. Каждый промпт содержит от одного до трёх ограничений, объединённых с открытой задачей пользователя. Текст промптов написан на английском языке, хотя некоторые задачи требуют, чтобы ответ был написан на другом языке. Опубликованные данные включают применимые идентификаторы инструкций и параметры чекеров, а официальный оценщик применяет детерминированные проверки на основе правил к сгенерированному ответу[2][3].

В отличие от бенчмарков знаний и рассуждений, таких как MMLU, Big-Bench Hard или MATH-500, IFEval не определяет в первую очередь, является ли фактическое содержание ответа верным. Его основная цель — установить, подчиняется ли ответ явно заявленным, автоматически проверяемым требованиям к выводу.

Предыстория и назначение

Следование инструкциям — ключевая способность инструктированных и диалоговых языковых моделей. Модель может обладать нужными знаниями и всё же выдавать непригодный ответ, потому что она игнорирует запрошенный формат, превышает лимит длины, пропускает обязательный элемент, добавляет запрещённый текст или отвечает не на том языке.

До появления IFEval качество следования инструкциям обычно оценивалось через ручную проверку, парные сравнения предпочтений или оценку другой языковой моделью. Ручная оценка может быть дорогой и трудно воспроизводимой, а LLM-судья может наследовать собственные предубеждения и ошибки рассуждений. Классические метрики с эталонным ответом также плохо подходят для открытых промптов, для которых допустимы многие разные ответы[1].

IFEval сужает задачу оценки до воспроизводимого вопроса:

Удовлетворяет ли ответ модели каждому проверяемому ограничению, заявленному в промпте?

Такой дизайн имеет ряд практических преимуществ:

  • Проверка автоматическая и недорогая после генерации ответов.
  • Один и тот же ответ получает один и тот же результат при фиксированной реализации чекеров.
  • Полный эталонный ответ не требуется.
  • Неудачи можно анализировать по типам инструкций.
  • Открытую генерацию можно оценивать, не сводя каждую задачу к выбору из вариантов.
  • Результаты чекеров могут использоваться как автоматически вычисляемые награды в обучающих экспериментах.

Бенчмарк не претендует на замену ручной оценки релевантности, корректности, безопасности, полезности или стиля. Он измеряет более узкую способность, обычно описываемую как точное следование инструкциям (precise instruction following).

Построение набора данных

Авторы строили промпты в четыре этапа[1]:

  1. Базовая задача объединялась с одним-тремя случайно выбранными проверяемыми инструкциями.
  2. Процедура на базе few-shot языковой модели использовалась для выявления и удаления нелогичных или несовместимых комбинаций.
  3. Другая few-shot-процедура перефразировала промпты для увеличения лингвистического разнообразия.
  4. Каждый промпт проходил ручную проверку и правку перед включением.

Параметры инструкций варьировались между примерами. Ограничение длины могло требовать не менее или не более заданного числа слов. Ограничение по ключевым словам могло требовать появления фразы, запрещать её или задавать частоту. Инструкции форматирования могли определять число абзацев, секций, буллитов, плейсхолдеров или выделенных фрагментов.

Свойство Значение
Число промптов 541
Число типов инструкций 25
Число ограничений на промпт От одного до трёх
Язык промптов Английский
Формат взаимодействия Одноходовая текстовая генерация
Формат ответа Открытый текст с проверяемыми ограничениями
Проверка Детерминированные функции-чекеры для отдельных инструкций
Классический эталонный ответ Не требуется

IFEval — это оценочный набор, а не обычный корпус для обучения с учителем. Дистрибутив на Hugging Face содержит записи в сплите с именем train, но 541 элемент предназначен для бенчмарк-оценки, а не для обучения моделей[3].

Таксономия инструкций

В оригинальной статье 25 типов инструкций сгруппированы в девять широких категорий[1].

Группа Тип инструкции Официальный идентификатор Требование
Ключевые слова Включение ключевых слов keywords:existence Один или более указанных слов или фраз должны присутствовать.
Ключевые слова Частота ключевого слова keywords:frequency Указанное ключевое слово должно встречаться с требуемой частотой.
Ключевые слова Запрещённые слова keywords:forbidden_words Указанные слова или фразы не должны появляться.
Ключевые слова Частота буквы keywords:letter_frequency Указанная буква должна встречаться согласно числовому условию.
Язык Язык ответа language:response_language Весь ответ должен быть написан на указанном языке.
Ограничения длины Число предложений length_constraints:number_sentences Число предложений должно удовлетворять минимальному или максимальному порогу.
Ограничения длины Число абзацев length_constraints:number_paragraphs Ответ должен содержать требуемое число абзацев.
Ограничения длины Число слов length_constraints:number_words Число слов должно удовлетворять минимальному или максимальному порогу.
Ограничения длины Первое слово указанного абзаца length_constraints:nth_paragraph_first_word Выбранный абзац должен начинаться с указанного слова.
Определяемое содержимое Число плейсхолдеров detectable_content:number_placeholders Ответ должен содержать требуемое число плейсхолдеров в квадратных скобках.
Определяемое содержимое Постскриптум detectable_content:postscript Должен быть включён постскриптум, начинающийся с указанного маркера.
Определяемый формат Число буллитов detectable_format:number_bullet_lists Ответ должен содержать запрошенное число буллитов в Markdown.
Определяемый формат Ограниченный ответ detectable_format:constrained_response Ответ должен выбираться из заранее заданного набора допустимых вариантов.
Определяемый формат Выделенные секции detectable_format:number_highlighted_sections Не менее указанного числа фрагментов должно использовать запрошенную разметку выделения.
Определяемый формат Несколько секций detectable_format:multiple_sections Ответ должен содержать указанное число секций, размеченных требуемым разделителем.
Определяемый формат Формат JSON detectable_format:json_format Весь ответ должен распознаваться как JSON.
Определяемый формат Заголовок detectable_format:title Заголовок должен быть заключён в запрошенные разделители, например <<title>>.
Комбинация Два ответа combination:two_responses Два отдельных ответа должны быть разделены указанным разделителем.
Комбинация Повтор промпта combination:repeat_prompt Модель должна воспроизвести указанный текст промпта перед ответом.
Изменение регистра Частота слов в верхнем регистре change_case:capital_word_frequency Полностью написанные заглавными слова должны встречаться согласно числовому условию.
Изменение регистра Всё в верхнем регистре change_case:english_capital Английские буквенные символы в ответе должны быть в верхнем регистре.
Изменение регистра Всё в нижнем регистре change_case:english_lowercase Английские буквенные символы в ответе должны быть в нижнем регистре.
Начало или конец Чекер конца startend:end_checker Ответ должен заканчиваться точной фразой, и после неё не должно быть ничего.
Начало или конец Кавычки startend:quotation Весь ответ должен быть заключён в кавычки.
Пунктуация Без запятых punctuation:no_comma В ответе не должно быть символа запятой.

Типы инструкций различаются по сложности реализации. Некоторые используют прямое сопоставление строк или регулярные выражения, другие требуют сегментации на слова и предложения, определения языка, парсинга JSON или специализированной структурной логики. Официальный реестр сопоставляет каждый идентификатор с классом чекера в опубликованном Python-коде[4].

Формат данных и релиз

Официальный релиз хранит промпты в формате JSONL. Каждая запись содержит четыре основных поля[2][3]:

Поле Описание
key Уникальный целочисленный идентификатор промпта.
prompt Полная задача с её ограничениями на естественном языке.
instruction_id_list Упорядоченный список идентификаторов чекеров, применимых к промпту.
kwargs Упорядоченный список словарей параметров, согласованный с идентификаторами инструкций.

Упрощённая запись (с опущенными неиспользуемыми параметрами) может выглядеть так:

{
  "key": 1000,
  "prompt": "Write an explanation. Use at least 300 words, highlight three sections, and do not use commas.",
  "instruction_id_list": [
    "punctuation:no_comma",
    "detectable_format:number_highlighted_sections",
    "length_constraints:number_words"
  ],
  "kwargs": [
    {},
    {"num_highlights": 3},
    {"relation": "at least", "num_words": 300}
  ]
}

Два массива согласованы позиционно: первый словарь параметров настраивает первый чекер, второй — второй чекер и так далее.

Единого канонического ответа на естественном языке не существует. Любой сгенерированный текст может получить полный балл, если он удовлетворяет всем настроенным ограничениям. Официальный репозиторий содержит файл промптов, классы чекеров, реестр инструкций, функции строгой и нестрогой оценки, консольный скрипт и инструкции по подаче ответов модели в формате JSONL[2].

Методология оценки

Генерация ответов

Каждый промпт бенчмарка отправляется оцениваемой модели как одиночный запрос пользователя. Сгенерированный ответ сохраняется вместе с точным промптом. Официальный скрипт ожидает записи со следующей базовой структурой:

{
  "prompt": "The exact IFEval prompt",
  "response": "The model-generated response"
}

Оценщик использует промпт как ключ, загружает соответствующие идентификаторы инструкций и параметры, инстанцирует нужные классы чекеров и оценивает каждое ограничение отдельно[2].

Строгая оценка

При строгой оценке (strict evaluation) каждый чекер применяется напрямую к полному необработанному ответу. Строгая проверка может считать слова или предложения, искать обязательные или запрещённые строки, парсить JSON, проверять регистр, инспектировать первые или последние символы либо проверять запрошенные структурные разделители.

Каждая инструкция получает бинарный результат: пройдено или не пройдено. Частичный зачёт внутри отдельной инструкции не предусмотрен.

Строгая оценка намеренно штрафует дополнительный материал, нарушающий запрошенный формат. Например, ответ, содержащий корректный JSON-объект, перед которым стоит «Here is the result», не проходит строгий чекер JSON-формата, потому что полный ответ не является корректным JSON.

Нестрогая оценка

Авторы ввели нестрогую оценку (loose evaluation), чтобы сократить число ложноотрицательных результатов, вызванных типичными привычками форматирования чат-моделей. Официальная реализация строит восемь версий каждого ответа[1][5]:

  • Исходный ответ.
  • Версия с удалёнными звёздочками.
  • Версия без первой строки.
  • Версия без последней строки.
  • Версия без первой и последней строк.
  • Каждая из трёх версий с удалёнными строками, дополнительно освобождённая от звёздочек.

Инструкция считается пройденной по нестрогому критерию, если хотя бы одна из восьми версий проходит её чекер. Это позволяет учесть привычное вступление, заключительную фразу или маркеры выделения Markdown.

Нестрогая оценка может также приводить к ложноположительным результатам, потому что удаление текста способно устранить реальное нарушение. Поэтому в оригинальной статье нестрогая точность рассматривается как дополнение к строгой, а не её замена[1].

Метрики

IFEval сообщает результаты на уровне промптов и на уровне инструкций.

Метрика Условие успеха Формальная запись
Строгая точность на уровне промптов Каждая инструкция, присоединённая к промпту, проходит строгую оценку. полностью строгие промпты / все промпты
Строгая точность на уровне инструкций Каждый экземпляр инструкции считается независимо при строгой оценке. строго пройденные экземпляры инструкций / все экземпляры инструкций
Нестрогая точность на уровне промптов Каждая инструкция, присоединённая к промпту, проходит нестрогую оценку. полностью нестрогие промпты / все промпты
Нестрогая точность на уровне инструкций Каждый экземпляр инструкции считается независимо при нестрогой оценке. нестрого пройденные экземпляры инструкций / все экземпляры инструкций

Точность на уровне промптов обычно ниже, потому что промпт не получает зачёта, если хотя бы одно из его ограничений не проходит. Точность на уровне инструкций сохраняет информацию о частичном соответствии, но не показывает, встречались ли пройденные ограничения вместе в полных ответах.

Воспроизводимость и детали протокола

Чекеры детерминированы для фиксированного ответа и версии кода, однако сквозной балл зависит также от генерации ответов и предобработки. Воспроизводимый отчёт должен указывать:

  • Точную модель и чекпоинт либо версию API.
  • Системный промпт и шаблон чата.
  • Температуру сэмплирования и метод декодирования.
  • Максимальную длину вывода в токенах и стоп-последовательности.
  • Включается ли видимый текст рассуждений в оцениваемый ответ.
  • Любую экстракцию или постобработку перед проверкой.
  • Ревизию набора данных и реализацию оценщика.
  • Какая из четырёх метрик IFEval приводится.

Эти детали могут существенно влиять на результат. Системная преамбула может нарушить требования JSON, кавычек, точного начала или нижнего/верхнего регистра. Короткий лимит вывода может сделать ограничение минимального числа слов невыполнимым, а избыточная генерация — добавить текст после и без того корректного ответа.

Первоначальные результаты

В оригинальном исследовании 2023 года через API провайдеров оценивались GPT-4 и PaLM 2 S. Авторы сообщили следующие результаты[1]:

Результаты из оригинальной статьи IFEval
Модель Строгая, уровень промптов Строгая, уровень инструкций Нестрогая, уровень промптов Нестрогая, уровень инструкций
GPT-4 76,89 % 83,57 % 79,30 % 85,37 %
PaLM 2 S 43,07 % 55,76 % 46,95 % 59,11 %

GPT-4 получил более высокие баллы по всем четырём метрикам. В статье отмечалось, что эти системы напрямую не сопоставимы, поскольку их размеры и другие характеристики существенно различались[1].

Разрыв между точностью на уровне промптов и на уровне инструкций иллюстрирует эффект накопления комбинированных ограничений. Модель может удовлетворять большинству отдельных требований, но проваливать заметно большую долю полных промптов, так как одно пропущенное требование обнуляет весь промпт.

Умеренный рост от строгой точности к нестрогой показывает, что часть неудач была связана с устранимыми вступлениями, заключениями или форматированием Markdown, тогда как многие ответы так и не стали корректными после всех восьми преобразований.

Принятие и использование в исследованиях

IFEval получил широкое распространение, поскольку сочетает открытую генерацию с недорогой детерминированной проверкой. Набор данных включён в публичную оценочную инфраструктуру, включая экосистему оценки Open LLM на Hugging Face и Language Model Evaluation Harness от EleutherAI[3][6].

Бенчмарк используется в модельных карточках, исследованиях инструктирования, оценках лидербордов, анализах чувствительности к промптам и работах по обучению с проверяемыми наградами. Поскольку каждый чекер выдаёт автоматический сигнал «пройдено/не пройдено», та же схема поддерживает фильтрацию с учителем, rejection sampling и обучение с подкреплением на основе проверяемых наград.

Опубликованные результаты приводятся не всегда по одной и той же ключевой метрике. Одни отчёты используют строгую точность на уровне промптов, другие — точность на уровне инструкций или нестрогую. Поэтому балл, обозначенный просто как «IFEval», неоднозначен, если не указаны метрика и оценочный фреймворк.

Расширения и родственные бенчмарки

IFEval повлиял на ряд более поздних оценок, которые расширяют его подход проверяемых кодом ограничений или направлены на слабые места исходного набора данных.

Бенчмарк Год Основное расширение Описание
Multi-IF 2024 Многоходовая и многоязычная оценка Расширяет IFEval до 4 501 трёхходового диалога на восьми языках: английский плюс семь переведённых языков[7].
M-IFEval 2025 Языко-специфичные многоязычные ограничения Расширяет оценку на французский, японский и испанский языки, охватывая как общие ограничения, так и инструкции, построенные на орфографических или грамматических особенностях конкретных языков[8].
IFBench 2025 Обобщение на невиданные типы ограничений Вводит 58 новых out-of-domain проверяемых ограничений и публикует 29 дополнительных обучающих ограничений с функциями проверки для изучения обобщения точного следования инструкциям[9].
IFEval++ 2026 Надёжность на нюансированных вариантах промптов Расширяет каждый кейс IFEval в семейство из десяти промптов и измеряет, стабильно ли модель справляется при перефразированиях, дистракторах и перекомбинациях задач и ограничений[10].
IFEval-FC 2025 Форматы вызова функций Применяет проверяемые требования формата к параметрам вызовов функций; содержит 750 тестовых кейсов с автоматически проверяемыми результатами[11].

IFEval++ и надёжность к нюансам

IFEval++ был создан, чтобы проверить, сохраняется ли высокая точность на одиночном промпте, когда то же базовое требование выражено немного иначе. Для каждого из 541 исходного кейса авторы сохранили оригинальный промпт и сгенерировали девять связанных «промптов-кузенов» тремя методами[10]:

  • Перефразирование — меняет формулировку, сохраняя семантику задачи и ограничения.
  • Добавление дистракторов — добавляет совместимый, но нерелевантный контекстный или инструктивный материал.
  • Перекомбинация задачи или ограничения — меняет параметр или представляет то же требование в иной постановке задачи.

Результат — 541 группа из десяти промптов, всего 5 410 промптов.

IFEval++ ввёл метрику reliable@k. Группа получает зачёт, только если модель справляется со всеми k связанными промптами:

reliable@k = группы, пройденные по всем k промптам-кузенам / все оценённые группы

При таком определении reliable@1 соответствует обычной точности на одиночном промпте, тогда как reliable@10 требует стабильного успеха на всём десятипромптовом семействе.

Отдельные результаты исследования IFEval++ иллюстрируют разницу между обычной точностью и надёжностью на уровне групп[10]:

Модель Точность IFEval IFEval++ reliable@10 Относительное падение
GPT-5 95,9 % 78,4 % 18,3 %
LLaMA-3.3-70B-Instruct 92,1 % 71,0 % 22,9 %
Qwen3-0.6B 58,0 % 22,2 % 61,8 %

Эти значения — результаты конкретных версий моделей и конфигурации оценки из статьи, а не универсальный или постоянно обновляемый лидерборд. Они показывают, что производительность около потолка на исходных фиксированных промптах не обязательно означает последовательное следование инструкциям при нюансированных переформулировках.

Ограничения и критика

Ограниченный охват конструкта

IFEval измеряет намеренно узкий аспект следования инструкциям. Его чекеры фокусируются на свойствах, наблюдаемых и проверяемых в итоговом тексте.

Бенчмарк напрямую не оценивает:

  • Фактическую точность.
  • Логическую корректность.
  • Полноту выполнения запрошенной задачи.
  • Релевантность по отношению к базовой цели пользователя.
  • Качество объяснения.
  • Корректность ссылок на источники.
  • Безопасность или соответствие политикам.
  • Честность относительно неопределённости.
  • Творческую или риторическую эффективность.

Ответ может удовлетворять каждому формальному ограничению, содержа при этом ложный или нерелевантный контент. И наоборот: полезный и точный ответ может не получить зачёта из-за одной запрещённой запятой или промаха мимо точного порога числа слов. Поэтому IFEval следует интерпретировать как меру приверженности ограничениям, а не общего качества ассистента[1][10].

Определения чекеров и краевые случаи

Понятия естественного языка — «слово», «предложение», «абзац», «заголовок» или «выделенная секция» — не имеют общепринятых вычислительных определений. Результаты могут зависеть от токенизации, обработки пунктуации, символов Unicode, синтаксиса Markdown, аббревиатур, блоков кода, математической нотации или текста со смешением языков.

В оригинальной статье прямо отмечено, что даже внешне проверяемые инструкции имеют краевые случаи. Нестрогий оценщик был введён именно потому, что простое сопоставление может отвергнуть семантически корректные ответы, содержащие типичные вариации форматирования[1].

Модель может разумно интерпретировать запрос иначе, чем чекер, и быть засчитана как ошибочная. Она может также эксплуатировать реализацию чекера и пройти проверку, не удовлетворяя предполагаемой человеческой интерпретации.

Качество данных и версионность

Авторы IFEval++ сообщили, что ручная проверка и обратная связь сообщества выявили небольшое число дефектных исходных кейсов. Среди типов проблем — ограничения чекеров, несоответствия между формулировкой промпта и сохранёнными параметрами оценки, типографические несогласованности и комбинации ограничений, которые невозможно удовлетворить одновременно. В их экспериментах использовалась минимально исправленная копия данных и функций оценки[10].

Это создаёт проблему версионности: баллы, полученные на оригинальных данных Google, исправленной downstream-копии или модифицированном оценщике, могут расходиться. Отчёты о бенчмарке должны указывать точную ревизию набора данных и коммит кода.

Публичность и статичность тестовых данных

Все промпты, идентификаторы инструкций, параметры и код верификаторов общедоступны. Такая прозрачность облегчает воспроизведение и анализ ошибок, но и создаёт риск попадания примеров или их повторяющихся шаблонов в претрейн, инструктирование, данные предпочтений или обучение с подкреплением.

Высокий балл сам по себе не отличает общую способность следовать инструкциям от прямого запоминания, знакомства с 25 семействами чекеров или бенчмарк-специфичной оптимизации. IFBench был создан в том числе потому, что модели, сильные на знакомых проверяемых ограничениях, могут плохо обобщаться на ранее невиданные типы ограничений[9].

Английский язык и одиночный ход

Исходные промпты написаны на английском, и каждая запись оценивается как независимое одноходовое взаимодействие. Бенчмарк комплексно не измеряет, может ли модель следовать инструкциям на других языках, сохранять требования между ходами диалога, править только часть более раннего запроса или разрешать конфликты между прежними и новыми ограничениями.

Multi-IF и M-IFEval частично закрывают эти ограничения, добавляя многоходовые диалоги и языко-специфичную многоязычную оценку[7][8].

Агрегация метрик

Точность на уровне промптов бинарна: удовлетворение двух ограничений из трёх даёт тот же балл промпта, что и нулевое. Это уместно, когда требуется полное соответствие, но отбрасывает информацию о частичном успехе.

Точность на уровне инструкций сохраняет частичный зачёт, но взвешивает экземпляры инструкций, а не промпты. Часто встречающиеся типы инструкций вносят больший вклад в агрегированный результат, тогда как редкие, но трудные ограничения слабо влияют на итоговый балл.

По возможности результаты по типам, на уровне промптов и на уровне инструкций следует публиковать вместе.

Чувствительность к протоколу

Баллы IFEval могут меняться из-за особенностей инфраструктуры, а не изменения самой модели. Релевантные факторы: системные промпты, шаблоны чата, дефолтные ассистентские преамбулы, видимый текст рассуждений, поведение отказов, обрезка вывода, стоп-последовательности, экстракция ответа, нормализация Markdown, библиотеки определения языка и ревизии чекеров.

Например, платформа, автоматически ставящая перед каждым ответом разговорное подтверждение, усложняет строгие требования JSON, кавычек, верхнего и нижнего регистра и точного начала. Удаление префикса может быть операционно оправданным, но оно определяет другой протокол оценки.

Насыщение и надёжность

Более поздние frontier-модели в исследовании IFEval++ достигли на исходном бенчмарке результатов, близких к потолку. К этому моменту средний балл на фиксированных 541 промптах давал меньше возможностей для различения ведущих систем.

IFEval++ показал, что высокий исходный балл может сосуществовать с существенно более низкой надёжностью на связанных промптах. Это означает, что средняя точность на знакомых формулировках не полностью измеряет устойчивость к перефразированию, отвлекающему контексту или изменённым значениям ограничений[10].

Для сравнения frontier-моделей IFEval поэтому наиболее информативен в сочетании с закрытыми или свежесгенерированными кейсами, out-of-domain ограничениями, многоязычными промптами, многоходовым взаимодействием, оценкой качества контента и диагностикой по отдельным инструкциям.

Ссылки

См. также

Литература

  • Zhou, J. et al. (2023). Instruction-Following Evaluation for Large Language Models. arXiv:2311.07911.
  • He, Y. et al. (2024). Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following. arXiv:2410.15553.
  • Dussolle, A. et al. (2025). M-IFEval: Multilingual Instruction-Following Evaluation. Findings of NAACL 2025. [12].
  • Pyatkin, V. et al. (2025). Generalizing Verifiable Instruction Following. arXiv:2507.02833.
  • Dong, J. et al. (2026). Revisiting the Reliability of Language Models in Instruction-Following. ACL 2026. [13].

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 Zhou, J. et al. "Instruction-Following Evaluation for Large Language Models". arXiv:2311.07911, 2023. [1]
  2. ↑ 2,0 2,1 2,2 2,3 Google Research. "IFEval: Instruction Following Eval". GitHub repository. [2]
  3. ↑ 3,0 3,1 3,2 3,3 Google. "IFEval". Hugging Face Datasets. [3]
  4. ↑ Google Research. "IFEval evaluation code". GitHub. [4]
  5. ↑ Google Research. "IFEval evaluation library". GitHub. [5]
  6. ↑ EleutherAI. "IFEval task implementation". Language Model Evaluation Harness. [6]
  7. ↑ 7,0 7,1 He, Y. et al. "Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following". arXiv:2410.15553, 2024. [7]
  8. ↑ 8,0 8,1 Dussolle, A. et al. "M-IFEval: Multilingual Instruction-Following Evaluation". Findings of NAACL 2025, pp. 6176–6191. [8]
  9. ↑ 9,0 9,1 Pyatkin, V. et al. "Generalizing Verifiable Instruction Following". arXiv:2507.02833, 2025. [9]
  10. ↑ 10,0 10,1 10,2 10,3 10,4 10,5 Dong, J. et al. "Revisiting the Reliability of Language Models in Instruction-Following". ACL 2026, pp. 7784–7812. doi:10.18653/v1/2026.acl-long.354. [10]
  11. ↑ Skripko, N. "Instruction-Following Evaluation in Function Calling for Large Language Models". arXiv:2509.18420, 2025. [11]