---
title: "IFEval Benchmark"
source: "https://systems-analysis.info/wiki/IFEval_Benchmark"
wiki: "systems-analysis.info/wiki"
article: "IFEval_Benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3738
wiki_created_at: 2026-11-19T07:42:07Z
wiki_modified_at: 2026-11-19T09:57:03Z
downloaded_at: 2026-11-19T10:11:13Z
---

# IFEval Benchmark

**IFEval** (**Instruction-Following Eval**) — [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для измерения того, насколько точно [большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM) следуют явным инструкциям на естественном языке. Он был представлен Джеффри Чжоу (*Jeffrey Zhou*) и соавторами в 2023 году в статье «Instruction-Following Evaluation for Large Language Models»<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

IFEval сфокусирован на **проверяемых инструкциях** (*verifiable instructions*): ограничениях, выполнение которых может быть проверено простой и интерпретируемой компьютерной программой. Примеры включают требование содержать указанные ключевые слова, использовать определённый язык, не превышать лимит слов, не использовать запятые, содержать фиксированное число буллитов или целиком состоять из корректного JSON<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

Публичный бенчмарк содержит **541 промпт** и **25 типов инструкций**. Каждый промпт содержит от одного до трёх ограничений, объединённых с открытой задачей пользователя. Текст промптов написан на английском языке, хотя некоторые задачи требуют, чтобы ответ был написан на другом языке. Опубликованные данные включают применимые идентификаторы инструкций и параметры чекеров, а официальный оценщик применяет детерминированные проверки на основе правил к сгенерированному ответу<sup>[\[2\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_repo-2)[\[3\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_hf-3)</sup>.

В отличие от бенчмарков знаний и рассуждений, таких как [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark"), [Big-Bench Hard](https://systems-analysis.info/wiki/Big-Bench_Hard "Big-Bench Hard") или [MATH-500](https://systems-analysis.info/wiki/MATH-500 "MATH-500"), IFEval не определяет в первую очередь, является ли фактическое содержание ответа верным. Его основная цель — установить, подчиняется ли ответ явно заявленным, автоматически проверяемым требованиям к выводу.

## Предыстория и назначение

Следование инструкциям — ключевая способность инструктированных и диалоговых языковых моделей. Модель может обладать нужными знаниями и всё же выдавать непригодный ответ, потому что она игнорирует запрошенный формат, превышает лимит длины, пропускает обязательный элемент, добавляет запрещённый текст или отвечает не на том языке.

До появления IFEval качество следования инструкциям обычно оценивалось через ручную проверку, парные сравнения предпочтений или оценку другой языковой моделью. Ручная оценка может быть дорогой и трудно воспроизводимой, а LLM-судья может наследовать собственные предубеждения и ошибки рассуждений. Классические метрики с эталонным ответом также плохо подходят для открытых промптов, для которых допустимы многие разные ответы<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

IFEval сужает задачу оценки до воспроизводимого вопроса:

*Удовлетворяет ли ответ модели каждому проверяемому ограничению, заявленному в промпте?*

Такой дизайн имеет ряд практических преимуществ:

- Проверка автоматическая и недорогая после генерации ответов.
- Один и тот же ответ получает один и тот же результат при фиксированной реализации чекеров.
- Полный эталонный ответ не требуется.
- Неудачи можно анализировать по типам инструкций.
- Открытую генерацию можно оценивать, не сводя каждую задачу к выбору из вариантов.
- Результаты чекеров могут использоваться как автоматически вычисляемые награды в обучающих экспериментах.

Бенчмарк не претендует на замену ручной оценки релевантности, корректности, безопасности, полезности или стиля. Он измеряет более узкую способность, обычно описываемую как **точное следование инструкциям** (*precise instruction following*).

## Построение набора данных

Авторы строили промпты в четыре этапа<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>:

1.  Базовая задача объединялась с одним-тремя случайно выбранными проверяемыми инструкциями.
2.  Процедура на базе few-shot языковой модели использовалась для выявления и удаления нелогичных или несовместимых комбинаций.
3.  Другая few-shot-процедура перефразировала промпты для увеличения лингвистического разнообразия.
4.  Каждый промпт проходил ручную проверку и правку перед включением.

Параметры инструкций варьировались между примерами. Ограничение длины могло требовать не менее или не более заданного числа слов. Ограничение по ключевым словам могло требовать появления фразы, запрещать её или задавать частоту. Инструкции форматирования могли определять число абзацев, секций, буллитов, плейсхолдеров или выделенных фрагментов.

| Свойство                     | Значение                                                  |
|------------------------------|-----------------------------------------------------------|
| Число промптов               | **541**                                                   |
| Число типов инструкций       | **25**                                                    |
| Число ограничений на промпт  | От одного до трёх                                         |
| Язык промптов                | Английский                                                |
| Формат взаимодействия        | Одноходовая текстовая генерация                           |
| Формат ответа                | Открытый текст с проверяемыми ограничениями               |
| Проверка                     | Детерминированные функции-чекеры для отдельных инструкций |
| Классический эталонный ответ | Не требуется                                              |

IFEval — это оценочный набор, а не обычный корпус для обучения с учителем. Дистрибутив на [Hugging Face](https://systems-analysis.info/wiki/Hugging_Face "Hugging Face") содержит записи в сплите с именем `train`, но 541 элемент предназначен для бенчмарк-оценки, а не для обучения моделей<sup>[\[3\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_hf-3)</sup>.

## Таксономия инструкций

В оригинальной статье 25 типов инструкций сгруппированы в девять широких категорий<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

| Группа                  | Тип инструкции                  | Официальный идентификатор                       | Требование                                                                               |
|-------------------------|---------------------------------|-------------------------------------------------|------------------------------------------------------------------------------------------|
| Ключевые слова          | Включение ключевых слов         | `keywords:existence`                            | Один или более указанных слов или фраз должны присутствовать.                            |
| Ключевые слова          | Частота ключевого слова         | `keywords:frequency`                            | Указанное ключевое слово должно встречаться с требуемой частотой.                        |
| Ключевые слова          | Запрещённые слова               | `keywords:forbidden_words`                      | Указанные слова или фразы не должны появляться.                                          |
| Ключевые слова          | Частота буквы                   | `keywords:letter_frequency`                     | Указанная буква должна встречаться согласно числовому условию.                           |
| Язык                    | Язык ответа                     | `language:response_language`                    | Весь ответ должен быть написан на указанном языке.                                       |
| Ограничения длины       | Число предложений               | `length_constraints:number_sentences`           | Число предложений должно удовлетворять минимальному или максимальному порогу.            |
| Ограничения длины       | Число абзацев                   | `length_constraints:number_paragraphs`          | Ответ должен содержать требуемое число абзацев.                                          |
| Ограничения длины       | Число слов                      | `length_constraints:number_words`               | Число слов должно удовлетворять минимальному или максимальному порогу.                   |
| Ограничения длины       | Первое слово указанного абзаца  | `length_constraints:nth_paragraph_first_word`   | Выбранный абзац должен начинаться с указанного слова.                                    |
| Определяемое содержимое | Число плейсхолдеров             | `detectable_content:number_placeholders`        | Ответ должен содержать требуемое число плейсхолдеров в квадратных скобках.               |
| Определяемое содержимое | Постскриптум                    | `detectable_content:postscript`                 | Должен быть включён постскриптум, начинающийся с указанного маркера.                     |
| Определяемый формат     | Число буллитов                  | `detectable_format:number_bullet_lists`         | Ответ должен содержать запрошенное число буллитов в Markdown.                            |
| Определяемый формат     | Ограниченный ответ              | `detectable_format:constrained_response`        | Ответ должен выбираться из заранее заданного набора допустимых вариантов.                |
| Определяемый формат     | Выделенные секции               | `detectable_format:number_highlighted_sections` | Не менее указанного числа фрагментов должно использовать запрошенную разметку выделения. |
| Определяемый формат     | Несколько секций                | `detectable_format:multiple_sections`           | Ответ должен содержать указанное число секций, размеченных требуемым разделителем.       |
| Определяемый формат     | Формат JSON                     | `detectable_format:json_format`                 | Весь ответ должен распознаваться как JSON.                                               |
| Определяемый формат     | Заголовок                       | `detectable_format:title`                       | Заголовок должен быть заключён в запрошенные разделители, например `<<title>>`.          |
| Комбинация              | Два ответа                      | `combination:two_responses`                     | Два отдельных ответа должны быть разделены указанным разделителем.                       |
| Комбинация              | Повтор промпта                  | `combination:repeat_prompt`                     | Модель должна воспроизвести указанный текст промпта перед ответом.                       |
| Изменение регистра      | Частота слов в верхнем регистре | `change_case:capital_word_frequency`            | Полностью написанные заглавными слова должны встречаться согласно числовому условию.     |
| Изменение регистра      | Всё в верхнем регистре          | `change_case:english_capital`                   | Английские буквенные символы в ответе должны быть в верхнем регистре.                    |
| Изменение регистра      | Всё в нижнем регистре           | `change_case:english_lowercase`                 | Английские буквенные символы в ответе должны быть в нижнем регистре.                     |
| Начало или конец        | Чекер конца                     | `startend:end_checker`                          | Ответ должен заканчиваться точной фразой, и после неё не должно быть ничего.             |
| Начало или конец        | Кавычки                         | `startend:quotation`                            | Весь ответ должен быть заключён в кавычки.                                               |
| Пунктуация              | Без запятых                     | `punctuation:no_comma`                          | В ответе не должно быть символа запятой.                                                 |

Типы инструкций различаются по сложности реализации. Некоторые используют прямое сопоставление строк или регулярные выражения, другие требуют сегментации на слова и предложения, определения языка, парсинга JSON или специализированной структурной логики. Официальный реестр сопоставляет каждый идентификатор с классом чекера в опубликованном Python-коде<sup>[\[4\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_code-4)</sup>.

## Формат данных и релиз

Официальный релиз хранит промпты в формате JSONL. Каждая запись содержит четыре основных поля<sup>[\[2\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_repo-2)[\[3\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_hf-3)</sup>:

| Поле                  | Описание                                                                               |
|-----------------------|----------------------------------------------------------------------------------------|
| `key`                 | Уникальный целочисленный идентификатор промпта.                                        |
| `prompt`              | Полная задача с её ограничениями на естественном языке.                                |
| `instruction_id_list` | Упорядоченный список идентификаторов чекеров, применимых к промпту.                    |
| `kwargs`              | Упорядоченный список словарей параметров, согласованный с идентификаторами инструкций. |

Упрощённая запись (с опущенными неиспользуемыми параметрами) может выглядеть так:

    {
      "key": 1000,
      "prompt": "Write an explanation. Use at least 300 words, highlight three sections, and do not use commas.",
      "instruction_id_list": [
        "punctuation:no_comma",
        "detectable_format:number_highlighted_sections",
        "length_constraints:number_words"
      ],
      "kwargs": [
        {},
        {"num_highlights": 3},
        {"relation": "at least", "num_words": 300}
      ]
    }

Два массива согласованы позиционно: первый словарь параметров настраивает первый чекер, второй — второй чекер и так далее.

Единого канонического ответа на естественном языке не существует. Любой сгенерированный текст может получить полный балл, если он удовлетворяет всем настроенным ограничениям. Официальный репозиторий содержит файл промптов, классы чекеров, реестр инструкций, функции строгой и нестрогой оценки, консольный скрипт и инструкции по подаче ответов модели в формате JSONL<sup>[\[2\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_repo-2)</sup>.

## Методология оценки

### Генерация ответов

Каждый промпт бенчмарка отправляется оцениваемой модели как одиночный запрос пользователя. Сгенерированный ответ сохраняется вместе с точным [промптом](https://systems-analysis.info/wiki/Prompt "Prompt"). Официальный скрипт ожидает записи со следующей базовой структурой:

    {
      "prompt": "The exact IFEval prompt",
      "response": "The model-generated response"
    }

Оценщик использует промпт как ключ, загружает соответствующие идентификаторы инструкций и параметры, инстанцирует нужные классы чекеров и оценивает каждое ограничение отдельно<sup>[\[2\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_repo-2)</sup>.

### Строгая оценка

При **строгой оценке** (*strict evaluation*) каждый чекер применяется напрямую к полному необработанному ответу. Строгая проверка может считать слова или предложения, искать обязательные или запрещённые строки, парсить JSON, проверять регистр, инспектировать первые или последние символы либо проверять запрошенные структурные разделители.

Каждая инструкция получает бинарный результат: пройдено или не пройдено. Частичный зачёт внутри отдельной инструкции не предусмотрен.

Строгая оценка намеренно штрафует дополнительный материал, нарушающий запрошенный формат. Например, ответ, содержащий корректный JSON-объект, перед которым стоит «Here is the result», не проходит строгий чекер JSON-формата, потому что полный ответ не является корректным JSON.

### Нестрогая оценка

Авторы ввели **нестрогую оценку** (*loose evaluation*), чтобы сократить число ложноотрицательных результатов, вызванных типичными привычками форматирования чат-моделей. Официальная реализация строит восемь версий каждого ответа<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)[\[5\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_eval_lib-5)</sup>:

- Исходный ответ.
- Версия с удалёнными звёздочками.
- Версия без первой строки.
- Версия без последней строки.
- Версия без первой и последней строк.
- Каждая из трёх версий с удалёнными строками, дополнительно освобождённая от звёздочек.

Инструкция считается пройденной по нестрогому критерию, если хотя бы одна из восьми версий проходит её чекер. Это позволяет учесть привычное вступление, заключительную фразу или маркеры выделения Markdown.

Нестрогая оценка может также приводить к ложноположительным результатам, потому что удаление текста способно устранить реальное нарушение. Поэтому в оригинальной статье нестрогая точность рассматривается как дополнение к строгой, а не её замена<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

### Метрики

IFEval сообщает результаты на уровне промптов и на уровне инструкций.

| Метрика                                     | Условие успеха                                                          | Формальная запись                                                       |
|---------------------------------------------|-------------------------------------------------------------------------|-------------------------------------------------------------------------|
| **Строгая точность на уровне промптов**     | Каждая инструкция, присоединённая к промпту, проходит строгую оценку.   | `полностью строгие промпты / все промпты`                               |
| **Строгая точность на уровне инструкций**   | Каждый экземпляр инструкции считается независимо при строгой оценке.    | `строго пройденные экземпляры инструкций / все экземпляры инструкций`   |
| **Нестрогая точность на уровне промптов**   | Каждая инструкция, присоединённая к промпту, проходит нестрогую оценку. | `полностью нестрогие промпты / все промпты`                             |
| **Нестрогая точность на уровне инструкций** | Каждый экземпляр инструкции считается независимо при нестрогой оценке.  | `нестрого пройденные экземпляры инструкций / все экземпляры инструкций` |

Точность на уровне промптов обычно ниже, потому что промпт не получает зачёта, если хотя бы одно из его ограничений не проходит. Точность на уровне инструкций сохраняет информацию о частичном соответствии, но не показывает, встречались ли пройденные ограничения вместе в полных ответах.

### Воспроизводимость и детали протокола

Чекеры детерминированы для фиксированного ответа и версии кода, однако сквозной балл зависит также от генерации ответов и предобработки. Воспроизводимый отчёт должен указывать:

- Точную модель и чекпоинт либо версию API.
- Системный промпт и шаблон чата.
- Температуру сэмплирования и метод декодирования.
- Максимальную длину вывода в токенах и стоп-последовательности.
- Включается ли видимый текст рассуждений в оцениваемый ответ.
- Любую экстракцию или постобработку перед проверкой.
- Ревизию набора данных и реализацию оценщика.
- Какая из четырёх метрик IFEval приводится.

Эти детали могут существенно влиять на результат. Системная преамбула может нарушить требования JSON, кавычек, точного начала или нижнего/верхнего регистра. Короткий лимит вывода может сделать ограничение минимального числа слов невыполнимым, а избыточная генерация — добавить текст после и без того корректного ответа.

## Первоначальные результаты

В оригинальном исследовании 2023 года через API провайдеров оценивались GPT-4 и PaLM 2 S. Авторы сообщили следующие результаты<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>:

| Модель                                                        | Строгая, уровень промптов | Строгая, уровень инструкций | Нестрогая, уровень промптов | Нестрогая, уровень инструкций |
|---------------------------------------------------------------|---------------------------|-----------------------------|-----------------------------|-------------------------------|
| **[GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4")** | **76,89 %**               | **83,57 %**                 | **79,30 %**                 | **85,37 %**                   |
| **PaLM 2 S**                                                  | 43,07 %                   | 55,76 %                     | 46,95 %                     | 59,11 %                       |

Результаты из оригинальной статьи IFEval

GPT-4 получил более высокие баллы по всем четырём метрикам. В статье отмечалось, что эти системы напрямую не сопоставимы, поскольку их размеры и другие характеристики существенно различались<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

Разрыв между точностью на уровне промптов и на уровне инструкций иллюстрирует эффект накопления комбинированных ограничений. Модель может удовлетворять большинству отдельных требований, но проваливать заметно большую долю полных промптов, так как одно пропущенное требование обнуляет весь промпт.

Умеренный рост от строгой точности к нестрогой показывает, что часть неудач была связана с устранимыми вступлениями, заключениями или форматированием Markdown, тогда как многие ответы так и не стали корректными после всех восьми преобразований.

## Принятие и использование в исследованиях

IFEval получил широкое распространение, поскольку сочетает открытую генерацию с недорогой детерминированной проверкой. Набор данных включён в публичную оценочную инфраструктуру, включая экосистему оценки Open LLM на Hugging Face и Language Model Evaluation Harness от EleutherAI<sup>[\[3\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_hf-3)[\[6\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-lm_eval-6)</sup>.

Бенчмарк используется в модельных карточках, исследованиях инструктирования, оценках лидербордов, анализах чувствительности к промптам и работах по обучению с проверяемыми наградами. Поскольку каждый чекер выдаёт автоматический сигнал «пройдено/не пройдено», та же схема поддерживает фильтрацию с учителем, rejection sampling и обучение с подкреплением на основе проверяемых наград.

Опубликованные результаты приводятся не всегда по одной и той же ключевой метрике. Одни отчёты используют строгую точность на уровне промптов, другие — точность на уровне инструкций или нестрогую. Поэтому балл, обозначенный просто как «IFEval», неоднозначен, если не указаны метрика и оценочный фреймворк.

## Расширения и родственные бенчмарки

IFEval повлиял на ряд более поздних оценок, которые расширяют его подход проверяемых кодом ограничений или направлены на слабые места исходного набора данных.

| Бенчмарк      | Год  | Основное расширение                             | Описание                                                                                                                                                                                                                                                                                      |
|---------------|------|-------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| **Multi-IF**  | 2024 | Многоходовая и многоязычная оценка              | Расширяет IFEval до 4 501 трёхходового диалога на восьми языках: английский плюс семь переведённых языков<sup>[\[7\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-multi_if-7)</sup>.                                                                                        |
| **M-IFEval**  | 2025 | Языко-специфичные многоязычные ограничения      | Расширяет оценку на французский, японский и испанский языки, охватывая как общие ограничения, так и инструкции, построенные на орфографических или грамматических особенностях конкретных языков<sup>[\[8\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-m_ifeval-8)</sup>. |
| **IFBench**   | 2025 | Обобщение на невиданные типы ограничений        | Вводит 58 новых out-of-domain проверяемых ограничений и публикует 29 дополнительных обучающих ограничений с функциями проверки для изучения обобщения точного следования инструкциям<sup>[\[9\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifbench-9)</sup>.              |
| **IFEval++**  | 2026 | Надёжность на нюансированных вариантах промптов | Расширяет каждый кейс IFEval в семейство из десяти промптов и измеряет, стабильно ли модель справляется при перефразированиях, дистракторах и перекомбинациях задач и ограничений<sup>[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>.             |
| **IFEval-FC** | 2025 | Форматы вызова функций                          | Применяет проверяемые требования формата к параметрам вызовов функций; содержит 750 тестовых кейсов с автоматически проверяемыми результатами<sup>[\[11\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_fc-11)</sup>.                                                 |

### IFEval++ и надёжность к нюансам

IFEval++ был создан, чтобы проверить, сохраняется ли высокая точность на одиночном промпте, когда то же базовое требование выражено немного иначе. Для каждого из 541 исходного кейса авторы сохранили оригинальный промпт и сгенерировали девять связанных «промптов-кузенов» тремя методами<sup>[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>:

- **Перефразирование** — меняет формулировку, сохраняя семантику задачи и ограничения.
- **Добавление дистракторов** — добавляет совместимый, но нерелевантный контекстный или инструктивный материал.
- **Перекомбинация задачи или ограничения** — меняет параметр или представляет то же требование в иной постановке задачи.

Результат — **541 группа из десяти промптов**, всего **5 410 промптов**.

IFEval++ ввёл метрику `reliable@k`. Группа получает зачёт, только если модель справляется со всеми `k` связанными промптами:

`reliable@k = группы, пройденные по всем k промптам-кузенам / все оценённые группы`

При таком определении `reliable@1` соответствует обычной точности на одиночном промпте, тогда как `reliable@10` требует стабильного успеха на всём десятипромптовом семействе.

Отдельные результаты исследования IFEval++ иллюстрируют разницу между обычной точностью и надёжностью на уровне групп<sup>[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>:

| Модель                                                                                                       | Точность IFEval | IFEval++ reliable@10 | Относительное падение |
|--------------------------------------------------------------------------------------------------------------|-----------------|----------------------|-----------------------|
| [GPT-5](https://systems-analysis.info/wiki/GPT-5 "GPT-5")                                                    | 95,9 %          | 78,4 %               | 18,3 %                |
| [LLaMA-3.3-70B-Instruct](https://systems-analysis.info/wiki/LLaMA_3.3_70B_Instruct "LLaMA 3.3 70B Instruct") | 92,1 %          | 71,0 %               | 22,9 %                |
| Qwen3-0.6B                                                                                                   | 58,0 %          | 22,2 %               | 61,8 %                |

Эти значения — результаты конкретных версий моделей и конфигурации оценки из статьи, а не универсальный или постоянно обновляемый лидерборд. Они показывают, что производительность около потолка на исходных фиксированных промптах не обязательно означает последовательное следование инструкциям при нюансированных переформулировках.

## Ограничения и критика

### Ограниченный охват конструкта

IFEval измеряет намеренно узкий аспект следования инструкциям. Его чекеры фокусируются на свойствах, наблюдаемых и проверяемых в итоговом тексте.

Бенчмарк напрямую не оценивает:

- Фактическую точность.
- Логическую корректность.
- Полноту выполнения запрошенной задачи.
- Релевантность по отношению к базовой цели пользователя.
- Качество объяснения.
- Корректность ссылок на источники.
- Безопасность или соответствие политикам.
- Честность относительно неопределённости.
- Творческую или риторическую эффективность.

Ответ может удовлетворять каждому формальному ограничению, содержа при этом ложный или нерелевантный контент. И наоборот: полезный и точный ответ может не получить зачёта из-за одной запрещённой запятой или промаха мимо точного порога числа слов. Поэтому IFEval следует интерпретировать как меру приверженности ограничениям, а не общего качества ассистента<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>.

### Определения чекеров и краевые случаи

Понятия естественного языка — «слово», «предложение», «абзац», «заголовок» или «выделенная секция» — не имеют общепринятых вычислительных определений. Результаты могут зависеть от токенизации, обработки пунктуации, символов Unicode, синтаксиса Markdown, аббревиатур, блоков кода, математической нотации или текста со смешением языков.

В оригинальной статье прямо отмечено, что даже внешне проверяемые инструкции имеют краевые случаи. Нестрогий оценщик был введён именно потому, что простое сопоставление может отвергнуть семантически корректные ответы, содержащие типичные вариации форматирования<sup>[\[1\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_paper-1)</sup>.

Модель может разумно интерпретировать запрос иначе, чем чекер, и быть засчитана как ошибочная. Она может также эксплуатировать реализацию чекера и пройти проверку, не удовлетворяя предполагаемой человеческой интерпретации.

### Качество данных и версионность

Авторы IFEval++ сообщили, что ручная проверка и обратная связь сообщества выявили небольшое число дефектных исходных кейсов. Среди типов проблем — ограничения чекеров, несоответствия между формулировкой промпта и сохранёнными параметрами оценки, типографические несогласованности и комбинации ограничений, которые невозможно удовлетворить одновременно. В их экспериментах использовалась минимально исправленная копия данных и функций оценки<sup>[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>.

Это создаёт проблему версионности: баллы, полученные на оригинальных данных Google, исправленной downstream-копии или модифицированном оценщике, могут расходиться. Отчёты о бенчмарке должны указывать точную ревизию набора данных и коммит кода.

### Публичность и статичность тестовых данных

Все промпты, идентификаторы инструкций, параметры и код верификаторов общедоступны. Такая прозрачность облегчает воспроизведение и анализ ошибок, но и создаёт риск попадания примеров или их повторяющихся шаблонов в претрейн, инструктирование, данные предпочтений или обучение с подкреплением.

Высокий балл сам по себе не отличает общую способность следовать инструкциям от прямого запоминания, знакомства с 25 семействами чекеров или бенчмарк-специфичной оптимизации. IFBench был создан в том числе потому, что модели, сильные на знакомых проверяемых ограничениях, могут плохо обобщаться на ранее невиданные типы ограничений<sup>[\[9\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifbench-9)</sup>.

### Английский язык и одиночный ход

Исходные промпты написаны на английском, и каждая запись оценивается как независимое одноходовое взаимодействие. Бенчмарк комплексно не измеряет, может ли модель следовать инструкциям на других языках, сохранять требования между ходами диалога, править только часть более раннего запроса или разрешать конфликты между прежними и новыми ограничениями.

Multi-IF и M-IFEval частично закрывают эти ограничения, добавляя многоходовые диалоги и языко-специфичную многоязычную оценку<sup>[\[7\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-multi_if-7)[\[8\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-m_ifeval-8)</sup>.

### Агрегация метрик

Точность на уровне промптов бинарна: удовлетворение двух ограничений из трёх даёт тот же балл промпта, что и нулевое. Это уместно, когда требуется полное соответствие, но отбрасывает информацию о частичном успехе.

Точность на уровне инструкций сохраняет частичный зачёт, но взвешивает экземпляры инструкций, а не промпты. Часто встречающиеся типы инструкций вносят больший вклад в агрегированный результат, тогда как редкие, но трудные ограничения слабо влияют на итоговый балл.

По возможности результаты по типам, на уровне промптов и на уровне инструкций следует публиковать вместе.

### Чувствительность к протоколу

Баллы IFEval могут меняться из-за особенностей инфраструктуры, а не изменения самой модели. Релевантные факторы: системные промпты, шаблоны чата, дефолтные ассистентские преамбулы, видимый текст рассуждений, поведение отказов, обрезка вывода, стоп-последовательности, экстракция ответа, нормализация Markdown, библиотеки определения языка и ревизии чекеров.

Например, платформа, автоматически ставящая перед каждым ответом разговорное подтверждение, усложняет строгие требования JSON, кавычек, верхнего и нижнего регистра и точного начала. Удаление префикса может быть операционно оправданным, но оно определяет другой протокол оценки.

### Насыщение и надёжность

Более поздние frontier-модели в исследовании IFEval++ достигли на исходном бенчмарке результатов, близких к потолку. К этому моменту средний балл на фиксированных 541 промптах давал меньше возможностей для различения ведущих систем.

IFEval++ показал, что высокий исходный балл может сосуществовать с существенно более низкой надёжностью на связанных промптах. Это означает, что средняя точность на знакомых формулировках не полностью измеряет устойчивость к перефразированию, отвлекающему контексту или изменённым значениям ограничений<sup>[\[10\]](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_note-ifeval_pp-10)</sup>.

Для сравнения frontier-моделей IFEval поэтому наиболее информативен в сочетании с закрытыми или свежесгенерированными кейсами, out-of-domain ограничениями, многоязычными промптами, многоходовым взаимодействием, оценкой качества контента и диагностикой по отдельным инструкциям.

## Ссылки

- <a href="https://github.com/google-research/google-research/tree/master/instruction_following_eval" class="external text" rel="nofollow">Официальные код и данные IFEval</a>
- <a href="https://huggingface.co/datasets/google/IFEval" class="external text" rel="nofollow">Набор данных IFEval на Hugging Face</a>
- <a href="https://github.com/EleutherAI/lm-evaluation-harness/tree/main/lm_eval/tasks/ifeval" class="external text" rel="nofollow">IFEval в Language Model Evaluation Harness</a>
- <a href="https://github.com/jianshuod/IFEval-pp" class="external text" rel="nofollow">Репозиторий IFEval++</a>
- <a href="https://github.com/allenai/IFBench" class="external text" rel="nofollow">Репозиторий IFBench</a>
- <a href="https://aiwiki.ai/wiki/ifeval" class="external text" rel="nofollow">IFEval — AI Wiki</a>
- <a href="https://systems-analysis.info/eng/IFEval_Benchmark" class="external text" rel="nofollow">IFEval Benchmark — англоязычная версия статьи</a>

## См. также

- [Prompt инжиниринг](https://systems-analysis.info/wiki/Prompt_%D0%B8%D0%BD%D0%B6%D0%B8%D0%BD%D0%B8%D1%80%D0%B8%D0%BD%D0%B3 "Prompt инжиниринг")
- [LLM-as-a-Judge](https://systems-analysis.info/wiki/LLM%E2%80%91as%E2%80%91a%E2%80%91Judge "LLM‑as‑a‑Judge")
- [HELM Benchmark](https://systems-analysis.info/wiki/HELM_Benchmark "HELM Benchmark")

## Литература

- Zhou, J. et al. (2023). *Instruction-Following Evaluation for Large Language Models*. <a href="https://arxiv.org/abs/2311.07911" class="external text" rel="nofollow">arXiv:2311.07911</a>.
- He, Y. et al. (2024). *Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following*. <a href="https://arxiv.org/abs/2410.15553" class="external text" rel="nofollow">arXiv:2410.15553</a>.
- Dussolle, A. et al. (2025). *M-IFEval: Multilingual Instruction-Following Evaluation*. Findings of NAACL 2025. <a href="https://aclanthology.org/2025.findings-naacl.344/" class="external autonumber" rel="nofollow">[12]</a>.
- Pyatkin, V. et al. (2025). *Generalizing Verifiable Instruction Following*. <a href="https://arxiv.org/abs/2507.02833" class="external text" rel="nofollow">arXiv:2507.02833</a>.
- Dong, J. et al. (2026). *Revisiting the Reliability of Language Models in Instruction-Following*. ACL 2026. <a href="https://aclanthology.org/2026.acl-long.354/" class="external autonumber" rel="nofollow">[13]</a>.

## Примечания

1.  <span id="cite_note-ifeval_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_paper_1-10)</sup> Zhou, J. et al. "Instruction-Following Evaluation for Large Language Models". *arXiv:2311.07911*, 2023. <a href="https://arxiv.org/abs/2311.07911" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-ifeval_repo-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_repo_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_repo_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_repo_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_repo_2-3)</sup> Google Research. "IFEval: Instruction Following Eval". *GitHub repository*. <a href="https://github.com/google-research/google-research/tree/master/instruction_following_eval" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-ifeval_hf-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_hf_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_hf_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_hf_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_hf_3-3)</sup> Google. "IFEval". *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/google/IFEval" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-ifeval_code-4">[↑](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_code_4-0) Google Research. "IFEval evaluation code". *GitHub*. <a href="https://github.com/google-research/google-research/blob/master/instruction_following_eval/instructions_registry.py" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-ifeval_eval_lib-5">[↑](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_eval_lib_5-0) Google Research. "IFEval evaluation library". *GitHub*. <a href="https://github.com/google-research/google-research/blob/master/instruction_following_eval/evaluation_lib.py" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-lm_eval-6">[↑](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-lm_eval_6-0) EleutherAI. "IFEval task implementation". *Language Model Evaluation Harness*. <a href="https://github.com/EleutherAI/lm-evaluation-harness/tree/main/lm_eval/tasks/ifeval" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-multi_if-7">↑ <sup>[7,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-multi_if_7-0)</sup> <sup>[7,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-multi_if_7-1)</sup> He, Y. et al. "Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following". *arXiv:2410.15553*, 2024. <a href="https://arxiv.org/abs/2410.15553" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-m_ifeval-8">↑ <sup>[8,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-m_ifeval_8-0)</sup> <sup>[8,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-m_ifeval_8-1)</sup> Dussolle, A. et al. "M-IFEval: Multilingual Instruction-Following Evaluation". *Findings of NAACL 2025*, pp. 6176–6191. <a href="https://aclanthology.org/2025.findings-naacl.344/" class="external autonumber" rel="nofollow">[8]</a></span>
9.  <span id="cite_note-ifbench-9">↑ <sup>[9,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifbench_9-0)</sup> <sup>[9,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifbench_9-1)</sup> Pyatkin, V. et al. "Generalizing Verifiable Instruction Following". *arXiv:2507.02833*, 2025. <a href="https://arxiv.org/abs/2507.02833" class="external autonumber" rel="nofollow">[9]</a></span>
10. <span id="cite_note-ifeval_pp-10">↑ <sup>[10,0](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-0)</sup> <sup>[10,1](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-1)</sup> <sup>[10,2](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-2)</sup> <sup>[10,3](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-3)</sup> <sup>[10,4](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-4)</sup> <sup>[10,5](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_pp_10-5)</sup> Dong, J. et al. "Revisiting the Reliability of Language Models in Instruction-Following". *ACL 2026*, pp. 7784–7812. doi:10.18653/v1/2026.acl-long.354. <a href="https://aclanthology.org/2026.acl-long.354/" class="external autonumber" rel="nofollow">[10]</a></span>
11. <span id="cite_note-ifeval_fc-11">[↑](https://systems-analysis.info/wiki/IFEval_Benchmark#cite_ref-ifeval_fc_11-0) Skripko, N. "Instruction-Following Evaluation in Function Calling for Large Language Models". *arXiv:2509.18420*, 2025. <a href="https://arxiv.org/abs/2509.18420" class="external autonumber" rel="nofollow">[11]</a></span>
