FrontierMath

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

FrontierMath — программа бенчмарков, предназначенная для оценки продвинутого математического рассуждения и решения задач исследовательского уровня в системах искусственного интеллекта. Разработана некоммерческой исследовательской организацией Epoch AI в сотрудничестве с профессиональными математиками; представлена в статье 2024 года FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI Эллиота Глейзера и коллег[1].

В отличие от математических бенчмарков, основанных преимущественно на школьных упражнениях, стандартизированных тестах или ранее опубликованных соревновательных задачах, FrontierMath построена из оригинальных задач, написанных специально для оценки передовых моделей ИИ. Задачи охватывают диапазон от продвинутой бакалаврской и олимпиадной математики до материала аспирантского уровня и современной исследовательской математики. Большинство задач имеют объективно проверяемые итоговые ответы, но требуют существенной теоретической интуиции, протяжённого символьного рассуждения или специализированных вычислений[1].

Изначально название относилось к бенчмарку с закрытым ответом, содержащему задачи с известными решениями. К 2026 году Epoch AI использует FrontierMath как название более широкой программы из двух основных компонентов:

  • FrontierMath: Tiers 1–4 — преимущественно приватный бенчмарк трудных, но уже решённых математических задач.
  • FrontierMath: Open Problems — динамическая коллекция подлинно нерешённых исследовательских вопросов, решения которых оценивают профильные математики и специализированные верификаторы[2].

12 июня 2026 года Epoch AI выпустила версию 2 бенчмарка Tiers 1–4. Переработанная коллекция содержит 338 задач: 295 в Tiers 1–3 и 43 в Tier 4. Двенадцать задач публичны (десять из Tiers 1–3 и две из Tier 4); основные баллы бенчмарка рассчитываются по приватным задачам[3][4].

Предпосылки и мотивация

FrontierMath создана в ответ на быстрое насыщение ранних математических бенчмарков. Наборы данных вроде GSM8K, MATH и коллекций стандартизированных экзаменов были полезны для измерения арифметики, алгебры и соревновательного рассуждения, но передовые модели всё чаще достигали на них результатов, близких к потолку. Многие такие наборы годами были общедоступны, что создавало риск попадания их вопросов и решений в обучающие корпуса моделей[1].

Epoch AI выделила несколько ограничений существующих математических оценок:

  • многие бенчмарки сосредоточены на математике начальной, средней школы или раннего бакалавриата;
  • общедоступные вопросы могут быть запомнены или косвенно выучены при предобучении;
  • вопросы с вариантами ответов иногда решаются исключением или статистическими ловушками;
  • короткие упражнения могут не требовать протяжённого рассуждения, свойственного продвинутой математике;
  • высокий суммарный балл даёт мало информации, когда большинство передовых моделей подходят к верхней границе шкалы.

Поэтому FrontierMath строилась вокруг новых задач, формулировки и решения которых ранее не появлялись в интернете. Большая часть бенчмарка сохранялась приватной, чтобы снизить загрязнение данных и сохранить его ценность как выделенной (holdout) оценки.

Проект также был нацелен на проверку математических способностей, которые трудно измерить обычными соревновательными задачами: выбор подходящей продвинутой теоремы, комбинирование методов из нескольких областей, вывод ранее не сформулированной формулы, вычислительное построение и проверку гипотез, длинные цепочки точных символьных вычислений.

Разработка и история версий

Бенчмарк развивался поэтапно. Техническая статья анализировала раннюю версию из 119 задач; дополнительные вопросы и отдельное расширение Tier 4 выпускались позднее[5].

Основные выпуски FrontierMath
Дата или идентификатор Размер Описание
FrontierMath_10-22-24 119 задач Ранняя коллекция, проанализированная в оригинальной технической статье.
6 ноября 2024 147 задач Расширенный предварительный оценочный набор.
26 ноября 2024 180 задач Версия, впоследствии использованная в опубликованной оценке OpenAI o3.
4 декабря 2024 197 задач Включала пять публичных примеров; позднее был выявлен один дубликат.
28 февраля 2025 300 задач Завершение исходной коллекции Tiers 1–3.
30 июня 2025 50 задач Tier 4 Завершение исходного расширения Tier 4 повышенной сложности.
12 июня 2026 338 задач Версия 2: 295 задач Tiers 1–3 и 43 задачи Tier 4 после исправлений и удалений.

Исходный завершённый бенчмарк, таким образом, содержал 350 задач: 300 в базовой коллекции и 50 в Tier 4. При подготовке версии 2 Epoch AI исправила 123 задачи Tiers 1–3 и 12 задач Tier 4, а также удалила пять задач из Tiers 1–3 и семь из Tier 4. Организация описала обновление как устранение ошибок в 42 % исходных 350 задач[3].

Поскольку версия 2 изменяет как формулировки задач, так и эталонные процедуры проверки, баллы, полученные на ранних выпусках, не обязательно напрямую сопоставимы с баллами на переработанной коллекции.

Авторство задач и методика составления

К созданию оригинального бенчмарка привлекались более 60 математиков из более чем десятка стран: аспиранты, постдоки, преподаватели, специалисты математических олимпиад и исследователи-математики. В сумме они завоевали 14 золотых медалей Международной математической олимпиады, а один из участников является лауреатом Филдсовской премии[1].

Авторам предлагалось создавать задачи, удовлетворяющие нескольким требованиям:

Требование Назначение
Оригинальность Задача должна быть создана заново, а не скопирована или слегка изменена из опубликованного источника.
Определённый ответ Задача должна иметь корректно определённый ответ, допускающий согласованную проверку.
Автоматическая проверяемость Правильность должна проверяться точным сравнением, символьной алгеброй или специализированной верифицирующей программой.
Устойчивость к угадыванию Пространство ответов должно быть достаточно большим или структурированным, чтобы модель не могла получить значимый балл случайным угадыванием.
Вычислительная проверимость Проверка должна быть возможна на обычных вычислительных ресурсах без непрактично большого перебора.
Содержательная сложность Решение должно требовать продвинутых знаний, творческого подхода, протяжённого рассуждения или нетривиальных вычислений.

При исходном составлении использовалась эвристика: решатель, не проделавший большую часть необходимой математической работы, должен иметь шанс угадать правильный ответ менее примерно 1 %. Авторов, как правило, просили прилагать проверочные скрипты, выполняющиеся менее чем за минуту на стандартном оборудовании[1].

Каждая поданная задача включала:

  • формальную постановку;
  • ожидаемый итоговый ответ или класс допустимых ответов;
  • детальное математическое решение;
  • при необходимости верифицирующую программу;
  • метаданные предметной области и методов;
  • оценки требуемых фоновых знаний, творческого вклада и времени исполнения;
  • сведения о возможных неоднозначностях и альтернативных методах решения.

Задачи проходили слепое рецензирование другим математиком: проверялись корректность, ясность, оригинальность, единственность ответа, вычислительная осуществимость и корректность эталонного верификатора, после чего авторы дорабатывали материал с учётом замечаний.

Тем не менее исследование повторной проверки, описанное в техническом отчёте, выявило проблемы качества в выборке из 35 задач: два неверных эталонных ответа, шесть случаев пропущенных предположений и две задачи, признанные излишне подверженными угадыванию. Эти результаты, вместе с масштабными исправлениями 2026 года, показывают, насколько сложен контроль качества для экспертных математических бенчмарков[1][3].

Математический охват

FrontierMath покрывает широкий спектр чистых и прикладных областей математики, включая:

  • теорию чисел;
  • комбинаторику и теорию графов;
  • теорию групп и теорию представлений;
  • линейную и абстрактную алгебру;
  • алгебраическую геометрию;
  • дифференциальную геометрию и топологию;
  • вещественный, комплексный и функциональный анализ;
  • обыкновенные дифференциальные уравнения и уравнения в частных производных;
  • теорию вероятностей;
  • математическую логику;
  • теорию категорий;
  • специальные функции;
  • вычислительную и численную математику;
  • теоретическую информатику.

Версия, проанализированная в техническом отчёте, включала материал примерно из 70 % категорий верхнего уровня классификации MSC2020, исключая общие, исторические и образовательные категории. Авторы выделили более 200 различных математических приёмов в коллекции[1].

Теория чисел и комбинаторика представлены непропорционально широко: вместе они дают около 34 % предметных тегов MSC в проанализированной версии. Эти области особенно подходят для автоматически проверяемых вопросов, поскольку многие трудные задачи имеют точные целочисленные, конечные, алгебраические или комбинаторные ответы.

Тем не менее бенчмарк содержит заметно более специализированный материал, чем большинство ранних математических оценок LLM: задачи могут касаться арифметической геометрии, спектральных последовательностей, случайных процессов, алгебраической топологии, аналитической теории чисел или вычислений в теории представлений.

Уровни сложности

Исходная коллекция Tiers 1–3 строилась вокруг трёх приближённых уровней сложности; Tier 4 позднее добавлен как отдельное расширение с более исследовательскими задачами[5].

Уровень Приблизительный уровень Ожидаемая сложность для человека Типичные характеристики
Tier 1 Продвинутый бакалаврский уровень или уровень трудных математических соревнований Несколько часов для сильного математика Может требовать продвинутых курсов, объёмных вычислений, компьютерного эксперимента или доступа к справочным материалам. Исходная цель — около 20 % коллекции Tiers 1–3.
Tier 2 Аспирантский уровень Порядка одного дня и более для профильного специалиста Обычно требует специальных знаний, неочевидной идеи, многоэтапного вывода или объёмных точных вычислений. Исходная цель — около 40 %.
Tier 3 Начальный исследовательский уровень Несколько дней для специалиста или аспиранта продвинутого уровня Похожа на небольшой исследовательский проект; может требовать разработки нового рассуждения или вычислительного метода. Исходная цель — около 40 %.
Tier 4 Исключительный исследовательский уровень От нескольких дней до нескольких недель для профессиональных исследователей Задачи, как правило, создавались профессорами и постдоками в рамках исследовательских проектов, специально организованных для бенчмарка.

Доли для Tiers 1–3 описывают историческое проектное целевое распределение, а не точный состав версии 2, которая публично отчитывается как объединённый набор из 295 задач.

Коллекция Tier 4 из 50 задач была завершена в июне 2025 года. Её разработка включала симпозиум FrontierMath с участием около 30 математиков и написанием задач в анализе, алгебраической геометрии, комбинаторике, теории чисел и топологии. Версия 2 сохраняет 43 из этих задач после исправлений и удалений[5][3].

Метаданные сложности изначально включали три частично независимых измерения:

  • Фон (Background) — от 1 до 5, от школьной математики до знаний уровня активных исследований;
  • Творчество (Creativity) — оценка времени, которое подходящему эксперту потребовалось бы, чтобы найти основную идею;
  • Исполнение (Execution) — оценка дополнительной работы по завершению доказательства или вычисления после нахождения основной идеи.

Эти оценки являются экспертными суждениями, а не экспериментально калиброванными измерениями: задача может требовать обширных специальных знаний, но почти никакого творчества, если известна подходящая теорема; либо использовать элементарные понятия, требуя при этом крайне оригинальной конструкции.

Человеческие результаты

FrontierMath настолько широка, что ни один математик не может одинаково уверенно владеть всеми представленными областями: специалист по алгебраической геометрии может быть плохо подготовлен к трудной вероятностной задаче, а комбинаторик — к вопросу из функционального анализа.

Epoch AI организовала человеческую оценку с участием около 40 сильных студентов и экспертов-математиков из Массачусетского технологического института. Участники были разбиты на восемь команд по четыре-пять человек с доступом в интернет; за 4,5 часа команды решали выборку из 23 задач Tiers 1–3[5].

В среднем команда решила около 19 % назначенных задач; при объединении успешных ответов всех команд хотя бы одна команда решила примерно 35 % набора. Этот эксперимент не задумывался как универсальная человеческая база: он использовал малую выборку задач, командную работу, ограниченное время и специальности участников, не покрывающие весь бенчмарк.

Математики, включая Теренса Тао, Тимоти Гауэрса и Ричарда Борчердса, также рецензировали примеры из бенчмарка и охарактеризовали задачи верхних уровней как необычно трудные. Такие качественные оценки свидетельствуют о сложности, но напрямую не сопоставимы с точностью моделей.

Типы ответов и проверка

FrontierMath использует вопросы со свободным ответом, а не задачи с вариантами. В зависимости от задачи ожидаемым результатом может быть:

  • целое или рациональное число;
  • вещественное или комплексное алгебраическое выражение;
  • многочлен;
  • кортеж или конечная последовательность;
  • матрица;
  • конечное множество;
  • комбинаторный объект;
  • символьный объект в представлении SymPy;
  • произвольный объект, удовлетворяющий заданному в задаче математическому предикату.

Уникальные целочисленные ответы проверяются точным сравнением. Символьные выражения упрощаются и сравниваются с помощью системы компьютерной алгебры. Задачи с несколькими допустимыми ответами требуют специализированных верификаторов, проверяющих, удовлетворяет ли поданный объект заявленным условиям.

Например, в задаче на построение может требоваться граф с заданными свойствами. Вместо сравнения с единственным эталонным объектом верификатор проверяет число вершин, структуру смежности, запрещённые подграфы и требуемый инвариант.

Автоматическая проверка отличает FrontierMath от оценок, требующих человеческого чтения каждого сгенерированного доказательства: она позволяет многократно тестировать множество конфигураций моделей, но, как правило, проверяет поданный математический объект, а не корректность каждого промежуточного шага рассуждения.

Методология оценивания

Текущий протокол Tiers 1–4

Согласно протоколу версии 2, модель получает формулировку задачи и тип ожидаемого ответа. Она может генерировать протяжённую цепочку рассуждений и использовать инструмент исполнения Python без сохранения состояния. Для сдачи ответа модель должна отправить исходный код функции без аргументов с именем answer:

<syntaxhighlight lang="python"> def answer():

   return expected_mathematical_object

</syntaxhighlight>

Функция должна вернуть запрошенный Python-объект без печати вывода. Система проверки запускает функцию и передаёт возвращённое значение верификатору конкретной задачи[3].

Текущая среда исполнения включает стандартную библиотеку Python и математические пакеты:

  • galois;
  • gmpy2;
  • mpmath;
  • networkx;
  • numpy;
  • pyadic;
  • scipy;
  • sympy. Вызовы Python не сохраняют состояние между вызовами, поэтому значения, созданные в одном вызове, автоматически недоступны в следующем. Отдельные вызовы Python и поданные функции ответа ограничены 30 секундами на эталонной инфраструктуре.

Опубликованный протокол v2 допускает контекст до одного миллиона токенов. Если при достижении 660 000 токенов ответ не получен, следующий шаг модели обязан быть попыткой сдачи ответа. Такой запас предназначен для длинного рассуждения, повторных экспериментов и масштабных вычислений на этапе вывода, а не для обычных коротких ответов[3].

Подсчёт баллов

Каждая задача получает бинарную оценку:

score(q)={1,если поданный ответ проходит верификатор,0,иначе.

Суммарная точность вычисляется как:

Accuracy=число правильно решённых задаччисло оценённых задач.

Баллы Tiers 1–3 и Tier 4 обычно отчитываются отдельно, поскольку коллекции имеют разные профили сложности. Хаб бенчмарков Epoch AI, как правило, публикует результаты по приватным задачам, если явно не указана оценка только по публичным.

Поскольку версия 2 содержит 295 задач Tiers 1–3, одна задача меняет точность полного набора примерно на 0,34 процентного пункта. В наборе Tier 4 из 43 задач одна задача меняет точность примерно на 2,33 процентного пункта, что даёт значительно более широкую статистическую неопределённость.

Зависимость от протокола

Результат на FrontierMath зависит не только от самой модели, но и от конфигурации оценки. Соответствующие переменные включают:

  • версию модели и настройку усилия рассуждения;
  • лимит токенов;
  • температуру выборки и число попыток;
  • доступ к Python и установленным библиотекам;
  • генерацию нескольких кандидатов;
  • использование голосования большинством, reward-моделей или внешних верификаторов;
  • лимиты времени на рассуждение и исполнение кода;
  • обработку некорректных подач и сбоев инструментов;
  • версию бенчмарка и точный приватный поднабор.

Поэтому результат должен указывать, получен ли он на версии 1 или 2, какая коллекция уровней использовалась и какие инструменты и ресурсы на этапе вывода были доступны.

Результаты моделей и прогресс

Оригинальный технический отчёт оценил шесть современных систем, включая o1-preview, o1-mini, GPT-4o, Claude 3.5 Sonnet, Grok 2 Beta и Gemini 1.5 Pro 002. Каждая система решила менее 2 % ранней коллекции из 119 задач[1].

После появления бенчмарка результаты быстро выросли. В декабре 2024 года OpenAI сообщила, что o3 решил 25,2 % версии FrontierMath из 180 задач; результат значительно выше первоначальных оценок, хотя использовалась другая версия набора и конфигурация вывода[5].

К 2026 году ориентированные на рассуждение системы решали большую часть переработанного бенчмарка. Избранные опубликованные результаты:

Избранные результаты FrontierMath
Дата Система Версия бенчмарка Tiers 1–3 Tier 4 Примечания
2024 Шесть систем из технического отчёта Ранняя версия из 119 задач Все ниже 2 % Включая o1-preview, o1-mini, GPT-4o, Claude 3.5 Sonnet, Grok 2 Beta и Gemini 1.5 Pro 002.
Декабрь 2024 OpenAI o3 Предварительная версия из 180 задач 25,2 % в целом Результат, опубликованный OpenAI; последующее разделение по уровням к этой агрегированной цифре неприменимо.
Июль 2026 GPT-5.6 Sol Версия 2 89,0 % 83,0 % Результаты OpenAI в конфигурации рассуждения с высокими вычислениями[6].
Июль 2026 Claude Fable 5 Версия 2 87,0 % 87,8 % Лучший результат по настройкам по данным Epoch AI; оценка Tier 4 имела интервал неопределённости около ±5,2 процентного пункта[7].

Таблица не является строго контролируемым лидербордом: цифры 2024 и 2026 годов используют разные наборы задач, интерфейсы моделей, лимиты токенов и бюджеты вывода; даже два результата версии 2 могут отличаться усилием рассуждения, процедурой выборки или использованием инструментов.

Тем не менее рост с менее чем 2 % на ранней коллекции до результатов порядка 87–89 % на версии 2 означает необычно быстрый прогресс. Это также означает, что Tiers 1–4 может давать всё меньшее разрешение при различении сильнейших систем, хотя существенная неопределённость остаётся на отдельных задачах и вне формата автоматически проверяемого ответа.

FrontierMath: открытые проблемы

FrontierMath: Open Problems — отдельный динамический бенчмарк на основе математических вопросов, нерешённых на момент включения в коллекцию. Epoch AI анонсировала пилотную программу 27 января 2026 года при поддержке Schmidt Sciences[8].

Компонент принципиально отличается от Tiers 1–4:

Характеристика Tiers 1–4 Open Problems
Статус при включении Автор и рецензенты знают решение. Общепринятого решения не существует.
Эталонный ответ Доступен скрытый ответ или специализированный верификатор. Верификатор проверяет предложенную конструкцию или следствие, но эталонное решение не предполагается.
Стабильность Версионированная статическая коллекция. Динамическая коллекция, из которой решённые или неподходящие задачи могут удаляться.
Целевая сложность Часы, дни или иногда недели экспертной работы. Потенциально публикуемые исследовательские результаты или крупные математические продвижения.
Оценивание Преимущественно автоматическая бинарная проверка. Автоматическая верификация с последующим экспертным математическим разбором при необходимости.

Open Problems принимает вопросы от действующих исследователей. Кандидат должен быть достаточно точным для оценки и допускать предложенный ответ, проверяемый специализированным верификатором. Это исключает многие важные открытые вопросы, требующие неограниченных доказательств, концептуальных классификаций или результатов о существовании без конечного сертификата.

Каждой задаче присваивается приближённый уровень значимости:

  • умеренно интересно (Moderately interesting) — полезный результат, могущий войти в профильную статью;
  • весомый результат (Solid result) — результат, способный стать существенной частью публикуемой работы;
  • крупное продвижение (Major advance) — значительное развитие внутри устоявшегося направления;
  • прорыв (Breakthrough) — результат с широким или потенциально преобразующим математическим значением.

По состоянию на 10 июля 2026 года официальная страница бенчмарка перечисляла 15 активных задач[9].

Активные Open Problems по уровням значимости, 10 июля 2026
Уровень значимости Задач в списке Отмечено как решённые ИИ
Умеренно интересно 4 1
Весомый результат 5 0
Крупное продвижение 3 0
Прорыв 3 0
Всего 15 1

Темы, представленные на странице, включали матрицы Адамара, теорию Рамсея, арифметические задачи Какея, сложность булевых функций, поверхности дель Пеццо в положительной характеристике, системы Штейнера, абсолютные группы Галуа, обратную задачу теории Галуа, коэффициенты Литтлвуда — Ричардсона, симплектические упаковки, доказательства иррациональности в стиле Апери, разложение целых чисел на множители и теорию узлов.

Коллекция меняется во времени: в феврале 2026 года добавлены две задачи, а в марте одна удалена после того, как предложенное ИИ-решение не соответствовало стандарту публикуемости проекта. В июне 2026 года Epoch AI также изменила публичный интерфейс так, что неудачные попытки моделей по умолчанию больше не отображались[9].

Специализированные верификаторы Open Problems, как правило, не разглашаются свободно: Epoch AI предоставляет к ним платный доступ, предназначенный для поддержки развития бенчмарка. По состоянию на 10 июля 2026 года организация сообщала, что OpenAI — единственная организация, купившая доступ к верификаторам. Epoch AI описывает Open Problems как независимо разработанный и принадлежащий Epoch AI проект, а не OpenAI[9].

Финансирование, доступ и управление

Исходный бенчмарк Tiers 1–3 финансировался в рамках партнёрства Epoch AI и OpenAI. В январе 2025 года Epoch AI уточнила, что OpenAI заказала организации 300 продвинутых математических задач и имеет права собственности и доступ к соответствующим формулировкам и решениям, за исключением выделенного набора из 50 вопросов[10].

Для исходного расширения Tier 4 из 50 задач OpenAI получила доступ к 30 задачам, а 20 оставались выделенным набором. Epoch AI сохранила право проводить оценки и публиковать агрегированные результаты бенчмарка. Страницы версии 2 формулируют шире: OpenAI финансировала FrontierMath и имеет эксклюзивный доступ к части коллекции[3].

Уточнение января 2025 года вышло после критики за непрозрачность раскрытия коммерческих отношений. Организация признала, что её коммуникация была недостаточно ясной и что некоторых авторов задач систематически не информировали о всех договорённостях о спонсорстве и доступе до начала работы[10].

Такая схема порождает два конкурирующих соображения:

  • частный доступ спонсора может поддерживать существенные затраты на составление, рецензирование и поддержание исследовательских оценок;
  • эксклюзивный или ранний доступ даёт спонсору информацию, недоступную другим разработчикам моделей и независимым исследователям. Выделенные задачи снижают риск прямого обучения спонсора на полном бенчмарке, но не снимают более широкие вопросы воспроизводимости и управления, связанные с приватными оценками.

FrontierMath: Open Problems использует иную структуру: программа запущена при поддержке Schmidt Sciences, описывается как принадлежащая Epoch AI, и частично финансируется через платный доступ к верификаторам[8][9].

Ограничения и критика

Приватность данных и воспроизводимость

Сохранение большинства задач приватными снижает прямое загрязнение бенчмарка, но мешает независимым исследователям полностью изучать данные, воспроизводить решения проверки, тестировать альтернативные оценочные среды или выяснять, встречалась ли конкретная задача при разработке модели. Публичный поднабор содержит лишь 12 из 338 задач версии 2; публичные примеры иллюстрируют общий стиль и интерфейс, но могут быть нерепрезентативны для полного приватного бенчмарка. Схема доступа спонсора создаёт дополнительную асимметрию: разработчик с доступом к части приватных задач может использовать их для внутреннего анализа, разработки промптов, изучения ошибок или настройки оценочной системы, даже если задачи явно не используются как обучающие примеры.

Качество данных и нестабильность версий

Создание корректных задач исследовательского уровня сложно даже для профессиональных математиков: задача может содержать неявное предположение, неоднозначные обозначения, неверный эталонный ответ, ошибку верификатора, неожиданно простой обходной путь или несколько математически корректных интерпретаций. Ревизия июня 2026 года затронула 42 % исходной коллекции, исправив 135 задач и удалив 12 задач. Это не значит, что каждая затронутая задача содержала неверный математический ответ; правки могли касаться формулировок, предположений, оформления, поведения верификатора или устойчивости проверки. Тем не менее это показывает, что первую версию не следует рассматривать как неизменный золотой стандарт[3]. Существенные правки осложняют и исторические сравнения: балл модели на версии 1 нельзя надёжно пересчитать в балл версии 2 без повторного прогона.

Проверка итогового ответа

Стандартный бенчмарк оценивает поданный объект, а не полную цепочку рассуждений. Модель может получить полный балл при ошибочном, циклическом или непроверяемом рассуждении, если её итоговый объект проходит проверку; и наоборот, математически корректный вывод может не получить балла из-за ошибки форматирования, неподдерживаемого типа Python, таймаута или несоответствия ожидаемому представлению верификатора. Сами верификаторы могут содержать ошибки реализации или принимать непредусмотренные конструкции: верификатор устанавливает соответствие запрограммированным условиям, которые могут не полностью отражать задуманное математическое утверждение. Поэтому FrontierMath измеряет прежде всего способность выдать проверяемый итоговый ответ в заданной вычислительной среде, а не качество доказательства, ясность объяснения, оригинальность или надёжность каждого промежуточного утверждения.

Ограниченная форма исследовательской математики

Многие важные математические проблемы не имеют коротких автоматически проверяемых ответов; исследование может требовать доказательства общей теоремы, построения концептуального каркаса, классификации семейства структур, уточнения определений или длинного рассуждения, корректность которого зависит от человеческого суждения. Требование закрытого ответа смещает бенчмарк в области, где трудные вопросы сводятся к целым числам, явным символьным выражениям, конечным конструкциям или вычислительным сертификатам; этим отчасти объясняется высокая доля теории чисел и комбинаторики. Даже задачи Tier 4 короче и ограниченнее многих реальных исследовательских проектов, длящихся месяцы и годы.

Приближённые метки сложности

Отнесение к уровням и оценки рабочего времени человека основаны на экспертном суждении и зависят от специализации решателя, знания литературы, навыков программирования и знакомства со скрытым обходным путём. Задача, требующая от одного специалиста нескольких дней, может быть мгновенной для другого, узнавшего конкретную теорему; и наоборот, задача уровня бакалавриата может стать крайне трудной, если требует необычной конструкции или объёмных вычислений. Эксперимент с командами в MIT даёт полезное свидетельство, но не устанавливает универсальную человеческую базу из-за малой выборки, короткого лимита времени, командного формата и неполного совпадения специальностей участников с темами задач.

Статистическое разрешение и насыщение

Текущий набор Tier 4 содержит лишь 43 задачи: изменение одного результата сдвигает балл примерно на 2,33 процентного пункта, и разница в несколько пунктов может не отражать статистически устойчивую разницу в способностях. К июлю 2026 года отдельные модели отчитывались выше 80 % по обоим компонентам; это говорит о том, что Tiers 1–4 может приближаться к насыщению быстрее, чем ожидалось при появлении бенчмарка в 2024 году. Open Problems призвана продлить оценку за этот потолок, но приносит новые трудности: набор мал и динамичен, часть вопросов может быть неразрешима в текущей формулировке, а для решения, является ли технически корректная конструкция содержательным исследовательским результатом, может требоваться экспертное суждение.

Сопоставимость вычислительных бюджетов

Лимит в один миллион токенов позволяет моделям вести обширный поиск на этапе вывода, повторять вычисления и использовать программные исследования. Высокий балл может отражать комбинацию знаний модели, качества рассуждения, использования инструментов, вычислительного бюджета и стратегии выбора ответа. Сравнения вводят в заблуждение, когда одна система получает короткую единственную попытку, а другой позволены сотни тысяч токенов рассуждения или несколько кандидатов. Отчёты по FrontierMath должны отделять базовые способности модели от вклада вычислений на этапе вывода.

Ссылки

См. также

Литература

  • Glazer, E. et al. (2024). FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI. arXiv:2411.04872.
  • Hendrycks, D. et al. (2021). Measuring Mathematical Problem Solving With the MATH Dataset. NeurIPS. arXiv:2103.03874.
  • Lightman, H. et al. (2024). Let's Verify Step by Step. ICLR. arXiv:2305.20050.
  • Trinh, T. H. et al. (2024). Solving Olympiad Geometry without Human Demonstrations. Nature, 625, pp. 476–482. [11].
  • Azerbayev, Z. et al. (2024). Llemma: An Open Language Model for Mathematics. ICLR. arXiv:2310.10631.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 Glazer, E. et al. "FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI". arXiv:2411.04872, 2024. [1]
  2. ↑ Epoch AI. "FrontierMath". [2]
  3. ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 Epoch AI. "FrontierMath Tier 4 (v2)". 12 June 2026. [3]
  4. ↑ Epoch AI. "FrontierMath Tiers 1–3 (v2)". 12 June 2026. [4]
  5. ↑ 5,0 5,1 5,2 5,3 5,4 Epoch AI. "FrontierMath: LLM Benchmark for Advanced AI Math Reasoning". [5]
  6. ↑ OpenAI. "GPT-5.6: Frontier intelligence that scales with your ambition". 2026. [6]
  7. ↑ Epoch AI. "Claude Fable 5". 2026. [7]
  8. ↑ 8,0 8,1 Epoch AI. "Benchmarking AI on unsolved math problems". 27 January 2026. [8]
  9. ↑ 9,0 9,1 9,2 9,3 Epoch AI. "FrontierMath: Open Problems". Accessed 10 July 2026. [9]
  10. ↑ 10,0 10,1 Besiroglu, T.; Sevilla, J. "Clarifying the creation and use of the FrontierMath benchmark". Epoch AI, 23 January 2025. [10]