GPQA Diamond Benchmark

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

GPQA Diamond (также GPQA-D) — самый сложный и наиболее тщательно проверенный поднабор бенчмарка GPQA (Graduate-Level Google-Proof Q&A, «вопросы и ответы аспирантского уровня, устойчивые к поиску в Google»), представляющего собой набор вопросов с вариантами ответов, составленных экспертами по биологии, физике и химии и предназначенного для измерения научного рассуждения передовых систем искусственного интеллекта (ИИ). Родительский набор данных был представлен в ноябре 2023 года исследователями из Нью-Йоркского университета, компании Cohere и Anthropic под руководством Дэвида Рейна (David Rein)[1]. Работа была впоследствии принята на First Conference on Language Modeling (COLM 2024)[1].

Вопросы намеренно сделаны «устойчивыми к Google»: они сформулированы так, что ответ невозможно найти простым поиском в интернете — требуется подлинное понимание на уровне аспирантуры[1]. Поднабор Diamond состоит из 198 вопросов, на которые правильно ответили оба валидатора-эксперта в соответствующей области, но на которые большинство квалифицированных неэкспертов ответило неверно, что делает его самой «чистой» мерой рассуждения экспертного уровня в наборе данных[2].

Благодаря компактному размеру, высокому согласию экспертов и устойчивости к поиску GPQA Diamond стал одним из самых цитируемых бенчмарков рассуждения для frontier-моделей. К 2026 году, однако, сильнейшие модели отвечали правильно более чем на 93 % его вопросов, и бенчмарк ныне широко считается в значительной мере насыщенным[3].

Предыстория

GPQA задумывался не столько как рейтинг сложности, сколько как инструмент исследований масштабируемого контроля (scalable oversight) — изучения того, как человеческие контролёры могут надёжно проверять выходы ИИ-систем, которые со временем могут превзойти человеческую экспертизу. Чтобы такие эксперименты были реалистичными, авторам требовались вопросы, трудные одновременно и для квалифицированных неэкспертов, и для передовых моделей ИИ, — тогда разрыв между «знающим, но не специалистом» и профессионалом можно было бы изучать напрямую[1].

К концу 2023 года популярные тесты знаний, такие как MMLU, для ведущих моделей приближались к насыщению, что снижало их ценность как меры прогресса. GPQA был разработан как более сложная, устойчивая к утечкам обучающих данных (contamination) альтернатива, опирающаяся на подлинную экспертность в предметной области, а не на широкое вспоминание фактов. На момент выпуска даже сильнейший базовый вариант на базе GPT-4 отвечал правильно лишь примерно на 39 % вопросов — заметно ниже уровня экспертов-людей и лишь немногим выше базового уровня неэкспертов[1].

Создание бенчмарка

Набор данных был написан почти сотней авторов, имеющих или получающих степень PhD в соответствующих областях. Каждый вопрос проходил многоступенчатый процесс валидации, призванный гарантировать как объективную сложность, так и единственный обоснованный ответ[1]:

  • Валидация экспертами: два независимых эксперта в предметной области решали каждый вопрос; для признания вопроса «чистым» требовалось их согласие.
  • Валидация неэкспертами: высококвалифицированные неэксперты из смежных областей решали каждый вопрос, располагая более чем 30 минутами и неограниченным доступом к интернету, — это устанавливало свойство «Google-proof».
  • Доработка: авторы могли дорабатывать вопросы с учётом замечаний валидаторов до включения в финальные наборы.

По итогам этого процесса авторы определили три вложенных набора возрастающего качества[2]:

  • расширенный набор (extended, 546 вопросов) — все сохранённые вопросы;
  • основной набор (main, 448 вопросов);
  • набор Diamond (198 вопросов) — вопросы, на которые правильно ответили оба эксперта и на которые большинство неэкспертов ответило неверно.

Поднабор Diamond, таким образом, есть пересечение двух условий — высокого согласия экспертов и высокой сложности для неэкспертов, — поэтому именно его использует в качестве основного оценочного набора большинство независимых оценщиков[2][3].

Структура и содержание бенчмарка

GPQA Diamond содержит 198 вопросов с четырьмя вариантами ответа из естественных наук — биологии, физики и химии — и их подобластей, включая органическую химию, квантовую механику, молекулярную биологию, генетику и астрофизику[1]. Поскольку вариантов четыре, базовый уровень случайного угадывания равен 25 %[2].

Человеческая результативность задаёт ключевые ориентиры. На полном наборе GPQA эксперты в предметной области (имеющие или получающие PhD) достигали примерно 65 % точности — или 74 % после исключения явных ошибок, которые они позже сами признавали, — тогда как квалифицированные неэксперты набирали лишь около 34 %, несмотря на то что тратили в среднем более получаса на вопрос с полным доступом к интернету[1]. Что касается именно GPQA Diamond, OpenAI позднее привлекла экспертов уровня PhD и сообщила человеческий базовый уровень 69,7 %; поскольку Diamond по определению содержит вопросы, на которые неэксперты отвечают неверно, точность неэкспертов на этом поднаборе по построению ещё ниже[2].

Разрыв между базовыми уровнями экспертов и неэкспертов — центральный сигнал, вокруг которого построен бенчмарк: он количественно показывает, какая доля сложности обязана подлинной экспертности, а не информации, которую можно просто найти[1].

Для проверки большинство оценщиков использует zero-shot-промпт с цепочкой рассуждений (chain-of-thought): модель рассуждает пошагово, а затем выдаёт выбор в фиксированном формате; некоторые также публикуют варианты с консенсусом (голосованием большинством). Разбор ответов строг — ответы, не соответствующие требуемому формату, не засчитываются, из-за чего плохо форматирующая модель иногда может получить оценку ниже случайных 25 %[2].

Результаты моделей

Определяющая особенность GPQA Diamond — скорость, с которой результативность моделей выросла с уровня ниже неэкспертов до уровня заметно выше экспертов. Поскольку оценки зависят от оценщика, промпта и использования консенсусного голосования, приведённые ниже цифры следует читать как траекторию, а не как фиксированный рейтинг.

  • Запуск (ноябрь 2023). Сильнейший базовый вариант GPT-4 набрал около 39 % — ниже обоих человеческих уровней[1].
  • Начало — середина 2024 года. Заявленные zero-shot chain-of-thought-оценки на Diamond неуклонно росли — Claude 3 Sonnet 40,4 %, GPT-4 Turbo 48,0 %, Claude 3 Opus 50,4 %, GPT-4o 53,6 % — выводя frontier-модели в полосу между базовыми уровнями неэкспертов и экспертов[4].
  • Середина 2024 года. Claude 3.5 Sonnet возглавлял публичные оценки на Diamond с 59,4 % zero-shot chain-of-thought[4].
  • Сентябрь 2024 года — точка перелома. Модель o1 от OpenAI набрала 77,3 % (zero-shot pass@1) и 78,0 % с консенсусом. OpenAI сообщила, что o1 стала первой моделью, превзошедшей базовый уровень PhD-экспертов в 69,7 % на GPQA Diamond, — результат, которому широко приписывают роль в становлении категории «reasoning-моделей»[5].
  • 2025 год. Reasoning-модели вывели оценки в диапазон 80-х: Grok 4 от xAI был независимо измерен Epoch AI примерно на 87 % (±2 %); другие frontier-системы (например, модели класса o3 от OpenAI и Gemini 2.5 Pro от Google) показывали низкие — середину 80-х. Несколько заявленных производителями цифр к середине года достигли начала 90-х[2].
  • 2026 год. Верхний кластер сжался выше 93 %, и прогресс по бенчмарку вышел на асимптоту. Ведущие системы — Gemini 3.1 Pro Preview от Google, GPT-5.5 от OpenAI и Claude Fable 5 от Anthropic — находятся у практического потолка теста[6][3].

Траектория обобщена в таблице ниже.

Дата Модель / базовый уровень Точность, % Примечание
Нояб. 2023 GPT-4 (zero-shot CoT) ~39 сильнейший базовый вариант в оригинальной работе
— Неэксперты (30+ мин с интернетом) 34 нижняя граница «Google-proof» (полный набор)
— Эксперты уровня PhD (Diamond) 69,7 повторно измерено OpenAI для сравнения с o1
Нач. 2024 Claude 3 Opus 50,4 0-shot CoT (модельная карточка Anthropic)
Сер. 2024 Claude 3.5 Sonnet 59,4 0-shot CoT; лидер публичных оценок того времени
Сент. 2024 OpenAI o1 77,3 (78,0 консенсус) превзошла базовый уровень экспертов (первая, по данным OpenAI)
2025 Grok 4 (Epoch AI) ~87 reasoning-модели выходят в диапазон 80-х
2026 Gemini 3.1 Pro Preview / GPT-5.5 / Claude Fable 5 ~93–95 бенчмарк в значительной мере насыщен

Критика и ограничения

Несмотря на своё влияние, GPQA Diamond имеет существенные и широко признанные ограничения.

  • Насыщение. Наиболее заметное ограничение — бенчмарк фактически «решён» на верхнем уровне. При скоплении frontier-моделей выше 93 % приросты минимальны и часто лежат в пределах шума, а тест больше не различает сильнейшие системы, — вопреки первоначальному ожиданию, что он останется сложным ещё долгие годы[3][6].
  • Малый размер и выборочная неопределённость. Всего 198 вопросов задают значительную выборочную неопределённость: один вопрос стоит примерно 0,5 процентного пункта, а биномиальные доверительные интервалы охватывают несколько пунктов — около ±3 пунктов у потолка в 94 % и шире (примерно ±7 пунктов) в середине диапазона. Горстка вопросов может изменить порядок близких моделей, что отчасти объясняет расхождения лидербордов в точном ранжировании при согласии в общей картине[2].
  • Утечка на этапе обучения (contamination). Поскольку вопросы — публичные задания с вариантами ответов, сохраняется опасение их попадания в обучающие корпуса. Выпуск GPQA примечателен явной антиcontamination-рамкой: набор распространяется с canary-строкой, и авторы просят не публиковать примеры открытым текстом или в изображениях, так как публичная экспозиция повышает риск попадания вопросов в будущие обучающие наборы. Формат закрытого выбора тем не менее уязвимее к запоминанию и угадыванию, чем открытые задачи, и публичный популярный бенчмарк со временем теряет ценность как чистая мера frontier-возможностей[2][7].
  • Утечка на этапе поиска (search-time contamination). Более новая проблема касается tool-augmented-оценок с поиском, а не закрытых (closed-book) оценок выше. Хотя вопросы спроектированы «Google-proof», исследование 2025 года обнаружило, что примерно для 3 % вопросов из Humanity's Last Exam, SimpleQA и GPQA поисковые агенты могли найти публичные зеркала наборов данных с верными ответами — скопировать ответ вместо того, чтобы рассуждать до него. Эффект на точность был яснее всего на HLE и SimpleQA; для GPQA он меньше, но находка осложняет интерпретацию любых search-augmented-результатов на бенчмарке, чья посылка в том, что поиск не должен помогать[8].
  • Чувствительность к методологии. Оценки зависят от промптинга (zero-shot против консенсусного голосования), разбора ответов и деталей оценочного harness. Например, одну и ту же флагманскую модель один независимый оценщик может зафиксировать на 94,1 %, а другой — на 95,45 %[6][3].
  • Несогласие экспертов и качество меток. Поскольку даже квалифицированные эксперты стабильно набирают лишь 65–74 %, часть вопросов содержит подлинные расхождения экспертов или спорные ключи ответов, так что доля измеренного разрыва отражает сложность разметки, а не чистую способность[1].
  • Потолок формата с вариантами. Формат с четырьмя вариантами, вероятно, ускорил насыщение: даже неуверенная модель может получить балл, отбросив неправдоподобные дистракторы, так что частичные знания конвертируются в верные ответы легче, чем в открытых задачах. Это сопутствующий фактор, а не полное объяснение — скопление выше 93 % отражает прежде всего подлинные возможности плюс измерительный потолок небольшого теста закрытого формата, — однако сам формат делает GPQA Diamond менее требовательным, чем открытая экспертная оценка[6].
  • Узкий конструктив. По построению бенчмарк измеряет закрытое, проверяемое научное знание и рассуждение. Он не оценивает планирование эксперимента, открытые исследования или творчество, поэтому превышение экспертного базового уровня в вопросах с вариантами ответов не означает, что модель на практике равна учёному, — и отчасти обесценивает исходную мотивацию масштабируемого контроля, когда модели превышают уровень экспертов, призванных их контролировать[1][5].

Значение и перспективы

GPQA Diamond стал де-факто стандартом отчётности о научном рассуждении при релизах frontier-моделей, а его траектория послужила компактной летописью более широкого сдвига в возможностях ИИ.

  • Катализатор reasoning-моделей. Переход o1 через экспертный базовый уровень на GPQA Diamond стал одним из самых цитируемых ранних свидетельств того, что рассуждение на этапе инференса способно давать большой прирост на сложных задачах[5].
  • Общая точка отсчёта. Бенчмарк дал исследователям и поставщикам общую, независимо отслеживаемую меру аспирантского научного рассуждения, широко воспроизводимую в модельных карточках и сторонних лидербордах[6][3].
  • Бенчмарк позади frontier. С верхним кластером у потолка GPQA Diamond работает в основном как регрессионная проверка и нижняя планка, а не как дифференциатор frontier; эту роль приняли на себя более сложные преемники. Это не просто «следующие версии» GPQA: если GPQA Diamond мал, ограничен STEM и четырёхвариантен, то Humanity's Last Exam куда шире — более сотни дисциплин, сочетание вопросов с точным ответом и вариантов, мультимодальная часть. Его путь — от теста, рассчитанного на годы, до почти насыщения примерно за два года — показывает, как быстро ныне «выбирается» запас любого бенчмарка[3].

Результаты моделей по источникам

Оценки GPQA Diamond не абсолютны: они зависят от даты оценки, правил промпта и разбора ответов и от использования консенсусного голосования. Разные лидерборды публикуют разные цифры для одной модели, и их корректнее сравнивать внутри одного источника, а не между источниками. Оба независимых лидерборда ниже сходятся в том, что сейчас лидирует Gemini 3.1 Pro Preview, но расходятся в его точной оценке (94,1 % против 95,45 %) и в порядке плотно сгруппированных преследователей; третий агрегатор (LLM Stats) даёт примерно 94,6 % для Claude Mythos Preview от Anthropic. Обе таблицы — снимки на момент времени, меняющиеся часто; воспроизведена лишь надёжно подтверждённая верхушка каждого борда.

Artificial Analysis — независимый лидерборд

Независимый оценщик, запускающий собственный harness на 198-вопросном наборе Diamond. Ведущий кластер ниже считан с лидерборда Artificial Analysis по состоянию на 1 июля 2026 года; позиции меняются часто[6].

№ Модель Точность, %
1 Gemini 3.1 Pro Preview 94,1
2 GPT-5.5 (xhigh) 93,5
3 GPT-5.5 (high) 93,2
4 Qwen3.7 Max 92,3

Примечание: верхушка борда крайне сжата — ещё несколько систем (включая MiniMax M3 и Claude Fable 5) также группируются около 92–93 %, — поэтому отрыв четвёртого места меньше заявленной выборочной неопределённости.

Vals AI — независимый лидерборд

Отдельный независимый оценщик, запускающий zero-shot и few-shot chain-of-thought на поднаборе Diamond. Верхушка борда датирована 17 июня 2026 года и, как прочие, меняется часто[3].

№ Модель Точность, %
1 Gemini 3.1 Pro Preview (02/26) 95,45
2 Claude Fable 5 93,18
2 GPT-5.5 93,18

Ссылки

Литература

  • Rein, D. et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. arXiv:2311.12022.
  • Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding (MMLU). arXiv:2009.03300.
  • Phan, L. et al. (2025). Humanity's Last Exam. arXiv:2501.14249.
  • Bowman, S. R. et al. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv:2211.03540.
  • Han, Z. et al. (2025). Search-Time Data Contamination. arXiv:2508.13180.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.

См. также

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 Rein, D., Hou, B. L., Stickland, A. C. et al. "GPQA: A Graduate-Level Google-Proof Q&A Benchmark". arXiv:2311.12022, 2023. [1]
  2. ↑ 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 "GPQA Diamond". Epoch AI. [2]
  3. ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 "GPQA Diamond". Vals AI. [3]
  4. ↑ 4,0 4,1 "Claude 3.5 Sonnet Model Card Addendum". Anthropic, 2024. [4]
  5. ↑ 5,0 5,1 5,2 "Learning to reason with LLMs". OpenAI, September 2024. [5]
  6. ↑ 6,0 6,1 6,2 6,3 6,4 6,5 "GPQA Diamond Benchmark Leaderboard". Artificial Analysis. [6]
  7. ↑ "Idavidrein/gpqa". Hugging Face Datasets. [7]
  8. ↑ Han, Z., Mankikar, S. et al. "Search-Time Data Contamination". arXiv:2508.13180, 2025 (NeurIPS 2025 Workshop). [8]