---
title: "GPQA Diamond Benchmark"
source: "https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark"
wiki: "systems-analysis.info/wiki"
article: "GPQA_Diamond_Benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3735
wiki_created_at: 2026-11-19T07:30:10Z
wiki_modified_at: 2026-11-19T09:46:31Z
downloaded_at: 2026-11-19T09:56:11Z
---

# GPQA Diamond Benchmark

**GPQA Diamond** (также **GPQA-D**) — самый сложный и наиболее тщательно проверенный поднабор бенчмарка **GPQA** (*Graduate-Level Google-Proof Q&A*, «вопросы и ответы аспирантского уровня, устойчивые к поиску в Google»), представляющего собой набор вопросов с вариантами ответов, составленных экспертами по биологии, физике и химии и предназначенного для измерения научного рассуждения передовых систем искусственного интеллекта (ИИ). Родительский набор данных был представлен в ноябре 2023 года исследователями из Нью-Йоркского университета, компании [Cohere](https://systems-analysis.info/wiki/Cohere_Inc. "Cohere Inc.") и [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic") под руководством Дэвида Рейна (David Rein)<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>. Работа была впоследствии принята на *First Conference on Language Modeling* (COLM 2024)<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.

Вопросы намеренно сделаны «устойчивыми к Google»: они сформулированы так, что ответ невозможно найти простым поиском в интернете — требуется подлинное понимание на уровне аспирантуры<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>. Поднабор Diamond состоит из **198 вопросов**, на которые правильно ответили оба валидатора-эксперта в соответствующей области, но на которые большинство квалифицированных неэкспертов ответило неверно, что делает его самой «чистой» мерой рассуждения экспертного уровня в наборе данных<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.

Благодаря компактному размеру, высокому согласию экспертов и устойчивости к поиску GPQA Diamond стал одним из самых цитируемых [бенчмарков рассуждения](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для frontier-моделей. К 2026 году, однако, сильнейшие модели отвечали правильно более чем на 93 % его вопросов, и бенчмарк ныне широко считается **в значительной мере насыщенным**<sup>[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.

## Предыстория

GPQA задумывался не столько как рейтинг сложности, сколько как инструмент исследований **масштабируемого контроля** (scalable oversight) — изучения того, как человеческие контролёры могут надёжно проверять выходы ИИ-систем, которые со временем могут превзойти человеческую экспертизу. Чтобы такие эксперименты были реалистичными, авторам требовались вопросы, трудные одновременно и для квалифицированных неэкспертов, и для передовых моделей ИИ, — тогда разрыв между «знающим, но не специалистом» и профессионалом можно было бы изучать напрямую<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.

К концу 2023 года популярные тесты знаний, такие как [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark"), для ведущих моделей приближались к насыщению, что снижало их ценность как меры прогресса. GPQA был разработан как более сложная, устойчивая к утечкам обучающих данных (contamination) альтернатива, опирающаяся на подлинную экспертность в предметной области, а не на широкое вспоминание фактов. На момент выпуска даже сильнейший базовый вариант на базе [GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4") отвечал правильно лишь примерно на **39 %** вопросов — заметно ниже уровня экспертов-людей и лишь немногим выше базового уровня неэкспертов<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.

## Создание бенчмарка

Набор данных был написан почти сотней авторов, имеющих или получающих степень PhD в соответствующих областях. Каждый вопрос проходил многоступенчатый процесс валидации, призванный гарантировать как объективную сложность, так и единственный обоснованный ответ<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>:

- **Валидация экспертами**: два независимых эксперта в предметной области решали каждый вопрос; для признания вопроса «чистым» требовалось их согласие.
- **Валидация неэкспертами**: высококвалифицированные неэксперты из смежных областей решали каждый вопрос, располагая более чем 30 минутами и неограниченным доступом к интернету, — это устанавливало свойство «Google-proof».
- **Доработка**: авторы могли дорабатывать вопросы с учётом замечаний валидаторов до включения в финальные наборы.

По итогам этого процесса авторы определили три вложенных набора возрастающего качества<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>:

- **расширенный набор** (extended, 546 вопросов) — все сохранённые вопросы;
- **основной набор** (main, 448 вопросов);
- **набор Diamond** (198 вопросов) — вопросы, на которые правильно ответили оба эксперта **и** на которые большинство неэкспертов ответило неверно.

Поднабор Diamond, таким образом, есть пересечение двух условий — высокого согласия экспертов и высокой сложности для неэкспертов, — поэтому именно его использует в качестве основного оценочного набора большинство независимых оценщиков<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.

## Структура и содержание бенчмарка

GPQA Diamond содержит 198 **вопросов с четырьмя вариантами ответа** из естественных наук — биологии, физики и химии — и их подобластей, включая органическую химию, квантовую механику, молекулярную биологию, генетику и астрофизику<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>. Поскольку вариантов четыре, **базовый уровень случайного угадывания равен 25 %**<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.

Человеческая результативность задаёт ключевые ориентиры. На полном наборе GPQA эксперты в предметной области (имеющие или получающие PhD) достигали примерно **65 %** точности — или **74 %** после исключения явных ошибок, которые они позже сами признавали, — тогда как квалифицированные неэксперты набирали лишь около **34 %**, несмотря на то что тратили в среднем более получаса на вопрос с полным доступом к интернету<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>. Что касается именно GPQA Diamond, OpenAI позднее привлекла экспертов уровня PhD и сообщила **человеческий базовый уровень 69,7 %**; поскольку Diamond по определению содержит вопросы, на которые неэксперты отвечают неверно, точность неэкспертов на этом поднаборе по построению ещё ниже<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.

Разрыв между базовыми уровнями экспертов и неэкспертов — центральный сигнал, вокруг которого построен бенчмарк: он количественно показывает, какая доля сложности обязана подлинной экспертности, а не информации, которую можно просто найти<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.

Для проверки большинство оценщиков использует zero-shot-промпт с цепочкой рассуждений (chain-of-thought): модель рассуждает пошагово, а затем выдаёт выбор в фиксированном формате; некоторые также публикуют варианты с консенсусом (голосованием большинством). Разбор ответов строг — ответы, не соответствующие требуемому формату, не засчитываются, из-за чего плохо форматирующая модель иногда может получить оценку **ниже** случайных 25 %<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.

## Результаты моделей

Определяющая особенность GPQA Diamond — скорость, с которой результативность моделей выросла с уровня ниже неэкспертов до уровня заметно выше экспертов. Поскольку оценки зависят от оценщика, промпта и использования консенсусного голосования, приведённые ниже цифры следует читать как траекторию, а не как фиксированный рейтинг.

- **Запуск (ноябрь 2023).** Сильнейший базовый вариант GPT-4 набрал около **39 %** — ниже обоих человеческих уровней<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.
- **Начало — середина 2024 года.** Заявленные zero-shot chain-of-thought-оценки на Diamond неуклонно росли — <a href="https://systems-analysis.info/wiki/Claude_3_Sonnet" class="mw-redirect" title="Claude 3 Sonnet">Claude 3 Sonnet</a> 40,4 %, [GPT-4 Turbo](https://systems-analysis.info/wiki/GPT-4_Turbo "GPT-4 Turbo") 48,0 %, Claude 3 Opus 50,4 %, [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") 53,6 % — выводя frontier-модели в полосу между базовыми уровнями неэкспертов и экспертов<sup>[\[4\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-claude_card-4)</sup>.
- **Середина 2024 года.** Claude 3.5 Sonnet возглавлял публичные оценки на Diamond с **59,4 %** zero-shot chain-of-thought<sup>[\[4\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-claude_card-4)</sup>.
- **Сентябрь 2024 года — точка перелома.** Модель **[o1](https://systems-analysis.info/wiki/OpenAI_o1 "OpenAI o1")** от [OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI") набрала **77,3 %** (zero-shot pass@1) и **78,0 %** с консенсусом. OpenAI сообщила, что o1 стала первой моделью, превзошедшей базовый уровень PhD-экспертов в 69,7 % на GPQA Diamond, — результат, которому широко приписывают роль в становлении категории «reasoning-моделей»<sup>[\[5\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-openai_o1-5)</sup>.
- **2025 год.** Reasoning-модели вывели оценки в диапазон 80-х: [Grok 4](https://systems-analysis.info/wiki/Grok_4 "Grok 4") от <a href="https://systems-analysis.info/wiki/XAI" class="mw-redirect" title="XAI">xAI</a> был независимо измерен Epoch AI примерно на **87 % (±2 %)**; другие frontier-системы (например, модели класса [o3](https://systems-analysis.info/wiki/OpenAI_o3 "OpenAI o3") от OpenAI и [Gemini 2.5 Pro](https://systems-analysis.info/wiki/Gemini_2.5_Pro "Gemini 2.5 Pro") от Google) показывали низкие — середину 80-х. Несколько заявленных производителями цифр к середине года достигли начала 90-х<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.
- **2026 год.** Верхний кластер сжался выше 93 %, и прогресс по бенчмарку вышел на асимптоту. Ведущие системы — [Gemini 3.1 Pro Preview](https://systems-analysis.info/wiki/Gemini_3.1_Pro "Gemini 3.1 Pro") от Google, [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") от OpenAI и [Claude Fable 5](https://systems-analysis.info/wiki/Claude_Fable_5 "Claude Fable 5") от Anthropic — находятся у практического потолка теста<sup>[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.

Траектория обобщена в таблице ниже.

| Дата       | Модель / базовый уровень                          | Точность, %           | Примечание                                                     |
|------------|---------------------------------------------------|-----------------------|----------------------------------------------------------------|
| Нояб. 2023 | GPT-4 (zero-shot CoT)                             | ~39                   | сильнейший базовый вариант в оригинальной работе               |
| —          | Неэксперты (30+ мин с интернетом)                 | 34                    | нижняя граница «Google-proof» (полный набор)                   |
| —          | Эксперты уровня PhD (Diamond)                     | 69,7                  | повторно измерено OpenAI для сравнения с o1                    |
| Нач. 2024  | Claude 3 Opus                                     | 50,4                  | 0-shot CoT (модельная карточка Anthropic)                      |
| Сер. 2024  | Claude 3.5 Sonnet                                 | 59,4                  | 0-shot CoT; лидер публичных оценок того времени                |
| Сент. 2024 | OpenAI o1                                         | 77,3 (78,0 консенсус) | превзошла базовый уровень экспертов (первая, по данным OpenAI) |
| 2025       | Grok 4 (Epoch AI)                                 | ~87                   | reasoning-модели выходят в диапазон 80-х                       |
| 2026       | Gemini 3.1 Pro Preview / GPT-5.5 / Claude Fable 5 | ~93–95                | бенчмарк в значительной мере насыщен                           |

## Критика и ограничения

Несмотря на своё влияние, GPQA Diamond имеет существенные и широко признанные ограничения.

- **Насыщение.** Наиболее заметное ограничение — бенчмарк фактически «решён» на верхнем уровне. При скоплении frontier-моделей выше 93 % приросты минимальны и часто лежат в пределах шума, а тест больше не различает сильнейшие системы, — вопреки первоначальному ожиданию, что он останется сложным ещё долгие годы<sup>[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)</sup>.
- **Малый размер и выборочная неопределённость.** Всего 198 вопросов задают значительную выборочную неопределённость: один вопрос стоит примерно 0,5 процентного пункта, а биномиальные доверительные интервалы охватывают несколько пунктов — около ±3 пунктов у потолка в 94 % и шире (примерно ±7 пунктов) в середине диапазона. Горстка вопросов может изменить порядок близких моделей, что отчасти объясняет расхождения лидербордов в точном ранжировании при согласии в общей картине<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)</sup>.
- **Утечка на этапе обучения (contamination).** Поскольку вопросы — публичные задания с вариантами ответов, сохраняется опасение их попадания в обучающие корпуса. Выпуск GPQA примечателен явной антиcontamination-рамкой: набор распространяется с canary-строкой, и авторы просят не публиковать примеры открытым текстом или в изображениях, так как публичная экспозиция повышает риск попадания вопросов в будущие обучающие наборы. Формат закрытого выбора тем не менее уязвимее к запоминанию и угадыванию, чем открытые задачи, и публичный популярный бенчмарк со временем теряет ценность как чистая мера frontier-возможностей<sup>[\[2\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-epoch-2)[\[7\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-hf-7)</sup>.
- **Утечка на этапе поиска (search-time contamination).** Более новая проблема касается tool-augmented-оценок с поиском, а не закрытых (closed-book) оценок выше. Хотя вопросы спроектированы «Google-proof», исследование 2025 года обнаружило, что примерно для 3 % вопросов из [Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam"), SimpleQA и GPQA поисковые агенты могли найти публичные зеркала наборов данных с верными ответами — скопировать ответ вместо того, чтобы рассуждать до него. Эффект на точность был яснее всего на HLE и SimpleQA; для GPQA он меньше, но находка осложняет интерпретацию любых search-augmented-результатов на бенчмарке, чья посылка в том, что поиск не должен помогать<sup>[\[8\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-stc-8)</sup>.
- **Чувствительность к методологии.** Оценки зависят от промптинга (zero-shot против консенсусного голосования), разбора ответов и деталей оценочного harness. Например, одну и ту же флагманскую модель один независимый оценщик может зафиксировать на 94,1 %, а другой — на 95,45 %<sup>[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.
- **Несогласие экспертов и качество меток.** Поскольку даже квалифицированные эксперты стабильно набирают лишь 65–74 %, часть вопросов содержит подлинные расхождения экспертов или спорные ключи ответов, так что доля измеренного разрыва отражает сложность разметки, а не чистую способность<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)</sup>.
- **Потолок формата с вариантами.** Формат с четырьмя вариантами, вероятно, ускорил насыщение: даже неуверенная модель может получить балл, отбросив неправдоподобные дистракторы, так что частичные знания конвертируются в верные ответы легче, чем в открытых задачах. Это сопутствующий фактор, а не полное объяснение — скопление выше 93 % отражает прежде всего подлинные возможности плюс измерительный потолок небольшого теста закрытого формата, — однако сам формат делает GPQA Diamond менее требовательным, чем открытая экспертная оценка<sup>[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)</sup>.
- **Узкий конструктив.** По построению бенчмарк измеряет закрытое, проверяемое научное знание и рассуждение. Он не оценивает планирование эксперимента, открытые исследования или творчество, поэтому превышение экспертного базового уровня в вопросах с вариантами ответов не означает, что модель на практике равна учёному, — и отчасти обесценивает исходную мотивацию масштабируемого контроля, когда модели превышают уровень экспертов, призванных их контролировать<sup>[\[1\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-gpqa_paper-1)[\[5\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-openai_o1-5)</sup>.

## Значение и перспективы

GPQA Diamond стал де-факто стандартом отчётности о научном рассуждении при релизах frontier-моделей, а его траектория послужила компактной летописью более широкого сдвига в возможностях ИИ.

- **Катализатор reasoning-моделей.** Переход o1 через экспертный базовый уровень на GPQA Diamond стал одним из самых цитируемых ранних свидетельств того, что рассуждение на этапе инференса способно давать большой прирост на сложных задачах<sup>[\[5\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-openai_o1-5)</sup>.
- **Общая точка отсчёта.** Бенчмарк дал исследователям и поставщикам общую, независимо отслеживаемую меру аспирантского научного рассуждения, широко воспроизводимую в модельных карточках и сторонних лидербордах<sup>[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.
- **Бенчмарк позади frontier.** С верхним кластером у потолка GPQA Diamond работает в основном как регрессионная проверка и нижняя планка, а не как дифференциатор frontier; эту роль приняли на себя более сложные преемники. Это не просто «следующие версии» GPQA: если GPQA Diamond мал, ограничен STEM и четырёхвариантен, то [Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam") куда шире — более сотни дисциплин, сочетание вопросов с точным ответом и вариантов, мультимодальная часть. Его путь — от теста, рассчитанного на годы, до почти насыщения примерно за два года — показывает, как быстро ныне «выбирается» запас любого бенчмарка<sup>[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.

## Результаты моделей по источникам

Оценки GPQA Diamond не абсолютны: они зависят от даты оценки, правил промпта и разбора ответов и от использования консенсусного голосования. Разные лидерборды публикуют разные цифры для одной модели, и их корректнее сравнивать *внутри* одного источника, а не между источниками. Оба независимых лидерборда ниже сходятся в том, что сейчас лидирует Gemini 3.1 Pro Preview, но расходятся в его точной оценке (94,1 % против 95,45 %) и в порядке плотно сгруппированных преследователей; третий агрегатор (LLM Stats) даёт примерно 94,6 % для [Claude Mythos Preview](https://systems-analysis.info/wiki/Claude_Mythos_Preview "Claude Mythos Preview") от Anthropic. Обе таблицы — снимки на момент времени, меняющиеся часто; воспроизведена лишь надёжно подтверждённая верхушка каждого борда.

### Artificial Analysis — независимый лидерборд

Независимый оценщик, запускающий собственный harness на 198-вопросном наборе Diamond. Ведущий кластер ниже считан с лидерборда Artificial Analysis по состоянию на 1 июля 2026 года; позиции меняются часто<sup>[\[6\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-aa_leaderboard-6)</sup>.

| №   | Модель                 | Точность, % |
|-----|------------------------|-------------|
| 1   | Gemini 3.1 Pro Preview | 94,1        |
| 2   | GPT-5.5 (xhigh)        | 93,5        |
| 3   | GPT-5.5 (high)         | 93,2        |
| 4   | Qwen3.7 Max            | 92,3        |

*Примечание: верхушка борда крайне сжата — ещё несколько систем (включая MiniMax M3 и Claude Fable 5) также группируются около 92–93 %, — поэтому отрыв четвёртого места меньше заявленной выборочной неопределённости.*

### Vals AI — независимый лидерборд

Отдельный независимый оценщик, запускающий zero-shot и few-shot chain-of-thought на поднаборе Diamond. Верхушка борда датирована 17 июня 2026 года и, как прочие, меняется часто<sup>[\[3\]](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_note-vals-3)</sup>.

| №   | Модель                         | Точность, % |
|-----|--------------------------------|-------------|
| 1   | Gemini 3.1 Pro Preview (02/26) | 95,45       |
| 2   | Claude Fable 5                 | 93,18       |
| 2   | GPT-5.5                        | 93,18       |

## Ссылки

- <a href="https://grokipedia.com/page/GPQA_Diamond" class="external text" rel="nofollow">GPQA Diamond Benchmark — Grokipedia</a>
- <a href="https://systems-analysis.info/eng/GPQA_Diamond_Benchmark" class="external text" rel="nofollow">GPQA Diamond Benchmark — англоязычная версия статьи</a>
- <a href="https://github.com/idavidrein/gpqa" class="external text" rel="nofollow">GPQA dataset — GitHub</a>
- <a href="https://huggingface.co/datasets/Idavidrein/gpqa" class="external text" rel="nofollow">GPQA dataset — Hugging Face</a>
- <a href="https://artificialanalysis.ai/evaluations/gpqa-diamond" class="external text" rel="nofollow">GPQA Diamond Leaderboard — Artificial Analysis</a>
- <a href="https://www.vals.ai/benchmarks/gpqa" class="external text" rel="nofollow">GPQA Diamond — Vals AI</a>
- <a href="https://epoch.ai/benchmarks/gpqa-diamond" class="external text" rel="nofollow">GPQA Diamond — Epoch AI</a>
- <a href="https://openai.com/index/learning-to-reason-with-llms/" class="external text" rel="nofollow">Learning to reason with LLMs — OpenAI (o1)</a>

## Литература

- Rein, D. et al. (2023). *GPQA: A Graduate-Level Google-Proof Q&A Benchmark*. <a href="https://arxiv.org/abs/2311.12022" class="external text" rel="nofollow">arXiv:2311.12022</a>.
- Hendrycks, D. et al. (2021). *Measuring Massive Multitask Language Understanding (MMLU)*. <a href="https://arxiv.org/abs/2009.03300" class="external text" rel="nofollow">arXiv:2009.03300</a>.
- Phan, L. et al. (2025). *Humanity's Last Exam*. <a href="https://arxiv.org/abs/2501.14249" class="external text" rel="nofollow">arXiv:2501.14249</a>.
- Bowman, S. R. et al. (2022). *Measuring Progress on Scalable Oversight for Large Language Models*. <a href="https://arxiv.org/abs/2211.03540" class="external text" rel="nofollow">arXiv:2211.03540</a>.
- Han, Z. et al. (2025). *Search-Time Data Contamination*. <a href="https://arxiv.org/abs/2508.13180" class="external text" rel="nofollow">arXiv:2508.13180</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.

## См. также

- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam")
- [MMLU benchmark](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark")
- [SciCode Benchmark](https://systems-analysis.info/wiki/SciCode_Benchmark "SciCode Benchmark")
- [FrontierMath](https://systems-analysis.info/wiki/FrontierMath "FrontierMath")
- [Terminal-Bench](https://systems-analysis.info/wiki/Terminal-Bench "Terminal-Bench")

## Примечания

1.  <span id="cite_note-gpqa_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-gpqa_paper_1-11)</sup> Rein, D., Hou, B. L., Stickland, A. C. et al. "GPQA: A Graduate-Level Google-Proof Q&A Benchmark". *arXiv:2311.12022*, 2023. <a href="https://arxiv.org/abs/2311.12022" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-epoch-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-3)</sup> <sup>[2,4](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-4)</sup> <sup>[2,5](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-5)</sup> <sup>[2,6](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-6)</sup> <sup>[2,7](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-7)</sup> <sup>[2,8](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-epoch_2-8)</sup> "GPQA Diamond". *Epoch AI*. <a href="https://epoch.ai/benchmarks/gpqa-diamond" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-vals-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-3)</sup> <sup>[3,4](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-4)</sup> <sup>[3,5](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-5)</sup> <sup>[3,6](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-6)</sup> <sup>[3,7](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-vals_3-7)</sup> "GPQA Diamond". *Vals AI*. <a href="https://www.vals.ai/benchmarks/gpqa" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-claude_card-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-claude_card_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-claude_card_4-1)</sup> "Claude 3.5 Sonnet Model Card Addendum". *Anthropic*, 2024. <a href="https://www-cdn.anthropic.com/fed9cc193a14b84131812372d8d5857f8f304c52/Model_Card_Claude_3_Addendum.pdf" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-openai_o1-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-openai_o1_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-openai_o1_5-1)</sup> <sup>[5,2](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-openai_o1_5-2)</sup> "Learning to reason with LLMs". *OpenAI*, September 2024. <a href="https://openai.com/index/learning-to-reason-with-llms/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-aa_leaderboard-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-3)</sup> <sup>[6,4](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-4)</sup> <sup>[6,5](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-aa_leaderboard_6-5)</sup> "GPQA Diamond Benchmark Leaderboard". *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/gpqa-diamond" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-hf-7">[↑](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-hf_7-0) "Idavidrein/gpqa". *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/Idavidrein/gpqa" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-stc-8">[↑](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark#cite_ref-stc_8-0) Han, Z., Mankikar, S. et al. "Search-Time Data Contamination". *arXiv:2508.13180*, 2025 (NeurIPS 2025 Workshop). <a href="https://arxiv.org/abs/2508.13180" class="external autonumber" rel="nofollow">[8]</a></span>
