---
title: "GDPval-AA v2"
source: "https://systems-analysis.info/wiki/GDPval-AA_v2"
wiki: "systems-analysis.info/wiki"
article: "GDPval-AA_v2"
language: "ru"
categories:
  - "Категория:AI-агенты"
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3751
wiki_created_at: 2026-11-19T08:26:31Z
wiki_modified_at: 2026-11-19T10:28:25Z
downloaded_at: 2026-11-19T10:41:11Z
---

# GDPval-AA v2

**GDPval-AA v2** — независимый [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для оценки передовых моделей искусственного интеллекта (ИИ) на реальных, экономически значимых задачах интеллектуального труда<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>. Это система оценки второго поколения и лидерборд, построенные исследовательской компанией *Artificial Analysis* поверх набора данных **GDPval**, выпущенного *[OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI")* в 2025 году. Вместо закрытых экзаменационных вопросов модель должна действовать как агент: читать справочные файлы, запускать код, просматривать веб и создавать готовые результаты работы — документы, таблицы, презентации и диаграммы, — которые затем оцениваются путём сравнения соревнующихся моделей друг с другом, при этом человеческая профессиональная работа служит опорной точкой шкалы<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>.

GDPval-AA v2 выполняет публичный «золотой» (gold) поднабор из 220 задач GDPval внутри агентной песочницы, построенной на открытом harness **Stirrup** компании *Artificial Analysis*, и ранжирует модели по [Elo-рейтингу](https://systems-analysis.info/wiki/ELO%E2%80%91%D1%80%D0%B0%D0%BD%D0%B6%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9 "ELO‑ранжирование моделей"), вычисленному из вслепую проводимых парных сравнений результатов моделей. В редакции v2 шкала Elo перезапущена так, что работы человеческих экспертов соответствуют примерно 1000 очкам<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>. GDPval-AA v2 — компонент с наибольшим весом в *Artificial Analysis Intelligence Index* (версии 4.1): его вклад составляет 20 %<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.

## Предыстория

К 2025 году многие популярные оценки ИИ утратили способность различать frontier-модели. Классические академические наборы вроде [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark") и даже более сложные тесты вроде [Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam") критиковались за то, что они измеряют экзаменационное вспоминание и абстрактное рассуждение, а не ту работу, за которую людям реально платят<sup>[\[5\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-venturebeat-5)</sup>. Чтобы закрыть этот разрыв, усилия в области оценок сместились от академических экзаменов к всё более прикладным, рыночно значимым задачам — исправлениям в программной инженерии, инженерии машинного обучения и фрилансерской работе, — вплоть до оценок, оценивающих целые профессиональные результаты труда<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>.

**GDPval** стал вкладом OpenAI в этот сдвиг. Представленный в сентябре 2025 года и описанный в исследовательской работе под руководством Теджал Патвардхан (Tejal Patwardhan) и коллег, GDPval измеряет качество моделей на реальных экономически значимых задачах в **44 профессиях** из **9 отраслей**, дающих наибольший вклад в ВВП США<sup>[\[6\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-gdpval_paper-6)</sup>. Девять секторов отобраны потому, что каждый вносит свыше 5 % в ВВП США, а внутри каждого сектора выбраны пять самых высокооплачиваемых, преимущественно интеллектуальных профессий по данным Бюро статистики труда США и O\*NET<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>. Полный набор содержит **1320 задач**, из которых **220-задачный «золотой» поднабор** (по пять задач на профессию) открыт вместе со справочными файлами и экспериментальным автоматическим оценщиком<sup>[\[6\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-gdpval_paper-6)[\[7\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-hf-7)</sup>.

Каждая задача GDPval построена на репрезентативной работе отраслевых профессионалов со средним стажем 14 лет и прошла несколько раундов экспертной проверки<sup>[\[6\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-gdpval_paper-6)</sup>. В отличие от обычных текстовых промптов, задачи снабжены контекстом и вспомогательными файлами, а ожидаемые результаты охватывают документы, слайды, диаграммы, таблицы и мультимедиа<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>. В собственном исследовании OpenAI — где результаты моделей оценивались вслепую экспертами против работ людей — сильнейшей оказалась [Claude Opus 4.1](https://systems-analysis.info/wiki/Claude_Opus_4.1 "Claude Opus 4.1"): она была оценена как не хуже или лучше отраслевых экспертов примерно на 47–48 % задач «золотого» поднабора и выделялась эстетикой (форматирование документов, вёрстка слайдов); на втором месте [GPT-5](https://systems-analysis.info/wiki/GPT-5 "GPT-5") (high), лидировавшая по точности и следованию инструкциям; [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") набрала около 12 %<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)[\[8\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-techradar-8)</sup>. OpenAI также сообщила, что frontier-модели выполняют такие задачи примерно в 100 раз быстрее и в 100 раз дешевле, чем человеческие эксперты, оговорившись, что эти цифры покрывают только инференс модели и цены API, но не человеческий контроль и итерации, необходимые на практике<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>.

## От GDPval к GDPval-AA

Основной метод оценивания OpenAI опирался на платных человеческих экспертов: это точно, но медленно, дорого и не масштабируется на непрерывное независимое сравнение моделей. *Artificial Analysis* — независимая фирма по оценке ИИ — поэтому создала **GDPval-AA**, собственную систему оценки, которая выполняет открытый «золотой» поднабор GDPval на произвольной языковой модели и оценивает результаты автоматически<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>. GDPval-AA стал центральным элементом масштабного пересмотра *Artificial Analysis Intelligence Index* (версия 4.0), анонсированного в конце 2025 года и широко освещённого в январе 2026 года: несколько насытившихся бенчмарков заменили задачами, отражающими реальное использование моделей в корпорациях — как агентов, вызывающих инструменты, навигирующих по системам и собирающих составные результаты, а не отвечающих на одиночный промпт<sup>[\[5\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-venturebeat-5)</sup>.

Чтобы выполнять задачи GDPval на произвольных моделях, *Artificial Analysis* выпустила открытый агентный фреймворк **Stirrup**<sup>[\[9\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-stirrup-9)</sup>. Внутри Stirrup модель помещается в песочницу с исполнением кода (окружение E2B) и получает набор инструментов, которые она может вызывать по собственному усмотрению: веб-поиск (через Brave Search API, возвращающий первые результаты), инструмент web-fetch, извлекающий содержимое страниц в виде текста, а также доступ к шеллу и файловой системе<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>. Модель работает над задачей за множество ходов, пока не создаст требуемый результат. В первом поколении GDPval-AA агентам разрешалось до 100 ходов, а результаты оценивал единственный frontier-судья ([Gemini 3 Pro](https://systems-analysis.info/wiki/Gemini_3_Pro "Gemini 3 Pro")), самопредпочтение которого *Artificial Analysis* проверяла на смещённость<sup>[\[10\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-latent-10)</sup>. Поскольку все матчи анонимны и оцениваются лицом к лицу между конкурирующими моделями, итогом для каждой модели является Elo-рейтинг, а не «сырое» процентное значение<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>.

## Обновление v2

15 июня 2026 года *Artificial Analysis* обновила оценку до **GDPval-AA v2** в составе *Intelligence Index* версии 4.1. Редакция внесла несколько методологических изменений<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>:

- **Перезапущенная шкала Elo.** Очки перенастроены так, что работы человеческих экспертов соответствуют примерно **1000** Elo — это даёт числам прямую, интерпретируемую опорную точку: модели выше 1000 в среднем признаются превосходящими человеческих экспертов на этих задачах<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>.
- **Панель судей.** Единственный LLM-судья первой версии заменён ротационной **панелью из трёх frontier-судей**, что снижает влияние особенностей любого одного оценщика<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.
- **Более длинные горизонты.** Лимит ходов на задачу увеличен со 100 до **250** с возможностью досрочного выхода, что позволяет агентам строить более длинные и сложные траектории<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.
- **Обновлённая песочница.** Исполняющее окружение обновлено новыми и расширенными программными зависимостями, чтобы модели могли работать с более широким набором типов файлов и сценариев<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>.

Для вклада в составной *Intelligence Index* Elo модели в GDPval-AA v2 фиксируется в момент добавления модели и нормализуется формулой clamp((Elo − 500) / 2000); фиксированный диапазон удерживает вклад каждой модели в индекс стабильным во времени, даже когда лидерборд меняется<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>. GDPval-AA v2 несёт вес 20 % — больше, чем любая другая отдельная оценка индекса, — впереди [Terminal-Bench](https://systems-analysis.info/wiki/Terminal-Bench "Terminal-Bench") 2.1 (16 %) и [τ³-Bench Banking](https://systems-analysis.info/wiki/%CE%A4-bench "Τ-bench") (14 %)<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.

## Краткое описание методологии

Ключевые свойства оценки можно резюмировать следующим образом<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>:

- **Набор задач.** Публичный «золотой» поднабор GDPval из 220 задач, охватывающий документы, таблицы, слайды и диаграммы в финансах, здравоохранении, юриспруденции и других профессиональных областях.
- **Агентное исполнение.** Каждая модель работает внутри harness Stirrup с доступом к шеллу, песочницей исполнения кода, веб-поиском и web fetch, до 250 ходов.
- **Оценивание.** Результаты конкурирующих моделей сравниваются лицом к лицу на одной задаче; в каждом матче два результата анонимизируются, и панель LLM-судей выбирает победителя; эти вслепую полученные парные итоги агрегируются в Elo-рейтинг каждой модели.
- **Опорная точка.** Шкала Elo привязана к работам человеческих экспертов на уровне ≈1000, поэтому лидерборд измеряет модели относительно квалифицированных профессионалов, а не в абсолютной процентной шкале.

Поскольку оценка выставляется целым файловым результатам, полученным через использование инструментов, а не коротким текстовым ответам, GDPval-AA v2 резко отличается от традиционных бенчмарков с множественным выбором или точным совпадением и предназначена для отслеживания практических, значимых для рабочего места способностей<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>.

## Результаты

По методологии v2 ведущие системы уверенно превосходят уровень человеческих экспертов (≈1000 Elo). На запуске v2 **15 июня 2026** года *Artificial Analysis* сообщила о лидерстве **[Claude Fable 5](https://systems-analysis.info/wiki/Claude_Fable_5 "Claude Fable 5")** (с фолбэком на [Claude Opus 4.8](https://systems-analysis.info/wiki/Claude_Opus_4.8 "Claude Opus 4.8")) на отметке **1818** Elo, далее **Claude Opus 4.8** с **1638** и **[GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5")** (xhigh) с **1531**; Claude Fable 5 — модель, которая в настоящее время недоступна для использования<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>. На уровне полного *Intelligence Index* v4.1 картина совпала: Claude Fable 5 (с фолбэком) лидировала в целом, но была недоступна, что оставляло Claude Opus 4.8 самой интеллектуальной из общедоступных моделей, с небольшим отрывом впереди GPT-5.5<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.

Поскольку это живой относительный рейтинг, доска v2 меняется по мере добавления новых моделей. В июльском снимке 2026 года Claude Fable 5 (с фолбэком) держалась на уровне около 1756 Elo, а **[Claude Sonnet 5](https://systems-analysis.info/wiki/Claude_Sonnet_5 "Claude Sonnet 5")** поднялась на второе место; для текущего положения следует обращаться к живому лидерборду<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>.

**Две сосуществующие шкалы Elo.** Постоянный источник путаницы в том, что *Artificial Analysis* публикует результаты GDPval-AA более чем в одной шкале Elo. Цифры v2 выше перенастраивают шкалу на работы человеческих экспертов на уровне ≈1000; в этой шкале Claude Opus 4.8 даёт около 1638. Однако более широкий самостоятельный лидерборд GDPval-AA использует исходную (не перенастроенную) шкалу, в которой Claude Opus 4.8 ведёт с примерно **1890** Elo — подразумеваемый выигрыш порядка 67 % занявшему второе место GPT-5.5 (xhigh), — достигнув этого показателя примерно на 15 % меньшим числом ходов и на 35 % меньшим числом выходных токенов на задачу, чем предшественница Claude Opus 4.7, при этом всё же тратя примерно на 30 % больше ходов, чем GPT-5.5<sup>[\[11\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_opus48-11)</sup>. Шкалы несопоставимы, поэтому любое значение GDPval-AA осмысленно только вместе со шкалой и датой, к которым оно относится.

### Снимки лидербордов

Приведённые ниже две таблицы взяты из *Artificial Analysis*, но используют разные шкалы Elo; это снимки на фиксированный момент, меняющиеся довольно часто, — для текущего положения следует обращаться к живому лидерборду.

**GDPval-AA v2 — перенастроенная шкала (человеческий эксперт ≈ 1000), снимок запуска от 15 июня 2026.**<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>

| Модель                                                                                                                                                           | Elo (v2) |
|------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------|
| [Claude Fable 5](https://systems-analysis.info/wiki/Claude_Fable_5 "Claude Fable 5") (с фолбэком на Opus 4.8) — *в настоящее время недоступна для использования* | 1818     |
| [Claude Opus 4.8](https://systems-analysis.info/wiki/Claude_Opus_4.8 "Claude Opus 4.8") (Adaptive Reasoning, Max Effort)                                         | 1638     |
| [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") (xhigh)                                                                                          | 1531     |
| *Работы человеческих экспертов — опорная точка шкалы*   **≈ 1000**                                                                                               |          |

*В более позднем июльском снимке 2026 года на той же шкале v2 Claude Fable 5 держалась примерно на 1756 Elo, а Claude Sonnet 5 (Adaptive Reasoning, Max Effort) поднялась на второе место.*<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)</sup>

**Самостоятельный лидерборд GDPval-AA — исходная шкала Elo, живой снимок от 1 июля 2026.** Это более широкий публичный лидерборд на исходной шкале *Artificial Analysis*, использующий другую опорную точку, нежели привязанные к человеку цифры v2 выше, и потому несопоставимый с ними; показаны только верхние строки, и каждое значение Elo несёт 95 %-ный доверительный интервал примерно ±25–40 очков<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)[\[11\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_opus48-11)</sup>.

| \#                                      | Разработчик | Модель                                                                                                                         | Elo  |
|-----------------------------------------|-------------|--------------------------------------------------------------------------------------------------------------------------------|------|
| 1                                       | Anthropic   | [Claude Opus 4.8](https://systems-analysis.info/wiki/Claude_Opus_4.8 "Claude Opus 4.8") (Adaptive Reasoning, Max Effort)       | 1890 |
| 2                                       | OpenAI      | [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") (xhigh)                                                        | 1769 |
| 3                                       | OpenAI      | [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") (high)                                                         | 1753 |
| 4                                       | Anthropic   | [Claude Opus 4.7](https://systems-analysis.info/wiki/Claude_Opus_4.7 "Claude Opus 4.7") (Adaptive Reasoning, Max Effort)       | 1753 |
| 5                                       | Anthropic   | [Claude Opus 4.7](https://systems-analysis.info/wiki/Claude_Opus_4.7 "Claude Opus 4.7") (Non-reasoning, High Effort)           | 1677 |
| 6                                       | Anthropic   | [Claude Sonnet 4.6](https://systems-analysis.info/wiki/Claude_Sonnet_4.6 "Claude Sonnet 4.6") (Adaptive Reasoning, Max Effort) | 1676 |
| 7                                       | OpenAI      | [GPT-5.4](https://systems-analysis.info/wiki/GPT-5.4 "GPT-5.4") (xhigh)                                                        | 1674 |
| 8                                       | MiniMax     | [MiniMax-M3](https://systems-analysis.info/wiki/MiniMax-M3 "MiniMax-M3")                                                       | 1668 |
| 9                                       | Google      | [Gemini 3.5 Flash](https://systems-analysis.info/wiki/Gemini_3.5_Flash "Gemini 3.5 Flash") (medium)                            | 1658 |
| 10                                      | Google      | [Gemini 3.5 Flash](https://systems-analysis.info/wiki/Gemini_3.5_Flash "Gemini 3.5 Flash") (high)                              | 1656 |
| 11                                      | OpenAI      | [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") (medium)                                                       | 1649 |
| 12                                      | Anthropic   | [Claude Opus 4.6](https://systems-analysis.info/wiki/Claude_Opus_4.6 "Claude Opus 4.6") (Adaptive Reasoning, Max Effort)       | 1619 |
| *Для ориентира — ниже по той же шкале:* |             |                                                                                                                                |      |
| 33                                      | Anthropic   | [Claude Opus 4.5](https://systems-analysis.info/wiki/Claude_Opus_4.5 "Claude Opus 4.5") (Reasoning)                            | 1452 |
| 67                                      | OpenAI      | [GPT-5](https://systems-analysis.info/wiki/GPT-5 "GPT-5") (high)                                                               | 1294 |
| 140                                     | OpenAI      | [GPT-5](https://systems-analysis.info/wiki/GPT-5 "GPT-5") (medium)                                                             | 1000 |
| 312                                     | OpenAI      | [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") (Nov '24)                                                         | 348  |

*Примечание: на момент снимка самостоятельный лидерборд не содержал новейших ограниченных или превью-моделей (например Claude Fable 5 и Claude Sonnet 5), которые фигурируют на доске v2, используемой в Intelligence Index, — ещё одно свидетельство того, что оба лидерборда ведутся раздельно.*<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>

## Критика и ограничения

Как оценка, GDPval-AA v2 наследует и сильные стороны, и ограничения исходного набора GDPval, а также добавляет собственные.

- **Одноэтапные результаты, а не целые работы.** Каждая задача — единственный, строго определённый результат, создаваемый за один проход; бенчмарк не отражает итерации, накопление контекста и работу с несколькими черновиками, характерные для реальной профессиональной деятельности. Сама OpenAI подаёт GDPval как первый шаг, не отражающий всей полноты многих экономических задач, и отмечает, что выигрыши в скорости и стоимости не учитывают необходимый на практике человеческий контроль и итерации<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>. Высокие баллы показывают, где модели могут помочь с рутинными «написываемыми» задачами, а не то, что профессию можно автоматизировать.
- **Ориентация на США и интеллектуальный труд по построению.** Набор задач собран из секторов ВВП США, данных о профессиях США и результатов на английском языке, и намеренно исключает физический труд. Он измеряет конкретный срез цифрового интеллектуального труда, а не мировую экономику<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)[\[6\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-gdpval_paper-6)</sup>.
- **Модельное оценивание.** Если OpenAI использовала платных экспертов, GDPval-AA опирается на LLM-судей, что ставит вопросы смещённости и самопредпочтения судьи. *Artificial Analysis* смягчает это анонимными парными сравнениями, а в v2 — панелью из трёх судей вместо одного; тем не менее собственный экспериментальный автооценщик OpenAI совпал с человеческими экспертами примерно в 66 % случаев против ~71 % совпадения между людьми, что показывает несовершенство автоматического оценивания<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)[\[10\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-latent-10)[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>.
- **Возможное смещение в пользу оформления.** В исследовании OpenAI часть лидерства Claude Opus 4.1 объяснялась более аккуратным форматированием, а не содержательным превосходством. Парное судейство — человеческое или модельное — может поощрять эстетику, фактор, переносимый и на GDPval-AA<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)</sup>.
- **Относительные, зависящие от шкалы и снимка баллы.** Elo — относительная мера; рейтинги дрейфуют по мере роста парка моделей и числа матчей, а *Artificial Analysis* публикует результаты в двух несопоставимых шкалах (исходной самостоятельной и привязанной к человеку v2), в которых одна и та же модель может иметь очень разные значения. Сравнения между шкалами, судьями или датами поэтому ненадёжны<sup>[\[1\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_gdpval-1)[\[11\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_opus48-11)</sup>.
- **Ограниченное публичное покрытие и недоступные лидеры.** Оценка выполняется на 220-задачном поднаборе полного бенчмарка из 1320 задач, а верхушку доски v2 держит модель (Claude Fable 5), в настоящее время недоступная для использования, что осложняет прочтение доски как практического state of the art<sup>[\[6\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-gdpval_paper-6)[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.

В более широком смысле GDPval-AA v2 измеряет экономическую продуктивность на уровне задач, а не научное рассуждение, оригинальность или общий интеллект; *Artificial Analysis* сочетает её с другими оценками именно потому, что высокий балл GDPval-AA не означает frontier-уровня в сложном рассуждении<sup>[\[5\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-venturebeat-5)</sup>.

## Значение и перспективы

GDPval-AA v2 отражает более широкий сдвиг оценки ИИ от насытившихся закрытых экзаменов к агентным задачам с готовыми результатами, напоминающим оплачиваемую работу.

- **Опорная точка, привязанная к труду.** Привязав шкалу Elo к работам человеческих экспертов на уровне ≈1000, бенчмарк даёт интерпретируемый способ спросить, насколько близки модели к квалифицированным профессионалам на конкретных результатах, и отслеживать этот разрыв во времени<sup>[\[3\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_methodology-3)</sup>.
- **Влияние на агрегированные рейтинги.** Как компонент с наибольшим весом (20 %) *Artificial Analysis Intelligence Index*, GDPval-AA v2 существенно формирует то, как frontier-модели ранжируются и сравниваются в более широкой экосистеме<sup>[\[4\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-aa_v41-4)</sup>.
- **Заземление дискуссии о влиянии на рынок труда.** Заявленная цель GDPval от OpenAI — заземлить дискуссию об экономических эффектах ИИ в фактах, а не в спекуляциях; независимая, непрерывно обновляемая реализация расширяет эту цель за пределы одной лаборатории<sup>[\[2\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-openai_gdpval-2)[\[5\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-venturebeat-5)</sup>.
- **Открытые инструменты.** Поскольку Stirrup выпущен как open source, harness, на котором выполняется оценка, может быть изучен, повторно использован и адаптирован другими исследователями, что поддерживает воспроизводимость<sup>[\[9\]](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_note-stirrup-9)</sup>.

Результаты на сегодня показывают, что сильнейшие системы находятся на уровне человеческих экспертов или выше на узком, строго определённом классе цифровых результатов работы, оставляя открытую оценку, сотрудничество и решение принципиально новых задач отдельными и в значительной мере неизмеренными рубежами.

## Ссылки

- <a href="https://artificialanalysis.ai/evaluations/gdpval-aa" class="external text" rel="nofollow">GDPval-AA leaderboard — <em>Artificial Analysis</em></a>
- <a href="https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-1" class="external text" rel="nofollow">Анонс Intelligence Index v4.1 — <em>Artificial Analysis</em></a>
- <a href="https://artificialanalysis.ai/methodology/intelligence-benchmarking" class="external text" rel="nofollow">Intelligence Benchmarking Methodology — <em>Artificial Analysis</em></a>
- <a href="https://github.com/ArtificialAnalysis/Stirrup" class="external text" rel="nofollow">Агентный harness Stirrup — GitHub</a>
- <a href="https://openai.com/index/gdpval/" class="external text" rel="nofollow">Анонс GDPval — <em>OpenAI</em></a>
- <a href="https://huggingface.co/datasets/openai/gdpval" class="external text" rel="nofollow">«Золотой» поднабор GDPval — Hugging Face</a>
- <a href="https://www.gdpval.dev/" class="external text" rel="nofollow">GDPval Explorer</a>
- <a href="https://aiwiki.ai/wiki/gdpval" class="external text" rel="nofollow">GDPval — AI Wiki</a> (статья о наборе данных GDPval)
- <a href="https://systems-analysis.info/eng/GDPval-AA_v2" class="external text" rel="nofollow">GDPval-AA v2 — англоязычная версия статьи</a>

## См. также

- [OSWorld](https://systems-analysis.info/wiki/OSWorld "OSWorld")
- [Terminal-Bench](https://systems-analysis.info/wiki/Terminal-Bench "Terminal-Bench")

## Литература

- Patwardhan, T. et al. (2025). *GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks*. <a href="https://arxiv.org/abs/2510.04374" class="external text" rel="nofollow">arXiv:2510.04374</a>.
- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.

## Примечания

1.  <span id="cite_note-aa_gdpval-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_gdpval_1-10)</sup> «GDPval-AA Leaderboard». *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/gdpval-aa" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-openai_gdpval-2">↑ <sup>[2,00](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-0)</sup> <sup>[2,01](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-1)</sup> <sup>[2,02](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-2)</sup> <sup>[2,03](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-3)</sup> <sup>[2,04](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-4)</sup> <sup>[2,05](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-5)</sup> <sup>[2,06](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-6)</sup> <sup>[2,07](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-7)</sup> <sup>[2,08](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-8)</sup> <sup>[2,09](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-9)</sup> <sup>[2,10](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-openai_gdpval_2-10)</sup> «Measuring the performance of our models on real-world tasks». *OpenAI*, 25 сентября 2025. <a href="https://openai.com/index/gdpval/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-aa_methodology-3">↑ <sup>[3,00](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-0)</sup> <sup>[3,01](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-1)</sup> <sup>[3,02](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-2)</sup> <sup>[3,03](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-3)</sup> <sup>[3,04](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-4)</sup> <sup>[3,05](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-5)</sup> <sup>[3,06](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-6)</sup> <sup>[3,07](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-7)</sup> <sup>[3,08](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-8)</sup> <sup>[3,09](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-9)</sup> <sup>[3,10](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_methodology_3-10)</sup> «Artificial Analysis Intelligence Benchmarking Methodology». *Artificial Analysis*. <a href="https://artificialanalysis.ai/methodology/intelligence-benchmarking" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-aa_v41-4">↑ <sup>[4,00](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-0)</sup> <sup>[4,01](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-1)</sup> <sup>[4,02](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-2)</sup> <sup>[4,03](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-3)</sup> <sup>[4,04](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-4)</sup> <sup>[4,05](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-5)</sup> <sup>[4,06](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-6)</sup> <sup>[4,07](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-7)</sup> <sup>[4,08](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-8)</sup> <sup>[4,09](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-9)</sup> <sup>[4,10](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_v41_4-10)</sup> «Announcing Artificial Analysis Intelligence Index v4.1: a shift toward agentic workloads». *Artificial Analysis*, 15 июня 2026. <a href="https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-1" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-venturebeat-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-venturebeat_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-venturebeat_5-1)</sup> <sup>[5,2](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-venturebeat_5-2)</sup> <sup>[5,3](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-venturebeat_5-3)</sup> Nuñez, M. «Artificial Analysis overhauls its AI Intelligence Index, replacing popular benchmarks with 'real-world' tests». *VentureBeat*, январь 2026. <a href="https://venturebeat.com/technology/artificial-analysis-overhauls-its-ai-intelligence-index-replacing-popular" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-gdpval_paper-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-gdpval_paper_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-gdpval_paper_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-gdpval_paper_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-gdpval_paper_6-3)</sup> <sup>[6,4](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-gdpval_paper_6-4)</sup> Patwardhan, T., Dias, R., Proehl, E. et al. «GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks». *arXiv:2510.04374*, 2025. <a href="https://arxiv.org/abs/2510.04374" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-hf-7">[↑](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-hf_7-0) «openai/gdpval». *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/openai/gdpval" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-techradar-8">[↑](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-techradar_8-0) Barton, G. «Claude Opus 4.1 leads the pack in workplace tasks, outperforming even GPT-5 in OpenAI's own study». *TechRadar*, сентябрь 2025. <a href="https://www.techradar.com/ai-platforms-assistants/claude/claude-just-beat-gpt-5-gemini-and-grok-in-real-world-job-tasks-according-to-openais-own-study" class="external autonumber" rel="nofollow">[8]</a></span>
9.  <span id="cite_note-stirrup-9">↑ <sup>[9,0](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-stirrup_9-0)</sup> <sup>[9,1](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-stirrup_9-1)</sup> «Stirrup». *Artificial Analysis* (GitHub). <a href="https://github.com/ArtificialAnalysis/Stirrup" class="external autonumber" rel="nofollow">[9]</a></span>
10. <span id="cite_note-latent-10">↑ <sup>[10,0](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-latent_10-0)</sup> <sup>[10,1](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-latent_10-1)</sup> «Artificial Analysis: Independent LLM Evals as a Service». *Latent Space*, февраль 2026. <a href="https://www.latent.space/p/artificialanalysis" class="external autonumber" rel="nofollow">[10]</a></span>
11. <span id="cite_note-aa_opus48-11">↑ <sup>[11,0](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_opus48_11-0)</sup> <sup>[11,1](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_opus48_11-1)</sup> <sup>[11,2](https://systems-analysis.info/wiki/GDPval-AA_v2#cite_ref-aa_opus48_11-2)</sup> «Claude Opus 4.8 — analysis and benchmarks». *Artificial Analysis*, май 2026. <a href="https://artificialanalysis.ai/articles/claude-opus-4-8-analysis-and-benchmarks" class="external autonumber" rel="nofollow">[11]</a></span>
