GDPval-AA v2
GDPval-AA v2 — независимый бенчмарк для оценки передовых моделей искусственного интеллекта (ИИ) на реальных, экономически значимых задачах интеллектуального труда[1][2]. Это система оценки второго поколения и лидерборд, построенные исследовательской компанией Artificial Analysis поверх набора данных GDPval, выпущенного OpenAI в 2025 году. Вместо закрытых экзаменационных вопросов модель должна действовать как агент: читать справочные файлы, запускать код, просматривать веб и создавать готовые результаты работы — документы, таблицы, презентации и диаграммы, — которые затем оцениваются путём сравнения соревнующихся моделей друг с другом, при этом человеческая профессиональная работа служит опорной точкой шкалы[1].
GDPval-AA v2 выполняет публичный «золотой» (gold) поднабор из 220 задач GDPval внутри агентной песочницы, построенной на открытом harness Stirrup компании Artificial Analysis, и ранжирует модели по Elo-рейтингу, вычисленному из вслепую проводимых парных сравнений результатов моделей. В редакции v2 шкала Elo перезапущена так, что работы человеческих экспертов соответствуют примерно 1000 очкам[3]. GDPval-AA v2 — компонент с наибольшим весом в Artificial Analysis Intelligence Index (версии 4.1): его вклад составляет 20 %[4].
Предыстория
К 2025 году многие популярные оценки ИИ утратили способность различать frontier-модели. Классические академические наборы вроде MMLU и даже более сложные тесты вроде Humanity's Last Exam критиковались за то, что они измеряют экзаменационное вспоминание и абстрактное рассуждение, а не ту работу, за которую людям реально платят[5]. Чтобы закрыть этот разрыв, усилия в области оценок сместились от академических экзаменов к всё более прикладным, рыночно значимым задачам — исправлениям в программной инженерии, инженерии машинного обучения и фрилансерской работе, — вплоть до оценок, оценивающих целые профессиональные результаты труда[2].
GDPval стал вкладом OpenAI в этот сдвиг. Представленный в сентябре 2025 года и описанный в исследовательской работе под руководством Теджал Патвардхан (Tejal Patwardhan) и коллег, GDPval измеряет качество моделей на реальных экономически значимых задачах в 44 профессиях из 9 отраслей, дающих наибольший вклад в ВВП США[6]. Девять секторов отобраны потому, что каждый вносит свыше 5 % в ВВП США, а внутри каждого сектора выбраны пять самых высокооплачиваемых, преимущественно интеллектуальных профессий по данным Бюро статистики труда США и O*NET[2]. Полный набор содержит 1320 задач, из которых 220-задачный «золотой» поднабор (по пять задач на профессию) открыт вместе со справочными файлами и экспериментальным автоматическим оценщиком[6][7].
Каждая задача GDPval построена на репрезентативной работе отраслевых профессионалов со средним стажем 14 лет и прошла несколько раундов экспертной проверки[6]. В отличие от обычных текстовых промптов, задачи снабжены контекстом и вспомогательными файлами, а ожидаемые результаты охватывают документы, слайды, диаграммы, таблицы и мультимедиа[2]. В собственном исследовании OpenAI — где результаты моделей оценивались вслепую экспертами против работ людей — сильнейшей оказалась Claude Opus 4.1: она была оценена как не хуже или лучше отраслевых экспертов примерно на 47–48 % задач «золотого» поднабора и выделялась эстетикой (форматирование документов, вёрстка слайдов); на втором месте GPT-5 (high), лидировавшая по точности и следованию инструкциям; GPT-4o набрала около 12 %[2][8]. OpenAI также сообщила, что frontier-модели выполняют такие задачи примерно в 100 раз быстрее и в 100 раз дешевле, чем человеческие эксперты, оговорившись, что эти цифры покрывают только инференс модели и цены API, но не человеческий контроль и итерации, необходимые на практике[2].
От GDPval к GDPval-AA
Основной метод оценивания OpenAI опирался на платных человеческих экспертов: это точно, но медленно, дорого и не масштабируется на непрерывное независимое сравнение моделей. Artificial Analysis — независимая фирма по оценке ИИ — поэтому создала GDPval-AA, собственную систему оценки, которая выполняет открытый «золотой» поднабор GDPval на произвольной языковой модели и оценивает результаты автоматически[1]. GDPval-AA стал центральным элементом масштабного пересмотра Artificial Analysis Intelligence Index (версия 4.0), анонсированного в конце 2025 года и широко освещённого в январе 2026 года: несколько насытившихся бенчмарков заменили задачами, отражающими реальное использование моделей в корпорациях — как агентов, вызывающих инструменты, навигирующих по системам и собирающих составные результаты, а не отвечающих на одиночный промпт[5].
Чтобы выполнять задачи GDPval на произвольных моделях, Artificial Analysis выпустила открытый агентный фреймворк Stirrup[9]. Внутри Stirrup модель помещается в песочницу с исполнением кода (окружение E2B) и получает набор инструментов, которые она может вызывать по собственному усмотрению: веб-поиск (через Brave Search API, возвращающий первые результаты), инструмент web-fetch, извлекающий содержимое страниц в виде текста, а также доступ к шеллу и файловой системе[3]. Модель работает над задачей за множество ходов, пока не создаст требуемый результат. В первом поколении GDPval-AA агентам разрешалось до 100 ходов, а результаты оценивал единственный frontier-судья (Gemini 3 Pro), самопредпочтение которого Artificial Analysis проверяла на смещённость[10]. Поскольку все матчи анонимны и оцениваются лицом к лицу между конкурирующими моделями, итогом для каждой модели является Elo-рейтинг, а не «сырое» процентное значение[1].
Обновление v2
15 июня 2026 года Artificial Analysis обновила оценку до GDPval-AA v2 в составе Intelligence Index версии 4.1. Редакция внесла несколько методологических изменений[3][4]:
- Перезапущенная шкала Elo. Очки перенастроены так, что работы человеческих экспертов соответствуют примерно 1000 Elo — это даёт числам прямую, интерпретируемую опорную точку: модели выше 1000 в среднем признаются превосходящими человеческих экспертов на этих задачах[3].
- Панель судей. Единственный LLM-судья первой версии заменён ротационной панелью из трёх frontier-судей, что снижает влияние особенностей любого одного оценщика[3][4].
- Более длинные горизонты. Лимит ходов на задачу увеличен со 100 до 250 с возможностью досрочного выхода, что позволяет агентам строить более длинные и сложные траектории[3][4].
- Обновлённая песочница. Исполняющее окружение обновлено новыми и расширенными программными зависимостями, чтобы модели могли работать с более широким набором типов файлов и сценариев[3].
Для вклада в составной Intelligence Index Elo модели в GDPval-AA v2 фиксируется в момент добавления модели и нормализуется формулой clamp((Elo − 500) / 2000); фиксированный диапазон удерживает вклад каждой модели в индекс стабильным во времени, даже когда лидерборд меняется[3]. GDPval-AA v2 несёт вес 20 % — больше, чем любая другая отдельная оценка индекса, — впереди Terminal-Bench 2.1 (16 %) и τ³-Bench Banking (14 %)[4].
Краткое описание методологии
Ключевые свойства оценки можно резюмировать следующим образом[1][3]:
- Набор задач. Публичный «золотой» поднабор GDPval из 220 задач, охватывающий документы, таблицы, слайды и диаграммы в финансах, здравоохранении, юриспруденции и других профессиональных областях.
- Агентное исполнение. Каждая модель работает внутри harness Stirrup с доступом к шеллу, песочницей исполнения кода, веб-поиском и web fetch, до 250 ходов.
- Оценивание. Результаты конкурирующих моделей сравниваются лицом к лицу на одной задаче; в каждом матче два результата анонимизируются, и панель LLM-судей выбирает победителя; эти вслепую полученные парные итоги агрегируются в Elo-рейтинг каждой модели.
- Опорная точка. Шкала Elo привязана к работам человеческих экспертов на уровне ≈1000, поэтому лидерборд измеряет модели относительно квалифицированных профессионалов, а не в абсолютной процентной шкале.
Поскольку оценка выставляется целым файловым результатам, полученным через использование инструментов, а не коротким текстовым ответам, GDPval-AA v2 резко отличается от традиционных бенчмарков с множественным выбором или точным совпадением и предназначена для отслеживания практических, значимых для рабочего места способностей[1].
Результаты
По методологии v2 ведущие системы уверенно превосходят уровень человеческих экспертов (≈1000 Elo). На запуске v2 15 июня 2026 года Artificial Analysis сообщила о лидерстве Claude Fable 5 (с фолбэком на Claude Opus 4.8) на отметке 1818 Elo, далее Claude Opus 4.8 с 1638 и GPT-5.5 (xhigh) с 1531; Claude Fable 5 — модель, которая в настоящее время недоступна для использования[4]. На уровне полного Intelligence Index v4.1 картина совпала: Claude Fable 5 (с фолбэком) лидировала в целом, но была недоступна, что оставляло Claude Opus 4.8 самой интеллектуальной из общедоступных моделей, с небольшим отрывом впереди GPT-5.5[4].
Поскольку это живой относительный рейтинг, доска v2 меняется по мере добавления новых моделей. В июльском снимке 2026 года Claude Fable 5 (с фолбэком) держалась на уровне около 1756 Elo, а Claude Sonnet 5 поднялась на второе место; для текущего положения следует обращаться к живому лидерборду[1].
Две сосуществующие шкалы Elo. Постоянный источник путаницы в том, что Artificial Analysis публикует результаты GDPval-AA более чем в одной шкале Elo. Цифры v2 выше перенастраивают шкалу на работы человеческих экспертов на уровне ≈1000; в этой шкале Claude Opus 4.8 даёт около 1638. Однако более широкий самостоятельный лидерборд GDPval-AA использует исходную (не перенастроенную) шкалу, в которой Claude Opus 4.8 ведёт с примерно 1890 Elo — подразумеваемый выигрыш порядка 67 % занявшему второе место GPT-5.5 (xhigh), — достигнув этого показателя примерно на 15 % меньшим числом ходов и на 35 % меньшим числом выходных токенов на задачу, чем предшественница Claude Opus 4.7, при этом всё же тратя примерно на 30 % больше ходов, чем GPT-5.5[11]. Шкалы несопоставимы, поэтому любое значение GDPval-AA осмысленно только вместе со шкалой и датой, к которым оно относится.
Снимки лидербордов
Приведённые ниже две таблицы взяты из Artificial Analysis, но используют разные шкалы Elo; это снимки на фиксированный момент, меняющиеся довольно часто, — для текущего положения следует обращаться к живому лидерборду.
GDPval-AA v2 — перенастроенная шкала (человеческий эксперт ≈ 1000), снимок запуска от 15 июня 2026.[4]
| Модель | Elo (v2) |
|---|---|
| Claude Fable 5 (с фолбэком на Opus 4.8) — в настоящее время недоступна для использования | 1818 |
| Claude Opus 4.8 (Adaptive Reasoning, Max Effort) | 1638 |
| GPT-5.5 (xhigh) | 1531 |
| Работы человеческих экспертов — опорная точка шкалы ≈ 1000 | |
В более позднем июльском снимке 2026 года на той же шкале v2 Claude Fable 5 держалась примерно на 1756 Elo, а Claude Sonnet 5 (Adaptive Reasoning, Max Effort) поднялась на второе место.[1]
Самостоятельный лидерборд GDPval-AA — исходная шкала Elo, живой снимок от 1 июля 2026. Это более широкий публичный лидерборд на исходной шкале Artificial Analysis, использующий другую опорную точку, нежели привязанные к человеку цифры v2 выше, и потому несопоставимый с ними; показаны только верхние строки, и каждое значение Elo несёт 95 %-ный доверительный интервал примерно ±25–40 очков[1][11].
| # | Разработчик | Модель | Elo |
|---|---|---|---|
| 1 | Anthropic | Claude Opus 4.8 (Adaptive Reasoning, Max Effort) | 1890 |
| 2 | OpenAI | GPT-5.5 (xhigh) | 1769 |
| 3 | OpenAI | GPT-5.5 (high) | 1753 |
| 4 | Anthropic | Claude Opus 4.7 (Adaptive Reasoning, Max Effort) | 1753 |
| 5 | Anthropic | Claude Opus 4.7 (Non-reasoning, High Effort) | 1677 |
| 6 | Anthropic | Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort) | 1676 |
| 7 | OpenAI | GPT-5.4 (xhigh) | 1674 |
| 8 | MiniMax | MiniMax-M3 | 1668 |
| 9 | Gemini 3.5 Flash (medium) | 1658 | |
| 10 | Gemini 3.5 Flash (high) | 1656 | |
| 11 | OpenAI | GPT-5.5 (medium) | 1649 |
| 12 | Anthropic | Claude Opus 4.6 (Adaptive Reasoning, Max Effort) | 1619 |
| Для ориентира — ниже по той же шкале: | |||
| 33 | Anthropic | Claude Opus 4.5 (Reasoning) | 1452 |
| 67 | OpenAI | GPT-5 (high) | 1294 |
| 140 | OpenAI | GPT-5 (medium) | 1000 |
| 312 | OpenAI | GPT-4o (Nov '24) | 348 |
Примечание: на момент снимка самостоятельный лидерборд не содержал новейших ограниченных или превью-моделей (например Claude Fable 5 и Claude Sonnet 5), которые фигурируют на доске v2, используемой в Intelligence Index, — ещё одно свидетельство того, что оба лидерборда ведутся раздельно.[1][4]
Критика и ограничения
Как оценка, GDPval-AA v2 наследует и сильные стороны, и ограничения исходного набора GDPval, а также добавляет собственные.
- Одноэтапные результаты, а не целые работы. Каждая задача — единственный, строго определённый результат, создаваемый за один проход; бенчмарк не отражает итерации, накопление контекста и работу с несколькими черновиками, характерные для реальной профессиональной деятельности. Сама OpenAI подаёт GDPval как первый шаг, не отражающий всей полноты многих экономических задач, и отмечает, что выигрыши в скорости и стоимости не учитывают необходимый на практике человеческий контроль и итерации[2]. Высокие баллы показывают, где модели могут помочь с рутинными «написываемыми» задачами, а не то, что профессию можно автоматизировать.
- Ориентация на США и интеллектуальный труд по построению. Набор задач собран из секторов ВВП США, данных о профессиях США и результатов на английском языке, и намеренно исключает физический труд. Он измеряет конкретный срез цифрового интеллектуального труда, а не мировую экономику[2][6].
- Модельное оценивание. Если OpenAI использовала платных экспертов, GDPval-AA опирается на LLM-судей, что ставит вопросы смещённости и самопредпочтения судьи. Artificial Analysis смягчает это анонимными парными сравнениями, а в v2 — панелью из трёх судей вместо одного; тем не менее собственный экспериментальный автооценщик OpenAI совпал с человеческими экспертами примерно в 66 % случаев против ~71 % совпадения между людьми, что показывает несовершенство автоматического оценивания[3][10][2].
- Возможное смещение в пользу оформления. В исследовании OpenAI часть лидерства Claude Opus 4.1 объяснялась более аккуратным форматированием, а не содержательным превосходством. Парное судейство — человеческое или модельное — может поощрять эстетику, фактор, переносимый и на GDPval-AA[2].
- Относительные, зависящие от шкалы и снимка баллы. Elo — относительная мера; рейтинги дрейфуют по мере роста парка моделей и числа матчей, а Artificial Analysis публикует результаты в двух несопоставимых шкалах (исходной самостоятельной и привязанной к человеку v2), в которых одна и та же модель может иметь очень разные значения. Сравнения между шкалами, судьями или датами поэтому ненадёжны[1][11].
- Ограниченное публичное покрытие и недоступные лидеры. Оценка выполняется на 220-задачном поднаборе полного бенчмарка из 1320 задач, а верхушку доски v2 держит модель (Claude Fable 5), в настоящее время недоступная для использования, что осложняет прочтение доски как практического state of the art[6][4].
В более широком смысле GDPval-AA v2 измеряет экономическую продуктивность на уровне задач, а не научное рассуждение, оригинальность или общий интеллект; Artificial Analysis сочетает её с другими оценками именно потому, что высокий балл GDPval-AA не означает frontier-уровня в сложном рассуждении[5].
Значение и перспективы
GDPval-AA v2 отражает более широкий сдвиг оценки ИИ от насытившихся закрытых экзаменов к агентным задачам с готовыми результатами, напоминающим оплачиваемую работу.
- Опорная точка, привязанная к труду. Привязав шкалу Elo к работам человеческих экспертов на уровне ≈1000, бенчмарк даёт интерпретируемый способ спросить, насколько близки модели к квалифицированным профессионалам на конкретных результатах, и отслеживать этот разрыв во времени[3].
- Влияние на агрегированные рейтинги. Как компонент с наибольшим весом (20 %) Artificial Analysis Intelligence Index, GDPval-AA v2 существенно формирует то, как frontier-модели ранжируются и сравниваются в более широкой экосистеме[4].
- Заземление дискуссии о влиянии на рынок труда. Заявленная цель GDPval от OpenAI — заземлить дискуссию об экономических эффектах ИИ в фактах, а не в спекуляциях; независимая, непрерывно обновляемая реализация расширяет эту цель за пределы одной лаборатории[2][5].
- Открытые инструменты. Поскольку Stirrup выпущен как open source, harness, на котором выполняется оценка, может быть изучен, повторно использован и адаптирован другими исследователями, что поддерживает воспроизводимость[9].
Результаты на сегодня показывают, что сильнейшие системы находятся на уровне человеческих экспертов или выше на узком, строго определённом классе цифровых результатов работы, оставляя открытую оценку, сотрудничество и решение принципиально новых задач отдельными и в значительной мере неизмеренными рубежами.
Ссылки
- GDPval-AA leaderboard — Artificial Analysis
- Анонс Intelligence Index v4.1 — Artificial Analysis
- Intelligence Benchmarking Methodology — Artificial Analysis
- Агентный harness Stirrup — GitHub
- Анонс GDPval — OpenAI
- «Золотой» поднабор GDPval — Hugging Face
- GDPval Explorer
- GDPval — AI Wiki (статья о наборе данных GDPval)
- GDPval-AA v2 — англоязычная версия статьи
См. также
Литература
- Patwardhan, T. et al. (2025). GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks. arXiv:2510.04374.
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 «GDPval-AA Leaderboard». Artificial Analysis. [1]
- ↑ 2,00 2,01 2,02 2,03 2,04 2,05 2,06 2,07 2,08 2,09 2,10 «Measuring the performance of our models on real-world tasks». OpenAI, 25 сентября 2025. [2]
- ↑ 3,00 3,01 3,02 3,03 3,04 3,05 3,06 3,07 3,08 3,09 3,10 «Artificial Analysis Intelligence Benchmarking Methodology». Artificial Analysis. [3]
- ↑ 4,00 4,01 4,02 4,03 4,04 4,05 4,06 4,07 4,08 4,09 4,10 «Announcing Artificial Analysis Intelligence Index v4.1: a shift toward agentic workloads». Artificial Analysis, 15 июня 2026. [4]
- ↑ 5,0 5,1 5,2 5,3 Nuñez, M. «Artificial Analysis overhauls its AI Intelligence Index, replacing popular benchmarks with 'real-world' tests». VentureBeat, январь 2026. [5]
- ↑ 6,0 6,1 6,2 6,3 6,4 Patwardhan, T., Dias, R., Proehl, E. et al. «GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks». arXiv:2510.04374, 2025. [6]
- ↑ «openai/gdpval». Hugging Face Datasets. [7]
- ↑ Barton, G. «Claude Opus 4.1 leads the pack in workplace tasks, outperforming even GPT-5 in OpenAI's own study». TechRadar, сентябрь 2025. [8]
- ↑ 9,0 9,1 «Stirrup». Artificial Analysis (GitHub). [9]
- ↑ 10,0 10,1 «Artificial Analysis: Independent LLM Evals as a Service». Latent Space, февраль 2026. [10]
- ↑ 11,0 11,1 11,2 «Claude Opus 4.8 — analysis and benchmarks». Artificial Analysis, май 2026. [11]