GDPval-AA v2

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

GDPval-AA v2 — независимый бенчмарк для оценки передовых моделей искусственного интеллекта (ИИ) на реальных, экономически значимых задачах интеллектуального труда[1][2]. Это система оценки второго поколения и лидерборд, построенные исследовательской компанией Artificial Analysis поверх набора данных GDPval, выпущенного OpenAI в 2025 году. Вместо закрытых экзаменационных вопросов модель должна действовать как агент: читать справочные файлы, запускать код, просматривать веб и создавать готовые результаты работы — документы, таблицы, презентации и диаграммы, — которые затем оцениваются путём сравнения соревнующихся моделей друг с другом, при этом человеческая профессиональная работа служит опорной точкой шкалы[1].

GDPval-AA v2 выполняет публичный «золотой» (gold) поднабор из 220 задач GDPval внутри агентной песочницы, построенной на открытом harness Stirrup компании Artificial Analysis, и ранжирует модели по Elo-рейтингу, вычисленному из вслепую проводимых парных сравнений результатов моделей. В редакции v2 шкала Elo перезапущена так, что работы человеческих экспертов соответствуют примерно 1000 очкам[3]. GDPval-AA v2 — компонент с наибольшим весом в Artificial Analysis Intelligence Index (версии 4.1): его вклад составляет 20 %[4].

Предыстория

К 2025 году многие популярные оценки ИИ утратили способность различать frontier-модели. Классические академические наборы вроде MMLU и даже более сложные тесты вроде Humanity's Last Exam критиковались за то, что они измеряют экзаменационное вспоминание и абстрактное рассуждение, а не ту работу, за которую людям реально платят[5]. Чтобы закрыть этот разрыв, усилия в области оценок сместились от академических экзаменов к всё более прикладным, рыночно значимым задачам — исправлениям в программной инженерии, инженерии машинного обучения и фрилансерской работе, — вплоть до оценок, оценивающих целые профессиональные результаты труда[2].

GDPval стал вкладом OpenAI в этот сдвиг. Представленный в сентябре 2025 года и описанный в исследовательской работе под руководством Теджал Патвардхан (Tejal Patwardhan) и коллег, GDPval измеряет качество моделей на реальных экономически значимых задачах в 44 профессиях из 9 отраслей, дающих наибольший вклад в ВВП США[6]. Девять секторов отобраны потому, что каждый вносит свыше 5 % в ВВП США, а внутри каждого сектора выбраны пять самых высокооплачиваемых, преимущественно интеллектуальных профессий по данным Бюро статистики труда США и O*NET[2]. Полный набор содержит 1320 задач, из которых 220-задачный «золотой» поднабор (по пять задач на профессию) открыт вместе со справочными файлами и экспериментальным автоматическим оценщиком[6][7].

Каждая задача GDPval построена на репрезентативной работе отраслевых профессионалов со средним стажем 14 лет и прошла несколько раундов экспертной проверки[6]. В отличие от обычных текстовых промптов, задачи снабжены контекстом и вспомогательными файлами, а ожидаемые результаты охватывают документы, слайды, диаграммы, таблицы и мультимедиа[2]. В собственном исследовании OpenAI — где результаты моделей оценивались вслепую экспертами против работ людей — сильнейшей оказалась Claude Opus 4.1: она была оценена как не хуже или лучше отраслевых экспертов примерно на 47–48 % задач «золотого» поднабора и выделялась эстетикой (форматирование документов, вёрстка слайдов); на втором месте GPT-5 (high), лидировавшая по точности и следованию инструкциям; GPT-4o набрала около 12 %[2][8]. OpenAI также сообщила, что frontier-модели выполняют такие задачи примерно в 100 раз быстрее и в 100 раз дешевле, чем человеческие эксперты, оговорившись, что эти цифры покрывают только инференс модели и цены API, но не человеческий контроль и итерации, необходимые на практике[2].

От GDPval к GDPval-AA

Основной метод оценивания OpenAI опирался на платных человеческих экспертов: это точно, но медленно, дорого и не масштабируется на непрерывное независимое сравнение моделей. Artificial Analysis — независимая фирма по оценке ИИ — поэтому создала GDPval-AA, собственную систему оценки, которая выполняет открытый «золотой» поднабор GDPval на произвольной языковой модели и оценивает результаты автоматически[1]. GDPval-AA стал центральным элементом масштабного пересмотра Artificial Analysis Intelligence Index (версия 4.0), анонсированного в конце 2025 года и широко освещённого в январе 2026 года: несколько насытившихся бенчмарков заменили задачами, отражающими реальное использование моделей в корпорациях — как агентов, вызывающих инструменты, навигирующих по системам и собирающих составные результаты, а не отвечающих на одиночный промпт[5].

Чтобы выполнять задачи GDPval на произвольных моделях, Artificial Analysis выпустила открытый агентный фреймворк Stirrup[9]. Внутри Stirrup модель помещается в песочницу с исполнением кода (окружение E2B) и получает набор инструментов, которые она может вызывать по собственному усмотрению: веб-поиск (через Brave Search API, возвращающий первые результаты), инструмент web-fetch, извлекающий содержимое страниц в виде текста, а также доступ к шеллу и файловой системе[3]. Модель работает над задачей за множество ходов, пока не создаст требуемый результат. В первом поколении GDPval-AA агентам разрешалось до 100 ходов, а результаты оценивал единственный frontier-судья (Gemini 3 Pro), самопредпочтение которого Artificial Analysis проверяла на смещённость[10]. Поскольку все матчи анонимны и оцениваются лицом к лицу между конкурирующими моделями, итогом для каждой модели является Elo-рейтинг, а не «сырое» процентное значение[1].

Обновление v2

15 июня 2026 года Artificial Analysis обновила оценку до GDPval-AA v2 в составе Intelligence Index версии 4.1. Редакция внесла несколько методологических изменений[3][4]:

  • Перезапущенная шкала Elo. Очки перенастроены так, что работы человеческих экспертов соответствуют примерно 1000 Elo — это даёт числам прямую, интерпретируемую опорную точку: модели выше 1000 в среднем признаются превосходящими человеческих экспертов на этих задачах[3].
  • Панель судей. Единственный LLM-судья первой версии заменён ротационной панелью из трёх frontier-судей, что снижает влияние особенностей любого одного оценщика[3][4].
  • Более длинные горизонты. Лимит ходов на задачу увеличен со 100 до 250 с возможностью досрочного выхода, что позволяет агентам строить более длинные и сложные траектории[3][4].
  • Обновлённая песочница. Исполняющее окружение обновлено новыми и расширенными программными зависимостями, чтобы модели могли работать с более широким набором типов файлов и сценариев[3].

Для вклада в составной Intelligence Index Elo модели в GDPval-AA v2 фиксируется в момент добавления модели и нормализуется формулой clamp((Elo − 500) / 2000); фиксированный диапазон удерживает вклад каждой модели в индекс стабильным во времени, даже когда лидерборд меняется[3]. GDPval-AA v2 несёт вес 20 % — больше, чем любая другая отдельная оценка индекса, — впереди Terminal-Bench 2.1 (16 %) и τ³-Bench Banking (14 %)[4].

Краткое описание методологии

Ключевые свойства оценки можно резюмировать следующим образом[1][3]:

  • Набор задач. Публичный «золотой» поднабор GDPval из 220 задач, охватывающий документы, таблицы, слайды и диаграммы в финансах, здравоохранении, юриспруденции и других профессиональных областях.
  • Агентное исполнение. Каждая модель работает внутри harness Stirrup с доступом к шеллу, песочницей исполнения кода, веб-поиском и web fetch, до 250 ходов.
  • Оценивание. Результаты конкурирующих моделей сравниваются лицом к лицу на одной задаче; в каждом матче два результата анонимизируются, и панель LLM-судей выбирает победителя; эти вслепую полученные парные итоги агрегируются в Elo-рейтинг каждой модели.
  • Опорная точка. Шкала Elo привязана к работам человеческих экспертов на уровне ≈1000, поэтому лидерборд измеряет модели относительно квалифицированных профессионалов, а не в абсолютной процентной шкале.

Поскольку оценка выставляется целым файловым результатам, полученным через использование инструментов, а не коротким текстовым ответам, GDPval-AA v2 резко отличается от традиционных бенчмарков с множественным выбором или точным совпадением и предназначена для отслеживания практических, значимых для рабочего места способностей[1].

Результаты

По методологии v2 ведущие системы уверенно превосходят уровень человеческих экспертов (≈1000 Elo). На запуске v2 15 июня 2026 года Artificial Analysis сообщила о лидерстве Claude Fable 5 (с фолбэком на Claude Opus 4.8) на отметке 1818 Elo, далее Claude Opus 4.8 с 1638 и GPT-5.5 (xhigh) с 1531; Claude Fable 5 — модель, которая в настоящее время недоступна для использования[4]. На уровне полного Intelligence Index v4.1 картина совпала: Claude Fable 5 (с фолбэком) лидировала в целом, но была недоступна, что оставляло Claude Opus 4.8 самой интеллектуальной из общедоступных моделей, с небольшим отрывом впереди GPT-5.5[4].

Поскольку это живой относительный рейтинг, доска v2 меняется по мере добавления новых моделей. В июльском снимке 2026 года Claude Fable 5 (с фолбэком) держалась на уровне около 1756 Elo, а Claude Sonnet 5 поднялась на второе место; для текущего положения следует обращаться к живому лидерборду[1].

Две сосуществующие шкалы Elo. Постоянный источник путаницы в том, что Artificial Analysis публикует результаты GDPval-AA более чем в одной шкале Elo. Цифры v2 выше перенастраивают шкалу на работы человеческих экспертов на уровне ≈1000; в этой шкале Claude Opus 4.8 даёт около 1638. Однако более широкий самостоятельный лидерборд GDPval-AA использует исходную (не перенастроенную) шкалу, в которой Claude Opus 4.8 ведёт с примерно 1890 Elo — подразумеваемый выигрыш порядка 67 % занявшему второе место GPT-5.5 (xhigh), — достигнув этого показателя примерно на 15 % меньшим числом ходов и на 35 % меньшим числом выходных токенов на задачу, чем предшественница Claude Opus 4.7, при этом всё же тратя примерно на 30 % больше ходов, чем GPT-5.5[11]. Шкалы несопоставимы, поэтому любое значение GDPval-AA осмысленно только вместе со шкалой и датой, к которым оно относится.

Снимки лидербордов

Приведённые ниже две таблицы взяты из Artificial Analysis, но используют разные шкалы Elo; это снимки на фиксированный момент, меняющиеся довольно часто, — для текущего положения следует обращаться к живому лидерборду.

GDPval-AA v2 — перенастроенная шкала (человеческий эксперт ≈ 1000), снимок запуска от 15 июня 2026.[4]

Модель Elo (v2)
Claude Fable 5 (с фолбэком на Opus 4.8) — в настоящее время недоступна для использования 1818
Claude Opus 4.8 (Adaptive Reasoning, Max Effort) 1638
GPT-5.5 (xhigh) 1531
Работы человеческих экспертов — опорная точка шкалы   ≈ 1000

В более позднем июльском снимке 2026 года на той же шкале v2 Claude Fable 5 держалась примерно на 1756 Elo, а Claude Sonnet 5 (Adaptive Reasoning, Max Effort) поднялась на второе место.[1]

Самостоятельный лидерборд GDPval-AA — исходная шкала Elo, живой снимок от 1 июля 2026. Это более широкий публичный лидерборд на исходной шкале Artificial Analysis, использующий другую опорную точку, нежели привязанные к человеку цифры v2 выше, и потому несопоставимый с ними; показаны только верхние строки, и каждое значение Elo несёт 95 %-ный доверительный интервал примерно ±25–40 очков[1][11].

# Разработчик Модель Elo
1 Anthropic Claude Opus 4.8 (Adaptive Reasoning, Max Effort) 1890
2 OpenAI GPT-5.5 (xhigh) 1769
3 OpenAI GPT-5.5 (high) 1753
4 Anthropic Claude Opus 4.7 (Adaptive Reasoning, Max Effort) 1753
5 Anthropic Claude Opus 4.7 (Non-reasoning, High Effort) 1677
6 Anthropic Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort) 1676
7 OpenAI GPT-5.4 (xhigh) 1674
8 MiniMax MiniMax-M3 1668
9 Google Gemini 3.5 Flash (medium) 1658
10 Google Gemini 3.5 Flash (high) 1656
11 OpenAI GPT-5.5 (medium) 1649
12 Anthropic Claude Opus 4.6 (Adaptive Reasoning, Max Effort) 1619
Для ориентира — ниже по той же шкале:
33 Anthropic Claude Opus 4.5 (Reasoning) 1452
67 OpenAI GPT-5 (high) 1294
140 OpenAI GPT-5 (medium) 1000
312 OpenAI GPT-4o (Nov '24) 348

Примечание: на момент снимка самостоятельный лидерборд не содержал новейших ограниченных или превью-моделей (например Claude Fable 5 и Claude Sonnet 5), которые фигурируют на доске v2, используемой в Intelligence Index, — ещё одно свидетельство того, что оба лидерборда ведутся раздельно.[1][4]

Критика и ограничения

Как оценка, GDPval-AA v2 наследует и сильные стороны, и ограничения исходного набора GDPval, а также добавляет собственные.

  • Одноэтапные результаты, а не целые работы. Каждая задача — единственный, строго определённый результат, создаваемый за один проход; бенчмарк не отражает итерации, накопление контекста и работу с несколькими черновиками, характерные для реальной профессиональной деятельности. Сама OpenAI подаёт GDPval как первый шаг, не отражающий всей полноты многих экономических задач, и отмечает, что выигрыши в скорости и стоимости не учитывают необходимый на практике человеческий контроль и итерации[2]. Высокие баллы показывают, где модели могут помочь с рутинными «написываемыми» задачами, а не то, что профессию можно автоматизировать.
  • Ориентация на США и интеллектуальный труд по построению. Набор задач собран из секторов ВВП США, данных о профессиях США и результатов на английском языке, и намеренно исключает физический труд. Он измеряет конкретный срез цифрового интеллектуального труда, а не мировую экономику[2][6].
  • Модельное оценивание. Если OpenAI использовала платных экспертов, GDPval-AA опирается на LLM-судей, что ставит вопросы смещённости и самопредпочтения судьи. Artificial Analysis смягчает это анонимными парными сравнениями, а в v2 — панелью из трёх судей вместо одного; тем не менее собственный экспериментальный автооценщик OpenAI совпал с человеческими экспертами примерно в 66 % случаев против ~71 % совпадения между людьми, что показывает несовершенство автоматического оценивания[3][10][2].
  • Возможное смещение в пользу оформления. В исследовании OpenAI часть лидерства Claude Opus 4.1 объяснялась более аккуратным форматированием, а не содержательным превосходством. Парное судейство — человеческое или модельное — может поощрять эстетику, фактор, переносимый и на GDPval-AA[2].
  • Относительные, зависящие от шкалы и снимка баллы. Elo — относительная мера; рейтинги дрейфуют по мере роста парка моделей и числа матчей, а Artificial Analysis публикует результаты в двух несопоставимых шкалах (исходной самостоятельной и привязанной к человеку v2), в которых одна и та же модель может иметь очень разные значения. Сравнения между шкалами, судьями или датами поэтому ненадёжны[1][11].
  • Ограниченное публичное покрытие и недоступные лидеры. Оценка выполняется на 220-задачном поднаборе полного бенчмарка из 1320 задач, а верхушку доски v2 держит модель (Claude Fable 5), в настоящее время недоступная для использования, что осложняет прочтение доски как практического state of the art[6][4].

В более широком смысле GDPval-AA v2 измеряет экономическую продуктивность на уровне задач, а не научное рассуждение, оригинальность или общий интеллект; Artificial Analysis сочетает её с другими оценками именно потому, что высокий балл GDPval-AA не означает frontier-уровня в сложном рассуждении[5].

Значение и перспективы

GDPval-AA v2 отражает более широкий сдвиг оценки ИИ от насытившихся закрытых экзаменов к агентным задачам с готовыми результатами, напоминающим оплачиваемую работу.

  • Опорная точка, привязанная к труду. Привязав шкалу Elo к работам человеческих экспертов на уровне ≈1000, бенчмарк даёт интерпретируемый способ спросить, насколько близки модели к квалифицированным профессионалам на конкретных результатах, и отслеживать этот разрыв во времени[3].
  • Влияние на агрегированные рейтинги. Как компонент с наибольшим весом (20 %) Artificial Analysis Intelligence Index, GDPval-AA v2 существенно формирует то, как frontier-модели ранжируются и сравниваются в более широкой экосистеме[4].
  • Заземление дискуссии о влиянии на рынок труда. Заявленная цель GDPval от OpenAI — заземлить дискуссию об экономических эффектах ИИ в фактах, а не в спекуляциях; независимая, непрерывно обновляемая реализация расширяет эту цель за пределы одной лаборатории[2][5].
  • Открытые инструменты. Поскольку Stirrup выпущен как open source, harness, на котором выполняется оценка, может быть изучен, повторно использован и адаптирован другими исследователями, что поддерживает воспроизводимость[9].

Результаты на сегодня показывают, что сильнейшие системы находятся на уровне человеческих экспертов или выше на узком, строго определённом классе цифровых результатов работы, оставляя открытую оценку, сотрудничество и решение принципиально новых задач отдельными и в значительной мере неизмеренными рубежами.

Ссылки

См. также

Литература

  • Patwardhan, T. et al. (2025). GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks. arXiv:2510.04374.
  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 «GDPval-AA Leaderboard». Artificial Analysis. [1]
  2. ↑ 2,00 2,01 2,02 2,03 2,04 2,05 2,06 2,07 2,08 2,09 2,10 «Measuring the performance of our models on real-world tasks». OpenAI, 25 сентября 2025. [2]
  3. ↑ 3,00 3,01 3,02 3,03 3,04 3,05 3,06 3,07 3,08 3,09 3,10 «Artificial Analysis Intelligence Benchmarking Methodology». Artificial Analysis. [3]
  4. ↑ 4,00 4,01 4,02 4,03 4,04 4,05 4,06 4,07 4,08 4,09 4,10 «Announcing Artificial Analysis Intelligence Index v4.1: a shift toward agentic workloads». Artificial Analysis, 15 июня 2026. [4]
  5. ↑ 5,0 5,1 5,2 5,3 Nuñez, M. «Artificial Analysis overhauls its AI Intelligence Index, replacing popular benchmarks with 'real-world' tests». VentureBeat, январь 2026. [5]
  6. ↑ 6,0 6,1 6,2 6,3 6,4 Patwardhan, T., Dias, R., Proehl, E. et al. «GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks». arXiv:2510.04374, 2025. [6]
  7. ↑ «openai/gdpval». Hugging Face Datasets. [7]
  8. ↑ Barton, G. «Claude Opus 4.1 leads the pack in workplace tasks, outperforming even GPT-5 in OpenAI's own study». TechRadar, сентябрь 2025. [8]
  9. ↑ 9,0 9,1 «Stirrup». Artificial Analysis (GitHub). [9]
  10. ↑ 10,0 10,1 «Artificial Analysis: Independent LLM Evals as a Service». Latent Space, февраль 2026. [10]
  11. ↑ 11,0 11,1 11,2 «Claude Opus 4.8 — analysis and benchmarks». Artificial Analysis, май 2026. [11]