SWE-bench Verified

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

SWE-bench Verified — прошедшее человеческую валидацию подмножество из 500 задач бенчмарка программной инженерии SWE-bench, созданное для более надёжной оценки способности больших языковых моделей (LLM) и агентных систем программирования решать реальные задачи разработки программного обеспечения[1][2]. Подмножество было выпущено 13 августа 2024 года командой OpenAI Preparedness в сотрудничестве с первоначальными авторами SWE-bench из Принстонского университета и предназначалось для устранения задач исходного бенчмарка, которые были недоопределены, некорректно проверялись или неразрешимы в поставленной формулировке[1][3]. С конца 2024 года по начало 2026 года SWE-bench Verified стал фактическим стандартом отчётности о возможностях агентных систем программирования, вытеснив исходные наборы SWE-bench и SWE-bench Lite[1]. Однако в феврале 2026 года OpenAI прекратила публиковать результаты на SWE-bench Verified, сославшись на широкое загрязнение обучающих данных и высокую долю дефектных тестовых случаев, и рекомендовала другим разработчикам перейти на более сложные и устойчивые к загрязнению преемники, такие как публичный сплит SWE-bench Pro[4].

Предыстория и мотивация

Исходный SWE-bench, представленный исследователями Принстона в 2023 году, оценивает модели на 2 294 реальных задачах GitHub, парных с исправившими их pull-request'ами и взятых из 12 популярных open-source Python-репозиториев[5]. В каждой задаче модель получает описание проблемы и снимок репозитория и должна сгенерировать патч, после применения которого проходят скрытые тесты проекта[5]. По мере появления результатов оценок OpenAI и другие выявили, что существенная доля задач проблематична: некоторые скрытые юнит-тесты были настолько специфичны, что отвергали иным образом корректные патчи, некоторые описания проблем были слишком расплывчатыми для однозначного решения, а часть задач оказывалась нерешаемой из-за проблем настройки окружения, из-за которых корректные решения не проходили тесты[1][3].

Интерес OpenAI к бенчмарку был обусловлен её Preparedness Framework, в рамках которого способность автономно выполнять задачи программной инженерии рассматривается как опережающий индикатор автономности модели и как компонент относящейся к автономности категории рисков фреймворка[1]. Поскольку завышенная или заниженная оценка автономности могла бы искажать оценку рисков, команда пришла к выводу, что саму процедуру оценки необходимо очистить, что и мотивировало создание SWE-bench Verified[1].

Построение и методология

Для построения Verified OpenAI провела кампанию ручной разметки с участием 93 профессиональных разработчиков с опытом работы в Python, которые проверили 1 699 случайно отобранных задач SWE-bench — каждую независимо рассматривали три аннотатора, — на предмет корректной постановки задачи и честного охвата тестов[1][2]. Задачи, помеченные как недоопределённые, нечестно проверяемые или иным образом проблемные, были отброшены (около 68 % просмотренных), в результате чего остался курируемый набор из 500 задач, по-прежнему взятых из тех же 12 Python-репозиториев, для которых успешно применённый патч можно интерпретировать со существенно более высокой уверенностью, чем в исходном бенчмарке, — хотя последующий аудит OpenAI показал, что часть дефектных тестов осталась[1][4]. Вместе с подмножеством OpenAI опубликовала человеческие аннотации для всего тестового набора SWE-bench, позволяющие разбивать задачи по сложности: уровень «лёгкий» включает 196 задач, которые, по оценкам, требуют от разработчика менее 15 минут, а уровень «сложный» — 45 задач, требующих более часа[1]. Команда также совместно с авторами SWE-bench создала новый harness на основе Docker, запускающий каждую задачу в контейнеризованном окружении, чтобы упростить воспроизведение результатов[1].

Оценка следует той же схеме, что и SWE-bench: модель или агент генерирует патч, который применяется и проверяется на fail-to-pass-тестах задачи (которые должны начать проходить) и регрессионных pass-to-pass-тестах (которые должны продолжать проходить)[1]. Стандартной метрикой является pass@1; поскольку вывод моделей стохастичен, она обычно вычисляется выборкой нескольких кандидатных патчей на задачу и усреднением доли успешных экземпляров, при этом в системных картах OpenAI усреднение ведётся по четырём-пяти попыткам[3]. Первоначальная реализация OpenAI использовала open-source-скаффолд Agentless, поскольку ранние модели не имели инструментов исполнения кода; так как опубликованный результат отражает и саму модель, и окружающий её агентный скаффолд, разные лаборатории оценивают модели в разных окружениях, что усложняет прямое сравнение[3][1].

Принятие и результаты

SWE-bench Verified быстро стал доминирующей целью отчётности для передовых моделей программирования. На запуске в августе 2024 года GPT-4o от OpenAI решала 33,2 % задач с лучшим доступным open-source-скаффолдом, примерно вдвое больше, чем на исходном SWE-bench[1]. Затем результаты стремительно росли, но к началу 2026 года прогресс на вершине замедлился: по данным OpenAI, лучшие результаты выросли лишь примерно с 75 % до 81 % за предшествующие полгода, что свидетельствовало о насыщении бенчмарка на переднем крае[4]. На отслеживаемых лидербордах несколько ведущих моделей из разных лабораторий сгруппировались с разницей около одного пункта вблизи 80 %, так что метрика больше не разделяла чётко сильнейшие системы[6]. Циркулировали и более высокие заявленные производителями показатели — в диапазоне от высоких 80 % до примерно 90 %, — но, поскольку они были получены с другими скаффолдами, инструментами и вычислительными бюджетами оценки, они напрямую не сопоставимы с отслеживаемыми стандартизированными результатами[4][6].

Загрязнение данных, дефекты тестов и отказ от бенчмарка

В конечном счёте бенчмарк подорвали две структурные проблемы. Первой стали дефектные тесты. В начале 2026 года OpenAI проверила 138 задач, которые её модель o3 не смогла стабильно решить за 64 независимых прогона (подмножество в 27,6 % набора); каждый случай рассматривали не менее шести инженеров, и было установлено, что 59,4 % содержат существенные дефекты в тестах или постановках задач[4]. Эти дефекты разделились на два основных типа: «узкие» тесты (35,5 % проверенных задач), которые навязывают конкретные детали реализации и отвергают иным образом корректные решения, и «широкие» тесты (18,8 %), которые проверяют поведение, вообще не упомянутое в описании задачи; оставшиеся 5,1 % имели прочие проблемы[4].

Второй проблемой стало загрязнение обучающих данных. Поскольку задачи Verified взяты из публичных Python-репозиториев, чьи проблемы и исправления появились раньше бенчмарка, соответствующий код попал в обучающие данные моделей. С помощью автоматизированной настройки red-teaming, в которой модель-зонд получала идентификаторы задач и в некоторых случаях подсказки из описания, OpenAI обнаружила, что каждая проверенная передовая модель (включая GPT-5.2, Claude Opus 4.5 и Gemini 3 Flash) способна воспроизвести дословные эталонные патчи или специфичные для задач детали для некоторых задач; в самом крайнем случае модель выдала точный эталонный diff по одному лишь идентификатору задачи[4]. OpenAI заключила, что прирост на бенчмарке всё больше отражает встречаемость при обучении, а не реальные способности, и что модели, видевшие задачу при обучении, чаще проходят её недоопределённые тесты[4].

23 февраля 2026 года OpenAI объявила, что прекратила публикацию результатов SWE-bench Verified, и рекомендовала другим разработчикам сделать то же, указав им вместо этого на публичный сплит SWE-bench Pro и частно составленные оценки вроде GDPval[4]. Большой разрыв между бенчмарками для одних и тех же моделей — когда одинаковые передовые модели показывают на устойчивом к загрязнению публичном сплите Pro гораздо более низкие результаты, часто на 30 и более процентных пунктов, — был приведён как прямое свидетельство искажения[4][6].

Значение

Несмотря на выход из использования в качестве передовой метрики, SWE-bench Verified оказал длительное влияние на измерение возможностей ИИ в программировании. Он закрепил человеческую валидацию задач и контейнеризованные воспроизводимые harness'ы как ожидания для серьёзных бенчмарков кода и более года оставался единственной цифрой, которую чаще всего цитировали при сравнении агентных систем программирования[1][6]. Его упадок стал поучительным примером деградации бенчмарка: OpenAI представила эту историю как урок о том, что бенчмарки, собранные из публичного кода, несут присущий им риск загрязнения, а автоматическую проверку тестами сложно выполнить корректно; это ускорило переход области к устойчивым к загрязнению и частно составляемым оценкам[4].

Ссылки

Литература

  • Jimenez, C. E. et al. (2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. arXiv:2310.06770.
  • Deng, X. et al. (2025). SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?. arXiv:2509.16941.

См. также

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 "Introducing SWE-bench Verified". OpenAI. [1]
  2. ↑ 2,0 2,1 "SWE-bench Verified". SWE-bench. [2]
  3. ↑ 3,0 3,1 3,2 3,3 "OpenAI o1 System Card". arXiv. [3]
  4. ↑ 4,00 4,01 4,02 4,03 4,04 4,05 4,06 4,07 4,08 4,09 4,10 "Why SWE-bench Verified no longer measures frontier coding capabilities". OpenAI. [4]
  5. ↑ 5,0 5,1 Jimenez, Carlos E. et al. "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?". arXiv. [5]
  6. ↑ 6,0 6,1 6,2 6,3 "SWE-bench Pro Leaderboard (2026)". Morph LLM. [6]