---
title: "SWE-bench Verified"
source: "https://systems-analysis.info/wiki/SWE-bench_Verified"
wiki: "systems-analysis.info/wiki"
article: "SWE-bench_Verified"
language: "ru"
categories:
  - "Категория:AI-агенты"
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3748
wiki_created_at: 2026-11-19T08:15:47Z
wiki_modified_at: 2026-11-19T10:20:07Z
downloaded_at: 2026-11-19T10:26:15Z
---

# SWE-bench Verified

**SWE-bench Verified** — прошедшее **человеческую валидацию** подмножество из **500 задач** бенчмарка программной инженерии **[SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")**, созданное для более надёжной оценки способности [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM) и **агентных систем программирования** решать реальные задачи разработки программного обеспечения<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-swebench-verified-2)</sup>. Подмножество было выпущено **13 августа 2024 года** командой [OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI") Preparedness в сотрудничестве с первоначальными авторами SWE-bench из Принстонского университета и предназначалось для устранения задач исходного бенчмарка, которые были **недоопределены**, **некорректно проверялись** или **неразрешимы в поставленной формулировке**<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[3\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-o1-systemcard-3)</sup>. С конца 2024 года по начало 2026 года SWE-bench Verified стал **фактическим стандартом** отчётности о возможностях агентных систем программирования, вытеснив исходные наборы SWE-bench и SWE-bench Lite<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>. Однако в **феврале 2026 года** OpenAI прекратила публиковать результаты на SWE-bench Verified, сославшись на широкое **загрязнение обучающих данных** и высокую долю **дефектных тестовых случаев**, и рекомендовала другим разработчикам перейти на более сложные и устойчивые к загрязнению преемники, такие как публичный сплит [SWE-bench Pro](https://systems-analysis.info/wiki/SWE-bench_Pro "SWE-bench Pro")<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>.

## Предыстория и мотивация

Исходный **[SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")**, представленный исследователями Принстона в 2023 году, оценивает модели на **2 294 реальных задачах GitHub**, парных с исправившими их pull-request'ами и взятых из **12 популярных open-source Python-репозиториев**<sup>[\[5\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-jimenez-swebench-5)</sup>. В каждой задаче модель получает описание проблемы и снимок репозитория и должна сгенерировать **патч**, после применения которого проходят скрытые тесты проекта<sup>[\[5\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-jimenez-swebench-5)</sup>. По мере появления результатов оценок OpenAI и другие выявили, что существенная доля задач **проблематична**: некоторые скрытые юнит-тесты были настолько специфичны, что отвергали иным образом корректные патчи, некоторые описания проблем были слишком расплывчатыми для однозначного решения, а часть задач оказывалась нерешаемой из-за проблем настройки окружения, из-за которых корректные решения не проходили тесты<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[3\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-o1-systemcard-3)</sup>.

Интерес OpenAI к бенчмарку был обусловлен её **Preparedness Framework**, в рамках которого способность автономно выполнять задачи программной инженерии рассматривается как **опережающий индикатор автономности модели** и как компонент относящейся к автономности категории рисков фреймворка<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>. Поскольку завышенная или заниженная оценка автономности могла бы искажать оценку рисков, команда пришла к выводу, что саму процедуру оценки необходимо очистить, что и мотивировало создание SWE-bench Verified<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>.

## Построение и методология

Для построения Verified OpenAI провела кампанию ручной разметки с участием **93 профессиональных разработчиков** с опытом работы в Python, которые проверили **1 699** случайно отобранных задач SWE-bench — каждую независимо рассматривали **три аннотатора**, — на предмет корректной постановки задачи и честного охвата тестов<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-swebench-verified-2)</sup>. Задачи, помеченные как недоопределённые, нечестно проверяемые или иным образом проблемные, были отброшены (около **68 %** просмотренных), в результате чего остался курируемый набор из **500 задач**, по-прежнему взятых из тех же 12 Python-репозиториев, для которых успешно применённый патч можно интерпретировать со **существенно более высокой уверенностью**, чем в исходном бенчмарке, — хотя последующий аудит OpenAI показал, что часть дефектных тестов осталась<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>. Вместе с подмножеством OpenAI опубликовала **человеческие аннотации** для всего тестового набора SWE-bench, позволяющие разбивать задачи по сложности: уровень **«лёгкий»** включает 196 задач, которые, по оценкам, требуют от разработчика менее 15 минут, а уровень **«сложный»** — 45 задач, требующих более часа<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>. Команда также совместно с авторами SWE-bench создала новый **harness на основе Docker**, запускающий каждую задачу в контейнеризованном окружении, чтобы упростить воспроизведение результатов<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>.

Оценка следует той же схеме, что и SWE-bench: модель или агент генерирует патч, который применяется и проверяется на **fail-to-pass**-тестах задачи (которые должны начать проходить) и регрессионных **pass-to-pass**-тестах (которые должны продолжать проходить)<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>. Стандартной метрикой является **pass@1**; поскольку вывод моделей стохастичен, она обычно вычисляется выборкой нескольких кандидатных патчей на задачу и усреднением доли успешных экземпляров, при этом в системных картах OpenAI усреднение ведётся по четырём-пяти попыткам<sup>[\[3\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-o1-systemcard-3)</sup>. Первоначальная реализация OpenAI использовала open-source-скаффолд **Agentless**, поскольку ранние модели не имели инструментов исполнения кода; так как опубликованный результат отражает и саму модель, и окружающий её **агентный скаффолд**, разные лаборатории оценивают модели в разных окружениях, что усложняет прямое сравнение<sup>[\[3\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-o1-systemcard-3)[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>.

## Принятие и результаты

SWE-bench Verified быстро стал **доминирующей целью отчётности** для передовых моделей программирования. На запуске в августе 2024 года [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") от OpenAI решала **33,2 %** задач с лучшим доступным open-source-скаффолдом, примерно вдвое больше, чем на исходном SWE-bench<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)</sup>. Затем результаты стремительно росли, но к началу 2026 года прогресс на вершине **замедлился**: по данным OpenAI, лучшие результаты выросли лишь примерно с **75 % до 81 %** за предшествующие полгода, что свидетельствовало о **насыщении** бенчмарка на переднем крае<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>. На отслеживаемых лидербордах несколько ведущих моделей из разных лабораторий сгруппировались с разницей около одного пункта вблизи **80 %**, так что метрика больше не разделяла чётко сильнейшие системы<sup>[\[6\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-morph-swebench-6)</sup>. Циркулировали и более высокие **заявленные производителями** показатели — в диапазоне от высоких 80 % до примерно 90 %, — но, поскольку они были получены с другими скаффолдами, инструментами и вычислительными бюджетами оценки, они напрямую не сопоставимы с отслеживаемыми стандартизированными результатами<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)[\[6\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-morph-swebench-6)</sup>.

## Загрязнение данных, дефекты тестов и отказ от бенчмарка

В конечном счёте бенчмарк подорвали две структурные проблемы. Первой стали **дефектные тесты**. В начале 2026 года OpenAI проверила **138 задач**, которые её модель [o3](https://systems-analysis.info/wiki/OpenAI_o3 "OpenAI o3") не смогла стабильно решить за 64 независимых прогона (подмножество в **27,6 %** набора); каждый случай рассматривали не менее шести инженеров, и было установлено, что **59,4 %** содержат существенные дефекты в тестах или постановках задач<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>. Эти дефекты разделились на два основных типа: **«узкие» тесты** (35,5 % проверенных задач), которые навязывают конкретные детали реализации и отвергают иным образом корректные решения, и **«широкие» тесты** (18,8 %), которые проверяют поведение, вообще не упомянутое в описании задачи; оставшиеся 5,1 % имели прочие проблемы<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>.

Второй проблемой стало **загрязнение обучающих данных**. Поскольку задачи Verified взяты из публичных Python-репозиториев, чьи проблемы и исправления появились раньше бенчмарка, соответствующий код попал в обучающие данные моделей. С помощью автоматизированной настройки **red-teaming**, в которой модель-зонд получала идентификаторы задач и в некоторых случаях подсказки из описания, OpenAI обнаружила, что каждая проверенная передовая модель (включая [GPT-5.2](https://systems-analysis.info/wiki/GPT-5.2 "GPT-5.2"), [Claude Opus 4.5](https://systems-analysis.info/wiki/Claude_Opus_4.5 "Claude Opus 4.5") и [Gemini 3 Flash](https://systems-analysis.info/wiki/Gemini_3_Flash "Gemini 3 Flash")) способна воспроизвести **дословные эталонные патчи** или специфичные для задач детали для некоторых задач; в самом крайнем случае модель выдала точный эталонный diff по одному лишь идентификатору задачи<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>. OpenAI заключила, что прирост на бенчмарке всё больше отражает **встречаемость при обучении**, а не реальные способности, и что модели, видевшие задачу при обучении, чаще проходят её недоопределённые тесты<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>.

**23 февраля 2026 года** OpenAI объявила, что **прекратила публикацию** результатов SWE-bench Verified, и рекомендовала другим разработчикам сделать то же, указав им вместо этого на публичный сплит **[SWE-bench Pro](https://systems-analysis.info/wiki/SWE-bench_Pro "SWE-bench Pro")** и частно составленные оценки вроде [GDPval](https://systems-analysis.info/wiki/GDPval-AA_v2 "GDPval-AA v2")<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>. Большой разрыв между бенчмарками для одних и тех же моделей — когда одинаковые передовые модели показывают на устойчивом к загрязнению публичном сплите Pro гораздо более низкие результаты, часто на 30 и более процентных пунктов, — был приведён как прямое свидетельство искажения<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)[\[6\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-morph-swebench-6)</sup>.

## Значение

Несмотря на выход из использования в качестве передовой метрики, SWE-bench Verified оказал длительное влияние на измерение возможностей ИИ в программировании. Он закрепил **человеческую валидацию** задач и **контейнеризованные воспроизводимые harness'ы** как ожидания для серьёзных бенчмарков кода и более года оставался единственной цифрой, которую чаще всего цитировали при сравнении агентных систем программирования<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-verified-1)[\[6\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-morph-swebench-6)</sup>. Его упадок стал поучительным **примером деградации бенчмарка**: OpenAI представила эту историю как урок о том, что бенчмарки, собранные из публичного кода, несут присущий им **риск загрязнения**, а автоматическую проверку тестами сложно выполнить корректно; это ускорило переход области к **устойчивым к загрязнению** и **частно составляемым** оценкам<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_note-openai-deprecation-4)</sup>.

## Ссылки

- <a href="https://openai.com/index/introducing-swe-bench-verified/" class="external text" rel="nofollow">Introducing SWE-bench Verified — OpenAI</a>
- <a href="https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/" class="external text" rel="nofollow">Why SWE-bench Verified no longer measures frontier coding capabilities — OpenAI</a>
- <a href="https://www.swebench.com/verified.html" class="external text" rel="nofollow">SWE-bench Verified page and leaderboard</a>
- <a href="https://huggingface.co/datasets/princeton-nlp/SWE-bench_Verified" class="external text" rel="nofollow">SWE-bench Verified dataset on Hugging Face</a>
- <a href="https://aiwiki.ai/wiki/swe-bench_verified" class="external text" rel="nofollow">SWE-bench Verified</a> — AI Wiki
- <a href="https://en.wikipedia.org/wiki/SWE-bench" class="external text" rel="nofollow">SWE-bench</a> в английской Википедии (статья о базовом бенчмарке; отдельной статьи о SWE-bench Verified нет)
- <a href="https://systems-analysis.info/eng/SWE-bench_Verified" class="external text" rel="nofollow">SWE-bench Verified</a> — англоязычная версия на Systems Analysis Wiki

## Литература

- Jimenez, C. E. et al. (2023). *SWE-bench: Can Language Models Resolve Real-World GitHub Issues?*. <a href="https://arxiv.org/abs/2310.06770" class="external text" rel="nofollow">arXiv:2310.06770</a>.
- Deng, X. et al. (2025). *SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?*. <a href="https://arxiv.org/abs/2509.16941" class="external text" rel="nofollow">arXiv:2509.16941</a>.

## См. также

- [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")
- [SWE-bench Pro](https://systems-analysis.info/wiki/SWE-bench_Pro "SWE-bench Pro")
- [GDPval-AA v2](https://systems-analysis.info/wiki/GDPval-AA_v2 "GDPval-AA v2")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")

## Примечания

1.  <span id="cite_note-openai-verified-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-verified_1-13)</sup> "Introducing SWE-bench Verified". *OpenAI*. <a href="https://openai.com/index/introducing-swe-bench-verified/" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-swebench-verified-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-swebench-verified_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-swebench-verified_2-1)</sup> "SWE-bench Verified". *SWE-bench*. <a href="https://www.swebench.com/verified.html" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-o1-systemcard-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-o1-systemcard_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-o1-systemcard_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-o1-systemcard_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-o1-systemcard_3-3)</sup> "OpenAI o1 System Card". *arXiv*. <a href="https://arxiv.org/abs/2412.16720" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-openai-deprecation-4">↑ <sup>[4,00](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-0)</sup> <sup>[4,01](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-1)</sup> <sup>[4,02](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-2)</sup> <sup>[4,03](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-3)</sup> <sup>[4,04](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-4)</sup> <sup>[4,05](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-5)</sup> <sup>[4,06](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-6)</sup> <sup>[4,07](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-7)</sup> <sup>[4,08](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-8)</sup> <sup>[4,09](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-9)</sup> <sup>[4,10](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-openai-deprecation_4-10)</sup> "Why SWE-bench Verified no longer measures frontier coding capabilities". *OpenAI*. <a href="https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-jimenez-swebench-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-jimenez-swebench_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-jimenez-swebench_5-1)</sup> Jimenez, Carlos E. et al. "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?". *arXiv*. <a href="https://arxiv.org/abs/2310.06770" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-morph-swebench-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-morph-swebench_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-morph-swebench_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-morph-swebench_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/SWE-bench_Verified#cite_ref-morph-swebench_6-3)</sup> "SWE-bench Pro Leaderboard (2026)". *Morph LLM*. <a href="https://www.morphllm.com/swe-bench-pro" class="external autonumber" rel="nofollow">[6]</a></span>
