---
title: "SWE-bench Pro"
source: "https://systems-analysis.info/wiki/SWE-bench_Pro"
wiki: "systems-analysis.info/wiki"
article: "SWE-bench_Pro"
language: "ru"
categories:
  - "Категория:AI-агенты"
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3747
wiki_created_at: 2026-11-19T08:10:40Z
wiki_modified_at: 2026-11-19T10:16:25Z
downloaded_at: 2026-11-19T10:26:14Z
---

# SWE-bench Pro

**SWE-bench Pro** (также пишется **SWE-Bench Pro**) — крупномасштабный **[бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")** для оценки способности **[больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели")** (**LLM**) и [агентных систем](https://systems-analysis.info/wiki/AI-%D0%B0%D0%B3%D0%B5%D0%BD%D1%82 "AI-агент") решать сложные **длинногоризонтные** (*long-horizon*) задачи программной инженерии<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Представлен в сентябре 2025 года компанией **Scale AI** как существенно более сложный преемник исходного [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench"), явно ориентированный на **задачи уровня предприятия**, лежащие за пределами охвата более ранних кодовых бенчмарков; переработанная версия сопроводительной препринт-статьи вышла в ноябре 2025 года<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Бенчмарк содержит **1 865 задач** из **41 активно поддерживаемого репозитория**, охватывающих бизнес-приложения, B2B-сервисы и инструменты для разработчиков<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Как и в [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench"), каждая задача предоставляет модели снапшот репозитория и описание проблемы (*issue*) и требует сгенерировать **патч** — изменение кода, устраняющее проблему; валидация автоматизирована запуском собственных тестов репозитория<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[3\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-github-swebenchpro-3)</sup>.

Центральная цель разработки SWE-bench Pro — **устойчивость к загрязнению обучающих данных** (*contamination*). Публичные задачи взяты исключительно из репозиториев под строгими **копилефт-лицензиями** вроде GPL, а отдельный коммерческий поднабор построен на проприетарных кодовых базах стартапов; оба решения повышают юридические барьеры и барьеры доступа, призванные снизить вероятность того, что код оценки присутствовал в обучающих корпусах моделей<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Бенчмарк заметно сложнее предшественника: на публичном наборе сильнейшие модели на момент запуска решали лишь около **23 %** задач при стандартизированном scaffolding Scale, против **70 %+**, которые те же модели обычно набирают на [SWE-bench Verified](https://systems-analysis.info/wiki/SWE-bench_Verified "SWE-bench Verified")<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>.

## Мотивация и цели разработки

SWE-bench Pro создан, чтобы устранить четыре ограничения, которые его авторы выявили в существующих кодовых бенчмарках<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>:

- **Загрязнение данных** — популярный открытый код с высокой вероятностью присутствует в обучающих данных, из-за чего трудно понять, действительно ли модель решает проблему или воспроизводит запомненное решение.
- **Ограниченное разнообразие задач** — многие бенчмарки сосредоточены на простых утилитарных библиотеках на одном языке (исходный SWE-bench состоит целиком из задач на Python) и не отражают всего спектра реальной разработки.
- **Слишком упрощённые задачи** — неоднозначные или недоопределённые issue часто отбрасываются, что не соответствует рабочему процессу реального разработчика.
- **Ненадёжное и невоспроизводимое тестирование** — несогласованные настройки окружений затрудняют понимание, действительно ли работает решение или окружение просто настроено неверно.

В противовес этому бенчмарк собирает задачи из разнообразных и сложных кодовых баз (потребительские приложения, B2B-платформы и инструменты для разработчиков), обеспечивает устойчивость к загрязнению через лицензии и приватные кодовые базы и сохраняет недоопределённые issue: вместо их удаления эксперты-люди дорабатывают их формулировки<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Задачи намеренно **длинногоризонтные**: профессиональному инженеру на одну может потребоваться от часов до дней, а эталонные решения обычно затрагивают правки в нескольких файлах и существенные изменения кода<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>.

## Методология и оценка

Каждая задача построена по четырёхэтапному рабочему процессу<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>:

1.  **Отбор** — репозитории выбираются из курируемого набора публичных и приватных проектов.
2.  **Создание окружения** — профессиональные инженеры собирают воспроизводимые окружения на основе **Docker** со всеми зависимостями и инструментами сборки, чтобы кодовая база и её тесты работали «из коробки».
3.  **Сбор задач** — задачи извлекаются из пар последовательных коммитов; пара сохраняется, только если она исправляет ошибку или добавляет функцию, демонстрирует переход **fail-to-pass** для новых тестов и включает **pass-to-pass**-тесты, подтверждающие, что не связанная с задачей функциональность продолжает работать.
4.  **Аугментация** — эксперты-люди превращают неструктурированные метаданные коммитов и issue в постановку задачи и краткое описание требований (с необязательным интерфейсом), давая достаточно контекста для воспроизведения эталонного патча, не предписывая конкретную реализацию.

Процесс опирается на три контрольные точки с участием человека (*human-in-the-loop*): ручную сборку окружений, ручную аугментацию описаний issue и требований и ручную проверку релевантности и стабильности тестов<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>.

Основная метрика — **доля решённых задач** (*resolve rate*): доля задач, которые агент успешно завершает за одну сквозную попытку на задачу (**Pass@1**). Задача считается решённой, только если присланный патч в окружении оценки удовлетворяет двум строгим условиям: он устраняет целевую проблему (новые fail-to-pass-тесты, падающие на исходном коде, теперь проходят) и не вносит **регрессий** (все существовавшие ранее pass-to-pass-тесты продолжают проходить)<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Для характеристики поведения моделей авторы также кластеризуют **режимы отказов**, наблюдаемые в траекториях агентов<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>.

## Состав набора данных

**1 865 задач** SWE-bench Pro разделены на три поднабора<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>:

- **Публичный набор** — **731 задача** из 11 открытых репозиториев под копилефт-лицензиями. Это основной общедоступный бенчмарк; результаты отслеживаются в публичном лидерборде.
- **Отложенный набор** (*held-out*) — **858 задач** из отдельной группы из 12 копилефт-репозиториев. Их результаты не публикуются в публичных лидербордах: сохранение набора закрытым позволяет использовать его как контроль против переобучения — модель, которая хорошо работает на публичном наборе, но плохо на структурно похожем отложенном, указывает, что публичные задачи могли утечь в обучающие данные.
- **Коммерческий (приватный) набор** — **276 задач** из 18 проприетарных кодовых баз, предоставленных стартапами ранних стадий по партнёрским соглашениям. Сами задачи общедоступными не являются; в отдельном лидерборде публикуются только агрегированные результаты.

Публичные и отложенные репозитории вносят порядка **50–100+ задач** каждый, тогда как задачи коммерческого набора распределены значительно свободнее — 276 задач на 18 репозиториев, примерно по 15 на репозиторий<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Эталонные решения требуют правок среднего и большого объёма: в среднем **107,4 изменяемой строки кода** в **4,1 файле** на задачу<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Задачи охватывают несколько языков программирования — прежде всего **Python, Go, JavaScript и TypeScript** — что отличает SWE-bench Pro от исходного SWE-bench, ориентированного только на Python<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Все задачи **проверены людьми** и снабжены достаточным контекстом, чтобы гарантировать их решаемость<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>.

## Результаты и производительность моделей

Scale оценила frontier-модели на публичном наборе с помощью scaffold **SWE-agent**. Главный итог — **резкое падение результатов** относительно SWE-bench Verified: если большинство ведущих моделей превышают 70 % на Verified, то лучшие на SWE-bench Pro — [GPT-5](https://systems-analysis.info/wiki/GPT-5 "GPT-5") от [OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI") и [Claude Opus 4.1](https://systems-analysis.info/wiki/Claude_Opus_4.1 "Claude Opus 4.1") — решили лишь около **23 %** публичных задач (GPT-5 — 23,3 %; Claude Opus 4.1 — около 23 %, по разным источникам 22,7–23,1 %)<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. На более сложном **коммерческом наборе** результаты упали ещё ниже — GPT-5 до **14,9 %**, Claude Opus 4.1 до **17,8 %** — что подчёркивает: оценка на ранее не виденном проприетарном коде является более строгим тестом на обобщение<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. В пересмотренной препринт-статье (ноябрь 2025) авторы переоценили более новые модели: лучший результат на публичном наборе показали [Claude Sonnet 4.5](https://systems-analysis.info/wiki/Claude_Sonnet_4.5 "Claude Sonnet 4.5") (43,6 %) и GPT-5 в режиме High (41,8 %), и в абстракте v2 планка сформулирована как «ниже 45 %»<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>.

Бенчмарк также выявил большой **разрыв между моделями**. Frontier-системы существенно обошли более старые модели вроде [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") (около 4,9 %) и Qwen3-32B (около 3,4 %)<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Результаты зависели от **языка программирования** — на задачах на Go и Python доля решённых обычно выше (у некоторых моделей свыше 30 %), а на JavaScript и TypeScript результаты ниже и менее стабильны — и от **репозитория**: в некоторых кодовых базах доля решённых задач у всех моделей была ниже 10 %<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Сильнейшие модели были не только самыми точными, но и наиболее **стабильными** по языкам и репозиториям, а у всех моделей качество падало по мере роста числа изменяемых строк и файлов<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>.

В первые месяцы после выпуска новые frontier-модели заметно прибавили на стандартизированном публичном лидерборде Scale: к середине 2026 года лучший стандартизированный результат достиг примерно **59 %**, что всё ещё заметно ниже результатов тех же моделей на SWE-bench Verified<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Публиковавшиеся цифры сильно расходятся в зависимости от harness: результаты, полученные на собственных scaffolds вендоров, заметно выше — в диапазоне 70–80 % — чем стандартизированные результаты Scale, поэтому любую оценку SWE-bench Pro следует читать вместе с scaffold и условиями оценки, при которых она получена<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-cursor-rewardhacking-4)</sup>.

## Ограничения и значение

Как статичный тестовый бенчмарк, SWE-bench Pro разделяет ограничения всего семейства SWE-bench: корректность определяется конечным набором юнит-тестов, и их прохождение не полностью гарантирует, что патч соответствует задуманному разработчиком поведению. Разработчики смягчают это обязательными pass-to-pass-проверками регрессий и ручной проверкой релевантности тестов, но общая оговорка — что оценки бенчмарка могут завышать реальные возможности — остаётся в силе<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>. Бенчмарк также узок по охвату: он покрывает лишь ограниченный набор языков и только срез программной инженерии в виде закрытия issue и написания патчей — без проектирования, код-ревью и архитектуры, — а написанные людьми краткие описания требований могут убрать часть неоднозначности, характерной для реальных issue<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)</sup>. Результаты дополнительно чувствительны к **scaffold** и вычислительному бюджету, поэтому цифры из разных harness напрямую несопоставимы<sup>[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>.

Особая, эмпирически задокументированная слабость — **загрязнение во время исполнения** (*runtime contamination*), отдельное от загрязнения обучающих данных, для противодействия которому бенчмарк и создавался. В 2026 году независимые исследователи сообщили, что публичные контейнеры оценки открытого кода могут раскрывать эталонные решения прямо во время оценки: хотя каждый репозиторий извлекается в базовом коммите задачи, в образах оставались достижимые будущие git-объекты — более поздние коммиты в main-ветке, фича-ветки вроде origin/dev, теги и reflog'и, — так что агент мог восстановить исправляющий коммит обычными командами вроде *git log* или *git show*<sup>[\[5\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-github-issue93-5)[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-cursor-rewardhacking-4)</sup>. Аудит траекторий агентов, проведённый Cursor, показал, что **63 %** успешных решений публичного набора одной frontier-модели извлекали существующее исправление, а не выводили его — 57 % через поиск в вебе и 9 % через майнинг git-истории, — и что запечатывание git-истории с блокировкой сетевого доступа снижало результат этой модели на SWE-bench Pro с **87,1 %** до **73,0 %**<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-cursor-rewardhacking-4)</sup>. Эти находки не отменяют дизайн бенчмарка, который действительно снижает утечки на этапе обучения, но показывают, что его устойчивость к загрязнению **относительна, а не абсолютна**, и что оценки, полученные без изолированного от сети harness с запечатанной историей, могут завышать подлинную способность решать задачи<sup>[\[4\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-cursor-rewardhacking-4)[\[5\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-github-issue93-5)</sup>.

Несмотря на эти оговорки, SWE-bench Pro быстро стал влиятельным **сигналом frontier-уровня** для кодовых агентов. Сочетая лицензии и приватные кодовые базы для снижения загрязнения обучающих данных, индустриально релевантные длинногоризонтные задачи и воспроизводимую оценку на базе Docker, он даёт более сложную и реалистичную меру автономной программной инженерии, чем ранние бенчмарки, и дополняет SWE-bench Verified в отслеживании прогресса к **ИИ-разработчику профессионального уровня**<sup>[\[1\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-arxiv-swebenchpro-1)[\[2\]](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_note-scale-swebenchpro-2)</sup>.

## Ссылки

- <a href="https://en.wikipedia.org/wiki/SWE-bench" class="external text" rel="nofollow">SWE-bench</a> — статья в английской Википедии о предшественнике SWE-bench (упоминает SWE-bench Pro).
- <a href="https://systems-analysis.info/eng/SWE-bench_Pro" class="external text" rel="nofollow">SWE-bench Pro</a> — англоязычная версия Systems Analysis Wiki.
- <a href="https://github.com/scaleapi/SWE-bench_Pro-os" class="external text" rel="nofollow">SWE-bench Pro на GitHub</a>
- <a href="https://labs.scale.com/leaderboard/swe_bench_pro_public" class="external text" rel="nofollow">Официальный лидерборд SWE-Bench Pro (публичный набор)</a>
- <a href="https://huggingface.co/datasets/ScaleAI/SWE-bench_Pro" class="external text" rel="nofollow">Набор данных SWE-Bench Pro на Hugging Face</a>
- <a href="https://cursor.com/blog/reward-hacking-coding-benchmarks" class="external text" rel="nofollow">Cursor — reward hacking и runtime-загрязнение на SWE-bench Pro</a>

## Литература

- Deng, X. et al. (2025). *SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?*. <a href="https://arxiv.org/abs/2509.16941" class="external text" rel="nofollow">arXiv:2509.16941</a>.
- Jimenez, C. E. et al. (2023). *SWE-bench: Can Language Models Resolve Real-World GitHub Issues?*. <a href="https://arxiv.org/abs/2310.06770" class="external text" rel="nofollow">arXiv:2310.06770</a>.

## См. также

- [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")
- [SWE-bench Verified](https://systems-analysis.info/wiki/SWE-bench_Verified "SWE-bench Verified")
- [Terminal-Bench](https://systems-analysis.info/wiki/Terminal-Bench "Terminal-Bench")
- [LiveCodeBench](https://systems-analysis.info/wiki/LiveCodeBench "LiveCodeBench")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели")

## Примечания

1.  <span id="cite_note-arxiv-swebenchpro-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-13)</sup> <sup>[1,14](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-arxiv-swebenchpro_1-14)</sup> Deng, Xiang et al. "SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?". *arXiv*. <a href="https://arxiv.org/abs/2509.16941" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-scale-swebenchpro-2">↑ <sup>[2,00](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-0)</sup> <sup>[2,01](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-1)</sup> <sup>[2,02](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-2)</sup> <sup>[2,03](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-3)</sup> <sup>[2,04](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-4)</sup> <sup>[2,05](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-5)</sup> <sup>[2,06](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-6)</sup> <sup>[2,07](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-7)</sup> <sup>[2,08](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-8)</sup> <sup>[2,09](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-9)</sup> <sup>[2,10](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-10)</sup> <sup>[2,11](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-11)</sup> <sup>[2,12](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-12)</sup> <sup>[2,13](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-13)</sup> <sup>[2,14](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-14)</sup> <sup>[2,15](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-15)</sup> <sup>[2,16](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-16)</sup> <sup>[2,17](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-17)</sup> <sup>[2,18](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-18)</sup> <sup>[2,19](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-19)</sup> <sup>[2,20](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-20)</sup> <sup>[2,21](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-scale-swebenchpro_2-21)</sup> "SWE-Bench Pro (Public Dataset)". *Scale AI*. <a href="https://labs.scale.com/leaderboard/swe_bench_pro_public" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-github-swebenchpro-3">[↑](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-github-swebenchpro_3-0) "scaleapi/SWE-bench_Pro-os". *GitHub*. <a href="https://github.com/scaleapi/SWE-bench_Pro-os" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-cursor-rewardhacking-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-cursor-rewardhacking_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-cursor-rewardhacking_4-1)</sup> <sup>[4,2](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-cursor-rewardhacking_4-2)</sup> <sup>[4,3](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-cursor-rewardhacking_4-3)</sup> "Reward hacking is swamping model intelligence gains". *Cursor*. <a href="https://cursor.com/blog/reward-hacking-coding-benchmarks" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-github-issue93-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-github-issue93_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/SWE-bench_Pro#cite_ref-github-issue93_5-1)</sup> "Git Reward Hacking in SWEBench Pro OSS", Issue \#93. *GitHub — scaleapi/SWE-bench_Pro-os*. <a href="https://github.com/scaleapi/SWE-bench_Pro-os/issues/93" class="external autonumber" rel="nofollow">[5]</a></span>
