SciCode Benchmark
SciCode — бенчмарк, предназначенный для оценки способности больших языковых моделей (LLM) писать код, решающий реалистичные научные исследовательские задачи. В отличие от экзаменационных наборов «вопрос–ответ», его задачи взяты из реальных исследовательских практик в естественных науках и требуют одновременно припоминания предметных знаний, рассуждения и синтеза кода[1]. Бенчмарк составлен учёными и исследователями ИИ и впервые выпущен в виде препринта arXiv в июле 2024 года; рецензируемая версия представлена на треке Datasets and Benchmarks конференции NeurIPS 2024[2].
Всего SciCode содержит 338 подзадач, декомпозированных из 80 сложных основных задач, охватывающих 16 подобластей естественных наук; вместе с ними поставляются необязательные фоновые описания, написанные учёными, эталонные («золотые») решения и исполняемые тесты, используемые для автоматической проверки[1]. Бенчмарк намеренно построен так, чтобы оставаться трудным по мере насыщения более общих наборов: на момент выпуска сильнейшая из протестированных моделей в наиболее реалистичной постановке решала лишь однозначное число процентов основных задач[1].
Предыстория
К середине 2020-х годов популярные бенчмарки по программированию и знаниям, такие как HumanEval и MMLU, приблизились к насыщению: передовые языковые модели набирали оценки, близкие к потолку, и такие наборы перестали быть надёжной мерой дальнейшего прогресса[1]. Авторы SciCode отмечали, что, поскольку модели уже во многих сложных задачах превосходят средних людей, стало трудно создавать оценки, одновременно качественные, реалистичные и трудные[2].
SciCode закрывает эту нишу, нацеливаясь на способность, которую общие наборы не изолируют: написание кода для решения подлинных научных исследовательских задач. Если SWE-bench измеряет навыки программной инженерии на реальных issues с GitHub, а GPQA или Humanity's Last Exam — закрытые академические знания, то SciCode находится на пересечении научных знаний и программирования, требуя от модели перевести исследовательскую задачу в работающий численный код[1]. Задачи сосредоточены на трёх базовых потребностях вычислительной науки: численных методах, моделировании физических систем и научных расчётах[3].
Создание бенчмарка
SciCode собрала команда из примерно тридцати авторов, объединяющая учёных-предметников и исследователей ИИ. В статье равные основные авторы — Minyang Tian и Luyu Gao, ответственные авторы — Minyang Tian, Hao Peng и Eliu Huerta. Среди участвующих институтов — Иллинойсский университет в Урбане-Шампейне, Аргоннская национальная лаборатория, Университет Карнеги-Меллона, Университет Северной Каролины в Чапел-Хилле, MIT, Гарвардский университет, Чикагский университет, UT Austin, Стэнфордский университет, Принстонский университет и NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)[3].
Процесс построения шёл от реальных исследовательских задач, а не от придуманных головоломок:
- Отбор задач. Учёные из 16 подобластей естественных наук предложили задачи из собственных областей исследований; многие из лежащих в их основе методов публиковались в научной литературе, что подтверждает корректность и релевантность задач[3].
- Декомпозиция. Каждая основная задача разложена на последовательность подзадач. Подзадача соответствует одной реализуемой функции, снабжённой докстрингом, эталонным решением и набором тестов; последующие подзадачи обычно переиспользуют код, написанный для предыдущих[1].
- Проектирование тестов. Тестовые случаи извлечены из реальных научных процессов — воспроизведение результатов, опубликованных в статьях, или совпадение с аналитическими решениями, выведенными из теории, — а также дополнены общими численными проверками[3].
- Контроль качества. Каждая задача прошла три раунда проверки: учёными-предметниками, учёными из других областей и передовой моделью (GPT-4)[3].
- Необязательный фон. Аннотаторы составили необязательные научно-фоновые заметки, которые можно добавлять в начало промпта; их предоставление измеримо повышает результаты моделей[1].
Публичный датасет выпущен на Hugging Face, оценочный харнесс распространяется с открытым кодом. Выпущенный набор разделён на тестовую часть из 288 подзадач (65 основных задач) и меньшую валидационную/отладочную часть из 50 подзадач (15 основных задач) — всего 338 подзадач из 80 основных задач[1][4].
Структура и содержание бенчмарка
SciCode охватывает 16 подобластей. Статья и GitHub проекта группируют их в пять доменов — физика, математика, химия, биология и материаловедение, — тогда как сайт проекта говорит о шести дисциплинах естественных наук; вычислительная механика в статистике статьи отнесена к математике[1][5][3]. Все решения пишутся на Python с опорой на стандартный научный стек (например, NumPy и SciPy). Характерные задачи дают представление о сложности и широте охвата: вычисление электростатической энергии периодической системы суммированием Эвальда, интегрирование молекулярно-динамической симуляции с термостатом и баростатом Берендсена по алгоритму скоростного Верле или вывод скорости запутывания обобщённого канала амплитудного затухания[6].
Две структурные особенности отличают SciCode от предыдущих бенчмарков программирования:
- Композициональность. Поскольку задачи решаются подзадача за подзадачей и последующие шаги опираются на предыдущий код, основная задача считается решённой только если пройдены тесты всех её подзадач. Точность по основным задачам — метрика «всё или ничего», и она значительно ниже точности по подзадачам[1].
- Проверка исполнением. Ответы оцениваются запуском сгенерированного кода на исполняемых численных и предметных тестах, которые не показываются модели в промпте; проверка детерминирована и воспроизводима, а не зависит от модели-судьи[3].
Оценки публикуются в нескольких постановках, существенно влияющих на баллы: с фоновыми заметками учёных или без них; на уровне подзадач или на уровне основных задач. «Наиболее реалистичной» считается постановка без фона с оценкой на уровне основных задач[1].
Все задачи SciCode обладают общими свойствами:
- Основаны на исследованиях: задачи происходят из реальных научных процессов, многие восходят к методам из опубликованных работ[3].
- Проверяемы: у каждой подзадачи есть исполняемые тесты (воспроизводящие опубликованные или аналитические результаты), поэтому проверка автоматизирована и объективна[1].
- Многошаговость и насыщенность знаниями: решение требует припоминания предметных знаний, рассуждения над ними и синтеза корректного кода, часто по многим зависимым шагам[2].
Результаты моделей
SciCode оказался крайне сложным на момент выпуска, и, как в других передовых бенчмарках, результаты сильно зависят от даты оценки, постановки проверки и того, какая используется метрика — по подзадачам или по основным задачам. Приведённые цифры следует читать как временной ряд при заявленных условиях, а не как единый фиксированный рейтинг.
- Начальный выпуск (2024, наиболее реалистичная постановка). При измерении по основным задачам без фона лидеры набирали однозначные проценты. В первом препринте лучшей была Claude 3.5 Sonnet с 4,6 % по основным задачам (около 26 % на уровне подзадач); в финальной (camera-ready) версии статьи лучшей названа o1-preview от OpenAI с 7,7 %. Claude 3 Opus и GPT-4o решили около 1,5 % основных задач (GPT-4o — примерно 25 % подзадач), а DeepSeek-Coder-v2, лучшая из открытых моделей, — около 3,1 % (21 % подзадач); несколько открытых моделей (например, Llama-3-70B-Instruct, Mixtral-8×22B-Instruct) не решили ни одной основной задачи, хотя проходили часть подзадач[1][2].
- Влияние фоновых знаний. Предоставление написанного учёными фона примерно удвоило потолок на запуске: лучшая модель (Claude 3.5 Sonnet) выросла до около 12,3 % основных задач и примерно 35 % подзадач — свидетельство того, что значительная часть сложности лежит в припоминании нужных предметных знаний[1].
- Текущее состояние (ноябрь 2026, уровень подзадач). На современных независимых лидербордах, оценивающих тестовый набор из 288 подзадач на уровне подзадач с фоновым промптом, аннотированным учёными SciCode, передовые модели превысили 60 %. На Artificial Analysis (по состоянию на ноябрь 2026 года) лидирует Claude Fable 5.2 (max) от Anthropic с 67,7 %, далее следуют Claude Opus 5.5 (max) с 66,9 % и Claude Fable 5.2 (xhigh) с 65,6 %; публичная доступность Claude Fable 5 ненадолго приостанавливалась в июне 2026 года по директиве экспортного контроля США, к концу месяца контроль был снят[6][7]. Заметно продвинулись и модели с открытыми весами: Kimi K2.6 от Moonshot AI показывала низкие и средние 50-е проценты по сторонним агрегаторам, однако такие цифры могут опираться на методологию, отличную от Artificial Analysis или исходной установки SciCode, и к ним следует относиться с осторожностью[8].
Поскольку стартовые цифры — метрика «всё или ничего» по основным задачам, а цифры 2026 года — точность по подзадачам на тестовом наборе, они не сопоставимы напрямую; тем не менее обе показывают быстрый прогресс в научном программировании примерно за два года.
Критика и ограничения
Несмотря на распространённость, у SciCode есть признанные ограничения, большинство из которых присуще самой его конструкции.
- Метрика «всё или ничего» по основным задачам. Требование прохождения всех подзадач делает основной показатель консервативным и может занижать частичную компетентность: модель, почти полностью решившая длинную задачу, всё равно получает за неё ноль[1].
- Зависимость от фона. Поскольку предоставление фона от учёных примерно удваивало точность на запуске, измеренная «способность» переплетена с объёмом вспомогательного текста в промпте, что затрудняет сравнение между исследованиями[1].
- Узкая область. SciCode нацелен на численное и научное программирование на Python в естественных науках; он не оценивает крупномасштабную программную инженерию, открытые исследования или умение ставить новые научные вопросы[2].
- Риск контаминации. Тестовый набор публичен, поэтому, как у любого выпущенного бенчмарка, результаты могут со временем расти за счёт утечки в обучающие данные, хотя основанные на реальных исследованиях задачи менее шаблонны, чем экзаменационные[3].
- Неоднородность проверок. Публичные лидерборды смешивают независимо полученные и самозаявленные результаты и используют разные харнессы, метрики и настройки моделей; поэтому они могут расходиться и в цифрах, и в определении текущего лидера[6][8].
Значение и перспективы
SciCode занимает особую нишу в ландшафте оценок и стал стандартной точкой отсчёта для научного программирования.
- Отдельная ось способностей. Благодаря привязке задач к реальным исследованиям и проверке исполнением SciCode измеряет научное (исследовательское) программирование как способность, отдельную от общей программной инженерии (SWE-bench) и закрытых академических знаний (Humanity's Last Exam, GPQA)[1].
- Включение в композитные наборы. SciCode используется как компонент агрегированных индексов способностей, прежде всего Artificial Analysis Intelligence Index, играя роль в отслеживании прогресса передовых моделей[7].
- Движение к научным ассистентам. Крутой рост результатов между 2024 и 2026 годами говорит о реальном движении к моделям, способным быть полезными научными соратниками, тогда как устойчивый разрыв между точностью по подзадачам и сквозной точностью по основным задачам отмечает более трудный рубеж, который ещё предстоит взять[1].
Результаты моделей по источникам
Баллы SciCode не абсолютны: они зависят от даты оценки, того, предоставляется ли написанный учёными фон, от того, какая метрика используется — по подзадачам или по основным задачам, — а также от харнесса и настроек модели. Поэтому числа лучше всего сравнивать внутри одного источника, а не между источниками. Две таблицы ниже — снимки на конкретный момент в разных условиях: оригинальная статья (точность по основным задачам, без фона) и независимый оценщик (точность по подзадачам, с фоном); каждая таблица датирована.
Оригинальная статья бенчмарка (2024) — точность по основным задачам, наиболее реалистичная постановка
Результаты из статьи SciCode: оценка по основным задачам без фона (наиболее реалистичная постановка). В этой метрике «всё или ничего» задача считается решённой, только если пройдены тесты всех её подзадач; точность по подзадачам (обсуждавшаяся выше) существенно выше. Первый препринт лучшей называл Claude 3.5 Sonnet; финальная версия NeurIPS добавила и вывела вперёд o1-preview[1][2].
| Модель | Точность по основным задачам, % |
|---|---|
| OpenAI o1-preview (финальная версия) | 7,7 |
| Claude 3.5 Sonnet (лучшая в препринте) | 4,6 |
| DeepSeek-Coder-v2 (лучшая открытая модель) | 3,1 |
| GPT-4o | 1,5 |
| Claude 3 Opus | 1,5 |
| Llama-3-70B-Instruct | 0,0 |
| Mixtral-8×22B-Instruct | 0,0 |
| С написанным учёными «золотым» фоном лучшая модель (Claude 3.5 Sonnet) достигла около 12,3 %. | |
Artificial Analysis — независимый лидерборд (2026)
Независимый оценщик, запускающий собственный харнесс на тестовом наборе из 288 подзадач, оценивающий на уровне подзадач и использующий фоновый промпт SciCode, аннотированный учёными (условие «с фоном»). Его цифры потому не сопоставимы с безфоновыми оценками по основным задачам выше; подходящим ориентиром 2024 года является постановка «с фоном на уровне подзадач», в которой лучшая модель того времени набирала середину 30-х процентов. Записи ниже — верх живого лидерборда по состоянию на 19 ноября 2026 года, они часто меняются. Публичная доступность Claude Fable 5 ненадолго приостанавливалась в июне 2026 года по директиве экспортного контроля США; к концу месяца контроль был снят[6][7].
| № | Модель | Точность, % |
|---|---|---|
| 1 | Claude Fable 5.2 (max) | 67,7 |
| 2 | Claude Opus 5.5 (max) | 66,9 |
| 3 | Claude Fable 5.2 (xhigh) | 65,6 |
Ссылки
- Официальный сайт проекта SciCode
- Научная статья, представляющая бенчмарк (arXiv)
- Рецензируемая статья (NeurIPS 2024)
- SciCode — GitHub
- Датасет SciCode — Hugging Face
- Лидерборд SciCode — Artificial Analysis
- Англоязычная версия статьи: SciCode Benchmark (systems-analysis.info).
См. также
- GPQA Diamond Benchmark
- FrontierMath
- MATH-500
- LiveCodeBench
- Terminal-Bench
- MMLU-Pro Benchmark
- ARC-AGI-2
Литература
- Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code (HumanEval). arXiv:2107.03374.
- Austin, J. et al. (2021). Program Synthesis with Large Language Models (MBPP). arXiv:2108.07732.
- Jimenez, C. E. et al. (2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770.
- Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding (MMLU). arXiv:2009.03300.
- Rein, D. et al. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. arXiv:2311.12022.
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 1,18 Tian, M., Gao, L., Zhang, S. D. et al. "SciCode: A Research Coding Benchmark Curated by Scientists". arXiv:2407.13168, 2024. [1]
- ↑ 2,0 2,1 2,2 2,3 2,4 2,5 Tian, M. et al. "SciCode: A Research Coding Benchmark Curated by Scientists". Advances in Neural Information Processing Systems 37 (NeurIPS 2024), Datasets and Benchmarks Track. [2]
- ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 "SciCode – SciCode Benchmark". SciCode project site. [3]
- ↑ "SciCode1/SciCode". Hugging Face Datasets. [4]
- ↑ "scicode-bench/SciCode". GitHub. [5]
- ↑ 6,0 6,1 6,2 6,3 "SciCode Benchmark Leaderboard". Artificial Analysis. [6]
- ↑ 7,0 7,1 7,2 "Artificial Analysis Intelligence Benchmarking Methodology". Artificial Analysis. [7]
- ↑ 8,0 8,1 "SciCode Benchmark Leaderboard". LLM Stats. [8]