---
title: "SciCode Benchmark"
source: "https://systems-analysis.info/wiki/SciCode_Benchmark"
wiki: "systems-analysis.info/wiki"
article: "SciCode_Benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3736
wiki_created_at: 2026-11-19T07:35:17Z
wiki_modified_at: 2026-11-19T09:49:16Z
downloaded_at: 2026-11-19T09:56:13Z
---

# SciCode Benchmark

**SciCode** — бенчмарк, предназначенный для оценки способности [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM) писать код, решающий реалистичные научные исследовательские задачи. В отличие от экзаменационных наборов «вопрос–ответ», его задачи взяты из реальных исследовательских практик в естественных науках и требуют одновременно припоминания предметных знаний, рассуждения и синтеза кода<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>. Бенчмарк составлен учёными и исследователями ИИ и впервые выпущен в виде препринта arXiv в июле 2024 года; рецензируемая версия представлена на треке Datasets and Benchmarks конференции NeurIPS 2024<sup>[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.

Всего SciCode содержит **338 подзадач**, декомпозированных из **80** сложных основных задач, охватывающих 16 подобластей естественных наук; вместе с ними поставляются необязательные фоновые описания, написанные учёными, эталонные («золотые») решения и исполняемые тесты, используемые для автоматической проверки<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>. [Бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") намеренно построен так, чтобы оставаться трудным по мере насыщения более общих наборов: на момент выпуска сильнейшая из протестированных моделей в наиболее реалистичной постановке решала лишь однозначное число процентов основных задач<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.

## Предыстория

К середине 2020-х годов популярные бенчмарки по программированию и знаниям, такие как [HumanEval](https://systems-analysis.info/wiki/HumanEval_benchmark "HumanEval benchmark") и [MMLU](https://systems-analysis.info/wiki/MMLU_benchmark "MMLU benchmark"), приблизились к насыщению: передовые [языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") набирали оценки, близкие к потолку, и такие наборы перестали быть надёжной мерой дальнейшего прогресса<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>. Авторы SciCode отмечали, что, поскольку модели уже во многих сложных задачах превосходят средних людей, стало трудно создавать оценки, одновременно качественные, реалистичные и трудные<sup>[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.

SciCode закрывает эту нишу, нацеливаясь на способность, которую общие наборы не изолируют: написание кода для решения подлинных научных исследовательских задач. Если [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench") измеряет навыки программной инженерии на реальных *issues* с GitHub, а [GPQA](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark "GPQA Diamond Benchmark") или [Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam") — закрытые академические знания, то SciCode находится на пересечении научных знаний и программирования, требуя от модели перевести исследовательскую задачу в работающий численный код<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>. Задачи сосредоточены на трёх базовых потребностях вычислительной науки: численных методах, моделировании физических систем и научных расчётах<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.

## Создание бенчмарка

SciCode собрала команда из примерно тридцати авторов, объединяющая учёных-предметников и исследователей ИИ. В статье равные основные авторы — **Minyang Tian** и **Luyu Gao**, ответственные авторы — Minyang Tian, Hao Peng и Eliu Huerta. Среди участвующих институтов — **Иллинойсский университет в Урбане-Шампейне**, **Аргоннская национальная лаборатория**, **Университет Карнеги-Меллона**, **Университет Северной Каролины в Чапел-Хилле**, **MIT**, **Гарвардский университет**, **Чикагский университет**, **UT Austin**, **Стэнфордский университет**, **Принстонский университет** и NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.

Процесс построения шёл от реальных исследовательских задач, а не от придуманных головоломок:

- **Отбор задач.** Учёные из 16 подобластей естественных наук предложили задачи из собственных областей исследований; многие из лежащих в их основе методов публиковались в научной литературе, что подтверждает корректность и релевантность задач<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.
- **Декомпозиция.** Каждая основная задача разложена на последовательность подзадач. Подзадача соответствует одной реализуемой функции, снабжённой докстрингом, эталонным решением и набором тестов; последующие подзадачи обычно переиспользуют код, написанный для предыдущих<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Проектирование тестов.** Тестовые случаи извлечены из реальных научных процессов — воспроизведение результатов, опубликованных в статьях, или совпадение с аналитическими решениями, выведенными из теории, — а также дополнены общими численными проверками<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.
- **Контроль качества.** Каждая задача прошла три раунда проверки: учёными-предметниками, учёными из других областей и передовой моделью ([GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4"))<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.
- **Необязательный фон.** Аннотаторы составили необязательные научно-фоновые заметки, которые можно добавлять в начало промпта; их предоставление измеримо повышает результаты моделей<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.

Публичный датасет выпущен на Hugging Face, оценочный харнесс распространяется с открытым кодом. Выпущенный набор разделён на **тестовую часть из 288 подзадач (65 основных задач)** и меньшую **валидационную/отладочную часть из 50 подзадач (15 основных задач)** — всего 338 подзадач из 80 основных задач<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)[\[4\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-hf_dataset-4)</sup>.

## Структура и содержание бенчмарка

SciCode охватывает 16 подобластей. Статья и GitHub проекта группируют их в пять доменов — физика, математика, химия, биология и материаловедение, — тогда как сайт проекта говорит о шести дисциплинах естественных наук; вычислительная механика в статистике статьи отнесена к математике<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)[\[5\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-github-5)[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>. Все решения пишутся на **Python** с опорой на стандартный научный стек (например, NumPy и SciPy). Характерные задачи дают представление о сложности и широте охвата: вычисление электростатической энергии периодической системы суммированием Эвальда, интегрирование молекулярно-динамической симуляции с термостатом и баростатом Берендсена по алгоритму скоростного Верле или вывод скорости запутывания обобщённого канала амплитудного затухания<sup>[\[6\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_leaderboard-6)</sup>.

Две структурные особенности отличают SciCode от предыдущих бенчмарков программирования:

- **Композициональность.** Поскольку задачи решаются подзадача за подзадачей и последующие шаги опираются на предыдущий код, основная задача считается решённой **только если пройдены тесты всех её подзадач**. Точность по основным задачам — метрика «всё или ничего», и она значительно ниже точности по подзадачам<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Проверка исполнением.** Ответы оцениваются запуском сгенерированного кода на исполняемых численных и предметных тестах, которые не показываются модели в промпте; проверка детерминирована и воспроизводима, а не зависит от модели-судьи<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.

Оценки публикуются в нескольких постановках, существенно влияющих на баллы: с фоновыми заметками учёных или без них; на уровне подзадач или на уровне основных задач. «Наиболее реалистичной» считается постановка без фона с оценкой на уровне основных задач<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.

Все задачи SciCode обладают общими свойствами:

- **Основаны на исследованиях**: задачи происходят из реальных научных процессов, многие восходят к методам из опубликованных работ<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.
- **Проверяемы**: у каждой подзадачи есть исполняемые тесты (воспроизводящие опубликованные или аналитические результаты), поэтому проверка автоматизирована и объективна<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Многошаговость и насыщенность знаниями**: решение требует припоминания предметных знаний, рассуждения над ними и синтеза корректного кода, часто по многим зависимым шагам<sup>[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.

## Результаты моделей

SciCode оказался крайне сложным на момент выпуска, и, как в других передовых бенчмарках, результаты сильно зависят от даты оценки, постановки проверки и того, какая используется метрика — по подзадачам или по основным задачам. Приведённые цифры следует читать как временной ряд при заявленных условиях, а не как единый фиксированный рейтинг.

- **Начальный выпуск (2024, наиболее реалистичная постановка).** При измерении по **основным задачам** без фона лидеры набирали однозначные проценты. В первом препринте лучшей была Claude 3.5 Sonnet с **4,6 %** по основным задачам (около 26 % на уровне подзадач); в финальной (camera-ready) версии статьи лучшей названа [o1-preview](https://systems-analysis.info/wiki/OpenAI_o1 "OpenAI o1") от [OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI") с **7,7 %**. Claude 3 Opus и [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") решили около **1,5 %** основных задач (GPT-4o — примерно 25 % подзадач), а [DeepSeek-Coder-v2](https://systems-analysis.info/wiki/DeepSeek-Coder-V2 "DeepSeek-Coder-V2"), лучшая из открытых моделей, — около **3,1 %** (21 % подзадач); несколько открытых моделей (например, Llama-3-70B-Instruct, Mixtral-8×22B-Instruct) не решили ни одной основной задачи, хотя проходили часть подзадач<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.
- **Влияние фоновых знаний.** Предоставление написанного учёными фона примерно удвоило потолок на запуске: лучшая модель (Claude 3.5 Sonnet) выросла до **около 12,3 %** основных задач и примерно 35 % подзадач — свидетельство того, что значительная часть сложности лежит в припоминании нужных предметных знаний<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Текущее состояние (ноябрь 2026, уровень подзадач).** На современных независимых лидербордах, оценивающих **тестовый набор из 288 подзадач на уровне подзадач** с фоновым промптом, аннотированным учёными SciCode, передовые модели превысили 60 %. На Artificial Analysis (по состоянию на ноябрь 2026 года) лидирует [Claude Fable 5.2](https://systems-analysis.info/wiki/Claude_Fable_5.2 "Claude Fable 5.2") (max) от [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic") с **67,7 %**, далее следуют [Claude Opus 5.5](https://systems-analysis.info/wiki/Claude_Opus_5.5 "Claude Opus 5.5") (max) с **66,9 %** и Claude Fable 5.2 (xhigh) с **65,6 %**; публичная доступность [Claude Fable 5](https://systems-analysis.info/wiki/Claude_Fable_5 "Claude Fable 5") ненадолго приостанавливалась в июне 2026 года по директиве экспортного контроля США, к концу месяца контроль был снят<sup>[\[6\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_leaderboard-6)[\[7\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_index-7)</sup>. Заметно продвинулись и модели с открытыми весами: [Kimi K2.6](https://systems-analysis.info/wiki/Kimi_K2.6 "Kimi K2.6") от [Moonshot AI](https://systems-analysis.info/wiki/Moonshot_AI "Moonshot AI") показывала низкие и средние 50-е проценты по сторонним агрегаторам, однако такие цифры могут опираться на методологию, отличную от Artificial Analysis или исходной установки SciCode, и к ним следует относиться с осторожностью<sup>[\[8\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-llmstats-8)</sup>.

Поскольку стартовые цифры — метрика «всё или ничего» по основным задачам, а цифры 2026 года — точность по подзадачам на тестовом наборе, они **не** сопоставимы напрямую; тем не менее обе показывают быстрый прогресс в научном программировании примерно за два года.

## Критика и ограничения

Несмотря на распространённость, у SciCode есть признанные ограничения, большинство из которых присуще самой его конструкции.

- **Метрика «всё или ничего» по основным задачам.** Требование прохождения всех подзадач делает основной показатель консервативным и может занижать частичную компетентность: модель, почти полностью решившая длинную задачу, всё равно получает за неё ноль<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Зависимость от фона.** Поскольку предоставление фона от учёных примерно удваивало точность на запуске, измеренная «способность» переплетена с объёмом вспомогательного текста в промпте, что затрудняет сравнение между исследованиями<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Узкая область.** SciCode нацелен на численное и научное программирование на Python в естественных науках; он не оценивает крупномасштабную программную инженерию, открытые исследования или умение ставить новые научные вопросы<sup>[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.
- **Риск контаминации.** Тестовый набор публичен, поэтому, как у любого выпущенного бенчмарка, результаты могут со временем расти за счёт утечки в обучающие данные, хотя основанные на реальных исследованиях задачи менее шаблонны, чем экзаменационные<sup>[\[3\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_site-3)</sup>.
- **Неоднородность проверок.** Публичные лидерборды смешивают независимо полученные и самозаявленные результаты и используют разные харнессы, метрики и настройки моделей; поэтому они могут расходиться и в цифрах, и в определении текущего лидера<sup>[\[6\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_leaderboard-6)[\[8\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-llmstats-8)</sup>.

## Значение и перспективы

SciCode занимает особую нишу в ландшафте оценок и стал стандартной точкой отсчёта для научного программирования.

- **Отдельная ось способностей.** Благодаря привязке задач к реальным исследованиям и проверке исполнением SciCode измеряет научное (исследовательское) программирование как способность, отдельную от общей программной инженерии ([SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")) и закрытых академических знаний ([Humanity's Last Exam](https://systems-analysis.info/wiki/Humanity%27s_Last_Exam "Humanity's Last Exam"), [GPQA](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark "GPQA Diamond Benchmark"))<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.
- **Включение в композитные наборы.** SciCode используется как компонент агрегированных индексов способностей, прежде всего Artificial Analysis Intelligence Index, играя роль в отслеживании прогресса передовых моделей<sup>[\[7\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_index-7)</sup>.
- **Движение к научным ассистентам.** Крутой рост результатов между 2024 и 2026 годами говорит о реальном движении к моделям, способным быть полезными научными соратниками, тогда как устойчивый разрыв между точностью по подзадачам и сквозной точностью по основным задачам отмечает более трудный рубеж, который ещё предстоит взять<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)</sup>.

## Результаты моделей по источникам

Баллы SciCode не абсолютны: они зависят от даты оценки, того, предоставляется ли написанный учёными фон, от того, какая метрика используется — по подзадачам или по основным задачам, — а также от харнесса и настроек модели. Поэтому числа лучше всего сравнивать *внутри* одного источника, а не между источниками. Две таблицы ниже — снимки на конкретный момент в разных условиях: оригинальная статья (точность по основным задачам, без фона) и независимый оценщик (точность по подзадачам, с фоном); каждая таблица датирована.

### Оригинальная статья бенчмарка (2024) — точность по основным задачам, наиболее реалистичная постановка

Результаты из статьи SciCode: оценка по **основным задачам** **без фона** (наиболее реалистичная постановка). В этой метрике «всё или ничего» задача считается решённой, только если пройдены тесты всех её подзадач; точность по подзадачам (обсуждавшаяся выше) существенно выше. Первый препринт лучшей называл Claude 3.5 Sonnet; финальная версия NeurIPS добавила и вывела вперёд o1-preview<sup>[\[1\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-scicode_paper-1)[\[2\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-neurips-2)</sup>.

| Модель                                                                                          | Точность по основным задачам, % |
|-------------------------------------------------------------------------------------------------|---------------------------------|
| OpenAI o1-preview (финальная версия)                                                            | 7,7                             |
| Claude 3.5 Sonnet (лучшая в препринте)                                                          | 4,6                             |
| DeepSeek-Coder-v2 (лучшая открытая модель)                                                      | 3,1                             |
| GPT-4o                                                                                          | 1,5                             |
| Claude 3 Opus                                                                                   | 1,5                             |
| Llama-3-70B-Instruct                                                                            | 0,0                             |
| Mixtral-8×22B-Instruct                                                                          | 0,0                             |
| *С написанным учёными «золотым» фоном лучшая модель (Claude 3.5 Sonnet) достигла около 12,3 %.* |                                 |

### Artificial Analysis — независимый лидерборд (2026)

Независимый оценщик, запускающий собственный харнесс на **тестовом наборе из 288 подзадач**, оценивающий на **уровне подзадач** и использующий фоновый промпт SciCode, аннотированный учёными (условие «с фоном»). Его цифры потому не сопоставимы с безфоновыми оценками по основным задачам выше; подходящим ориентиром 2024 года является постановка «с фоном на уровне подзадач», в которой лучшая модель того времени набирала середину 30-х процентов. Записи ниже — верх живого лидерборда по состоянию на 19 ноября 2026 года, они часто меняются. Публичная доступность Claude Fable 5 ненадолго приостанавливалась в июне 2026 года по директиве экспортного контроля США; к концу месяца контроль был снят<sup>[\[6\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_leaderboard-6)[\[7\]](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_note-aa_index-7)</sup>.

| №   | Модель                   | Точность, % |
|-----|--------------------------|-------------|
| 1   | Claude Fable 5.2 (max)   | 67,7        |
| 2   | Claude Opus 5.5 (max)    | 66,9        |
| 3   | Claude Fable 5.2 (xhigh) | 65,6        |

## Ссылки

- <a href="https://scicode-bench.github.io/" class="external text" rel="nofollow">Официальный сайт проекта SciCode</a>
- <a href="https://arxiv.org/abs/2407.13168" class="external text" rel="nofollow">Научная статья, представляющая бенчмарк (arXiv)</a>
- <a href="https://proceedings.neurips.cc/paper_files/paper/2024/hash/36850592258c8c41cecdaa3dea5ff7de-Abstract-Datasets_and_Benchmarks_Track.html" class="external text" rel="nofollow">Рецензируемая статья (NeurIPS 2024)</a>
- <a href="https://github.com/scicode-bench/SciCode" class="external text" rel="nofollow">SciCode — GitHub</a>
- <a href="https://huggingface.co/datasets/SciCode1/SciCode" class="external text" rel="nofollow">Датасет SciCode — Hugging Face</a>
- <a href="https://artificialanalysis.ai/evaluations/scicode" class="external text" rel="nofollow">Лидерборд SciCode — Artificial Analysis</a>
- Англоязычная версия статьи: <a href="https://systems-analysis.info/eng/SciCode_Benchmark" class="external text" rel="nofollow">SciCode Benchmark</a> (systems-analysis.info).

## См. также

- [GPQA Diamond Benchmark](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark "GPQA Diamond Benchmark")
- [FrontierMath](https://systems-analysis.info/wiki/FrontierMath "FrontierMath")
- [MATH-500](https://systems-analysis.info/wiki/MATH-500 "MATH-500")
- [LiveCodeBench](https://systems-analysis.info/wiki/LiveCodeBench "LiveCodeBench")
- [Terminal-Bench](https://systems-analysis.info/wiki/Terminal-Bench "Terminal-Bench")
- [MMLU-Pro Benchmark](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark "MMLU-Pro Benchmark")
- [ARC-AGI-2](https://systems-analysis.info/wiki/ARC-AGI-2 "ARC-AGI-2")

## Литература

- Chen, M. et al. (2021). *Evaluating Large Language Models Trained on Code* (HumanEval). <a href="https://arxiv.org/abs/2107.03374" class="external text" rel="nofollow">arXiv:2107.03374</a>.
- Austin, J. et al. (2021). *Program Synthesis with Large Language Models* (MBPP). <a href="https://arxiv.org/abs/2108.07732" class="external text" rel="nofollow">arXiv:2108.07732</a>.
- Jimenez, C. E. et al. (2023). *SWE-bench: Can Language Models Resolve Real-World GitHub Issues?* <a href="https://arxiv.org/abs/2310.06770" class="external text" rel="nofollow">arXiv:2310.06770</a>.
- Hendrycks, D. et al. (2021). *Measuring Massive Multitask Language Understanding* (MMLU). <a href="https://arxiv.org/abs/2009.03300" class="external text" rel="nofollow">arXiv:2009.03300</a>.
- Rein, D. et al. (2023). *GPQA: A Graduate-Level Google-Proof Q&A Benchmark*. <a href="https://arxiv.org/abs/2311.12022" class="external text" rel="nofollow">arXiv:2311.12022</a>.
- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.

## Примечания

1.  <span id="cite_note-scicode_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-13)</sup> <sup>[1,14](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-14)</sup> <sup>[1,15](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-15)</sup> <sup>[1,16](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-16)</sup> <sup>[1,17](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-17)</sup> <sup>[1,18](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_paper_1-18)</sup> Tian, M., Gao, L., Zhang, S. D. et al. "SciCode: A Research Coding Benchmark Curated by Scientists". *arXiv:2407.13168*, 2024. <a href="https://arxiv.org/abs/2407.13168" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-neurips-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-3)</sup> <sup>[2,4](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-4)</sup> <sup>[2,5](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-neurips_2-5)</sup> Tian, M. et al. "SciCode: A Research Coding Benchmark Curated by Scientists". *Advances in Neural Information Processing Systems 37 (NeurIPS 2024), Datasets and Benchmarks Track*. <a href="https://proceedings.neurips.cc/paper_files/paper/2024/hash/36850592258c8c41cecdaa3dea5ff7de-Abstract-Datasets_and_Benchmarks_Track.html" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-scicode_site-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-3)</sup> <sup>[3,4](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-4)</sup> <sup>[3,5](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-5)</sup> <sup>[3,6](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-6)</sup> <sup>[3,7](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-7)</sup> <sup>[3,8](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-scicode_site_3-8)</sup> "SciCode – SciCode Benchmark". *SciCode project site*. <a href="https://scicode-bench.github.io/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-hf_dataset-4">[↑](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-hf_dataset_4-0) "SciCode1/SciCode". *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/SciCode1/SciCode" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-github-5">[↑](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-github_5-0) "scicode-bench/SciCode". *GitHub*. <a href="https://github.com/scicode-bench/SciCode" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-aa_leaderboard-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_leaderboard_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_leaderboard_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_leaderboard_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_leaderboard_6-3)</sup> "SciCode Benchmark Leaderboard". *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/scicode" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-aa_index-7">↑ <sup>[7,0](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_index_7-0)</sup> <sup>[7,1](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_index_7-1)</sup> <sup>[7,2](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-aa_index_7-2)</sup> "Artificial Analysis Intelligence Benchmarking Methodology". *Artificial Analysis*. <a href="https://artificialanalysis.ai/methodology/intelligence-benchmarking" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-llmstats-8">↑ <sup>[8,0](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-llmstats_8-0)</sup> <sup>[8,1](https://systems-analysis.info/wiki/SciCode_Benchmark#cite_ref-llmstats_8-1)</sup> "SciCode Benchmark Leaderboard". *LLM Stats*. <a href="https://llm-stats.com/benchmarks/scicode" class="external autonumber" rel="nofollow">[8]</a></span>
