---
title: "HumanEval benchmark"
source: "https://systems-analysis.info/wiki/HumanEval_benchmark"
wiki: "systems-analysis.info/wiki"
article: "HumanEval_benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 122
wiki_created_at: 2026-09-06T21:55:22Z
wiki_modified_at: 2026-09-06T21:55:22Z
downloaded_at: 2026-09-07T22:17:36Z
---

# HumanEval benchmark

**HumanEval** — это эталонный набор данных ([бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")), предназначенный для объективной оценки качества кода, генерируемого моделями искусственного интеллекта на основании текстового описания задачи<sup>[\[1\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_paper-1)</sup>. Он был представлен в июле 2021 года исследователями OpenAI под руководством **Марка Чена** (*Mark Chen*) и стал одним из ключевых стандартов для измерения функциональной корректности сгенерированных программ.

Разработка HumanEval была вызвана потребностью в надёжном методе оценки кодогенерации. Ранее качество кода, сгенерированного [языковыми моделями](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели"), часто оценивали косвенными метриками (например, [BLEU](https://systems-analysis.info/wiki/BLEU "BLEU")) или вручную, что не гарантировало совпадения с реальной работоспособностью программ. HumanEval решает эту проблему, фокусируясь на **функциональной корректности**: сгенерированный код оценивается не по его синтаксическому сходству с эталоном, а по его способности успешно проходить набор автоматических юнит-тестов<sup>[\[1\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_paper-1)</sup>.

## Структура набора задач

Бенчмарк состоит из **164 задач** по программированию, написанных вручную специально для этого набора данных, чтобы гарантировать их отсутствие в обучающих выборках моделей. Все задачи сформулированы на языке Python и представлены в виде фрагментов кода с описанием<sup>[\[2\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_hf-2)</sup>.

Каждое задание включает:

- **Заголовок функции**: Сигнатура функции с её названием и параметрами.
- **Текстовое описание**: Docstring на английском языке, описывающий требуемую функциональность.
- **Тело функции**: Пустое место, которое модель должна заполнить сгенерированным кодом.

Для каждой задачи также предусмотрены скрытые от модели элементы:

- **Каноническое решение**: Правильная (эталонная) реализация функции.
- **Набор модульных тестов** (юнит-тестов): Используется для автоматической проверки корректности сгенерированного кода. Тесты охватывают как основные, так и крайние случаи.

Задачи охватывают широкий спектр тем: от базовых языковых конструкций и алгоритмов до простой математики, что делает набор разнообразным и сложным для моделей.

## Методика оценки моделей

Главной метрикой успеха на HumanEval является **pass@k**, которая измеряет долю задач, решённых моделью функционально правильно<sup>[\[1\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_paper-1)</sup>. Решение считается успешным, если сгенерированный код проходит все автоматические тесты для данной задачи.

- **pass@1**: Основной и наиболее часто используемый показатель. Он означает процент задач, решённых моделью с **первой попытки** (то есть при генерации одного варианта решения на задачу).
- **pass@k**: В общем случае, эта метрика показывает долю задач, для которых **хотя бы один из k** сгенерированных моделью вариантов решения проходит все тесты. Например, *pass@10* показывает, какую долю задач модель способна решить, если ей дать до 10 попыток на каждую.

Поскольку прямое вычисление *pass@k* требует большого количества выборок, авторы предложили статистически корректный метод расчёта этой метрики, который позволяет получить несмещённую оценку<sup>[\[1\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_paper-1)</sup>.

Практическое тестирование происходит в специальной «песочнице»: сгенерированный код компилируется и запускается на наборе проверочных тестов. Такой подход позволяет измерить способность модели генерировать исполняемый и верный код, а не просто синтаксически похожий на эталон.

## Результаты и влияние на индустрию

Первоначальные эксперименты на HumanEval показали значительный разрыв между моделями общего назначения и моделями, специально обученными на коде.

- В 2021 году модель OpenAI Codex (12 млрд параметров, обученная на коде с GitHub) сумела с первой попытки решить **~28,8%** задач (*pass@1*).
- В то же время более крупная языковая модель GPT-3 (175 млрд), не обученная на коде, **не смогла правильно решить ни одной задачи**<sup>[\[1\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_paper-1)</sup>.

Эти результаты подчеркнули необходимость специализированного обучения на данных программирования для успешной кодогенерации. После появления HumanEval бенчмарк быстро стал стандартным тестом для сравнения прогресса новых моделей.

- Модели линейки **GPT-3.5** (начало 2023 г.) достигли **~72%** *pass@1*.
- Модель GPT-4 (2023 г.) продемонстрировала ещё более высокие результаты, достигнув **~67%** в базовой версии и превысив **85%** после дополнительных настроек<sup>[\[3\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-niu_2024_efficiency-3)</sup>.
- Открытые модели, такие как **Code [Llama](https://systems-analysis.info/wiki/LLaMA "LLaMA")** (Meta, 2023) и **WizardCoder** (2023), также показали высокие результаты (**~53%** и **~57%** *pass@1* соответственно), превзойдя ранние проприетарные модели<sup>[\[4\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-lutfullaev_2023_revisited-4)</sup>.

## Расширения и варианты бенчмарка

Успех HumanEval вдохновил создание нескольких производных версий, призванных оценивать модели в более широких условиях.

- **CL-HumanEval** (*Cross-Lingual HumanEval*): Кросс-лингвистический вариант (2024), где задачи оригинального HumanEval адаптированы для проверки способности моделей понимать описания на разных языках (помимо английского), генерируя при этом код на Python<sup>[\[5\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-cl_humaneval_2024-5)</sup>.
- **Multilingual HumanEval**: Расширение (2023), направленное на оценку генерации кода на **12 различных языках программирования** (включая Java, C#, JavaScript и др.) на основе англоязычного описания<sup>[\[6\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-multilingual_humaneval_2024-6)</sup>.
- **HumanEval-XL**: Масштабный бенчмарк (2024), который сочетает оба подхода. Он содержит задачи на 12 языках программирования и переводы текстовых описаний на 23 языка мира, включая русский, китайский, арабский и др. Всего HumanEval-XL насчитывает более 22 000 пар «описание-код»<sup>[\[7\]](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_note-humaneval_xl_2024-7)</sup>.

## См. также

- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [MATH benchmark](https://systems-analysis.info/wiki/MATH_benchmark "MATH benchmark")
- [MT-Bench benchmark](https://systems-analysis.info/wiki/MT-Bench_benchmark "MT-Bench benchmark")
- [TruthfulQA benchmark](https://systems-analysis.info/wiki/TruthfulQA_benchmark "TruthfulQA benchmark")

## Ссылки

- <a href="https://huggingface.co/datasets/openai/openai_humaneval" class="external text" rel="nofollow">HumanEval на Hugging Face</a>
- <a href="https://paperswithcode.com/dataset/humaneval" class="external text" rel="nofollow">Страница HumanEval на Papers with Code</a>

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Примечания

1.  <span id="cite_note-humaneval_paper-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_paper_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_paper_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_paper_1-2)</sup> <sup>[1,3](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_paper_1-3)</sup> <sup>[1,4](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_paper_1-4)</sup> Chen, M. et al. «Evaluating Large Language Models Trained on Code». *arXiv:2107.03374*, 2021. <a href="https://ar5iv.labs.arxiv.org/html/2107.03374" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-humaneval_hf-2">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_hf_2-0) «openai/openai_humaneval». *Hugging Face Datasets*. <a href="https://huggingface.co/datasets/openai/openai_humaneval" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-niu_2024_efficiency-3">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-niu_2024_efficiency_3-0) Niu, C. et al. «On Evaluating the Efficiency of Source Code Generated by LLMs». *Proceedings of the 2nd International Conference on AI-generated Content*, 2024. <a href="https://arxiv.org/html/2404.06041v1" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-lutfullaev_2023_revisited-4">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-lutfullaev_2023_revisited_4-0) Lutfullaev, J. «HumanEval on LLMs Revisited in Late 2023». *arXiv:2402.14852*, 2023. <a href="https://arxiv.org/html/2402.14852v1" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-cl_humaneval_2024-5">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-cl_humaneval_2024_5-0) Sato, M. et al. «CL-HumanEval: A Benchmark for Evaluating Cross-Lingual Transfer through Code Generation». *Proceedings of the 38th Pacific Asia Conference on Language, Information and Computation*, 2024. <a href="https://aclanthology.org/2024.paclic-1.62.pdf" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-multilingual_humaneval_2024-6">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-multilingual_humaneval_2024_6-0) Athiwaratkun, B. et al. «Multilingual HumanEval: A Multilingual Code Generation Benchmark». *arXiv:2307.11892*, 2023. <a href="https://aclanthology.org/2024.lrec-main.735.pdf" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-humaneval_xl_2024-7">[↑](https://systems-analysis.info/wiki/HumanEval_benchmark#cite_ref-humaneval_xl_2024_7-0) Liu, J. et al. «HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization». *LREC-COLING 2024*. <a href="https://aclanthology.org/2024.lrec-main.735.pdf" class="external autonumber" rel="nofollow">[7]</a></span>