---
title: "Terminal-Bench"
source: "https://systems-analysis.info/wiki/Terminal-Bench"
wiki: "systems-analysis.info/wiki"
article: "Terminal-Bench"
language: "ru"
categories:
  - "Категория:AI-агенты"
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3737
wiki_created_at: 2026-11-19T07:38:10Z
wiki_modified_at: 2026-11-19T09:52:38Z
downloaded_at: 2026-11-19T09:56:13Z
---

# Terminal-Bench

**Terminal-Bench** — бенчмарк, предназначенный для оценки возможностей автономных [агентов искусственного интеллекта](https://systems-analysis.info/wiki/AI-%D0%B0%D0%B3%D0%B5%D0%BD%D1%82 "AI-агент") (ИИ) на реалистичных сквозных (end-to-end) задачах, выполняемых через терминал командной строки. В отличие от тестов знаний, оценивающих единственный текстовый ответ, Terminal-Bench помещает агента в изолированную среду («песочницу») операционной системы и проверяет, способен ли он действительно достичь поставленной цели — скомпилировать программу, настроить сервер, обучить модель, отладить систему или восстановить данные, — по финальному состоянию этой среды<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>. Проект — совместная работа *Стэнфордского университета* и *Laude Institute*, развиваемая открыто с участием большого сообщества исследователей и инженеров<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>.

Terminal-Bench задуман как мера того, насколько агенты продвинулись в самостоятельном выполнении полезной длительной (long-horizon) работы в той среде, которая незаметно стала опорой современных агентных инструментов программирования, — в терминале<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>. [Бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") распространяется вместе со своим оценочным harness'ом, так что любая [языковая модель](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") в паре с любым агентным скаффолдом может быть запущена на тех же задачах и отражена на публичном лидерборде *tbench.ai*<sup>[\[3\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_github-3)</sup>.

## Предыстория

К середине 2020-х годов агентные ИИ-системы, такие как Cursor, [OpenAI](https://systems-analysis.info/wiki/OpenAI "OpenAI") Codex CLI, Claude Code и Gemini CLI, сделали командную строку основным интерфейсом, через который модели выполняют сложную работу<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)[\[4\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_role-4)</sup>. Существовавшие бенчмарки агентов, однако, тяготели к одной из двух крайностей: либо они измеряли узкие искусственные задачи, не отражавшие реальные рабочие процессы, либо не были достаточно сложными, чтобы отличить по-настоящему сильных frontier-агентов от тех, что справляются лишь с рутинными операциями<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>.

Прямым методологическим предшественником стал **[SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")**, требующий от модели решения реальных issues с GitHub и оценивающий её по юнит-тестам из pull request'а, который изначально закрыл этот issue. Участники Laude Institute ранее создали **K-Prize** (премию Конвинского, Konwinski Prize) — соревнование с призовым фондом в 1 млн долларов вокруг свободной от контаминации, постоянно обновляемой версии SWE-bench. Работа над этой задачей показала, что дизайн SWE-bench — задачи, ограниченные issues в открытых Python-репозиториях, — является частным случаем более широкой абстракции: агент, действующий в произвольной вычислительной среде и проверяемый тестами по итоговому состоянию<sup>[\[5\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_chat-5)</sup>. Terminal-Bench обобщил эту идею на сам терминал.

## Создание бенчмарка

### Оригинальный релиз

Terminal-Bench был публично представлен **19 мая 2025 года** вместе с **Terminus** — агентом в статусе research preview, служащим нейтральным скаффолдом для оценки языковых моделей как автономных терминальных агентов<sup>[\[6\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_news-6)</sup>. Работы возглавляли в Стэнфорде **Майк А. Меррилл** (Mike A. Merrill) и в Laude Institute — **Александр Г. Шоу** (Alexander G. Shaw, бывший инженер Google) в рамках институтской программы «impact research» — деятельности, призванной давать пригодные к использованию артефакты, а не только публикации. Laude Institute основал **Энди Конвински** (Andy Konwinski), сооснователь Databricks и [Perplexity](https://systems-analysis.info/wiki/Perplexity_AI "Perplexity AI"), чей принцип «выпускать рано и собирать обратную связь» сформировал развитие проекта<sup>[\[5\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_chat-5)</sup>. Исходный набор задач, **Terminal-Bench-Core**, содержал **80 задач** и поставлялся вместе с датасетом и оценочным harness'ом, соединяющим языковую модель с терминальной песочницей на базе Docker<sup>[\[3\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_github-3)</sup>.

Интерес к проекту был высоким. К концу 2025 года репозиторий преодолел отметку в 1 000 звёзд GitHub и привлёк вклады почти 100 разработчиков по всему миру, а результаты Terminal-Bench начали появляться на модельных карточках новых систем — [DeepSeek-V3.1-Terminus](https://systems-analysis.info/wiki/DeepSeek-V3.1-Terminus "DeepSeek-V3.1-Terminus") и [Qwen3-Coder](https://systems-analysis.info/wiki/Qwen "Qwen"), — а также в анонсах [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic") о Claude 4 и [Claude Sonnet 4.5](https://systems-analysis.info/wiki/Claude_Sonnet_4.5 "Claude Sonnet 4.5")<sup>[\[4\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_role-4)[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)</sup>. Один из наиболее результативных внешних участников, исследователь в области безопасности **Nicholas Carlini**, автор значительной части корпуса задач — от упражнений по криптоанализу до построения компиляторов и интерпретаторов<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>.

### Terminal-Bench 2.0

С самого начала Terminal-Bench задумывался как «живой» бенчмарк, усложняемый по мере роста возможностей моделей. За 2025 год frontier-результаты на исходном наборе перевалили за **50 %**, что создало риск насыщения бенчмарка прежде, чем он накопит достаточно оценок, чтобы служить устойчивым сигналом<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)</sup>. Опыт эксплуатации после запуска также выявил проблемы надёжности исходного корпуса: некоторые задачи были нерешаемыми по искусственным причинам, другие задавали произвольные пороги успеха, а часть оказалась нестабильной из-за внешних условий — самый известный пример — задача «скачать видео с YouTube», сломавшаяся, когда YouTube усилил антибот-защиту<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)</sup>.

**Terminal-Bench 2.0** выпущен **7 ноября 2025 года** для решения этих проблем в сотрудничестве со *Snorkel AI* — одним из ведущих внешних участников. Версия включает **89 тщательно отобранных задач**: каждую проверяли на воспроизводимость, качество спецификации и решаемость; простые и невоспроизводимые задания удалены, а спецификации ужесточены так, чтобы результат, близкий к 100 %, был в принципе достижим для достаточно сильного агента. Заявленной целью проектирования был «**потолок в 50 %**»: уровень сложности, достаточно низкий, чтобы давать содержательный сигнал, но достаточно высокий, чтобы оставался явный запас для роста<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)</sup>. В релиз также вошёл новый, более масштабируемый оценочный harness — фреймворк **Harbor** (теперь официальное средство запуска бенчмарка), а скаффолд по умолчанию обновлён до **Terminus 2**<sup>[\[8\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-harbor-8)[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>. Сопроводительная статья «Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces» подана на arXiv **17 января 2026 года** (arXiv:2601.11868); первый автор — Майк А. Меррилл, всего 84 соавтора, что отражает сообществский характер корпуса задач<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)[\[9\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-openreview-9)</sup>.

### Terminal-Bench 2.1

Последующее **верифицированное обновление**, Terminal-Bench 2.1, выпущено **6 мая 2026 года**<sup>[\[6\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_news-6)</sup>. Оно сохраняет те же 89 задач, но исправляет **28** из них: 9 с дрейфом внешних зависимостей, 8 со слишком жёсткими лимитами ресурсов, остальные — с рассогласованиями между инструкцией задачи и её тестами. Обновление добавляет **непрерывную валидацию**, периодически перепроверяющую окружения задач; после исправлений нерешаемых задач не осталось<sup>[\[10\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_21-10)</sup>. Поскольку изменения устраняют искусственные неудачи, а не добавляют сложность, измеренные оценки в целом **растут** относительно 2.0 — на сопоставимых парах «модель + скаффолд» до 12 процентных пунктов. Версия 2.1 оценивается в контролируемых условиях (субмиссии не могут менять таймауты и ресурсы) и служит более надёжной основой для межмодельного сравнения, тогда как более крупный лидерборд 2.0 остаётся исторической записью на исходном наборе задач<sup>[\[10\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_21-10)[\[11\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_21-11)</sup>.

## Структура и содержание бенчмарка

Каждая задача Terminal-Bench — самодостаточная единица, состоящая из уникального **Docker-контейнера** (базовый образ с предустановленными пакетами и файлами), **инструкции** на естественном языке, описывающей цель, человеко-написанного **эталонного решения** (oracle solution) и набора автоматических **тестов**, проверяющих результат. Оценка исследует только **финальное состояние контейнера** — созданные файлы, запущенные сервисы, вычисленные значения, — а не конкретные команды агента или его промежуточные шаги<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>. Многие задачи задают веса отдельных тестов, допуская частичный зачёт, когда агент выполнил часть условий проверки<sup>[\[3\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_github-3)</sup>.

Субмиссии объединяют базовую модель с агентным скаффолдом — Codex CLI, Terminus 2, Mini-SWE-Agent, Claude Code и другими, — и каждая комбинация «модель + скаффолд» отображается в лидерборде отдельной строкой<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>. Оценка спроектирована воспроизводимой: каждая задача фиксирует лимиты ресурсов и времени — CPU, память, хранилище, выделение GPU, отдельные таймауты агента и верификатора, — которые субмиссии не могут изменять, чтобы оценки не искажались различиями в оборудовании<sup>[\[12\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb2_registry-12)[\[13\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_20-13)</sup>.

89 задач версии 2 охватывают **16 категорий** и три уровня сложности<sup>[\[12\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb2_registry-12)</sup>:

| Категория                                                                    | Задач |
|------------------------------------------------------------------------------|-------|
| Программная инженерия                                                        | 26    |
| Системное администрирование                                                  | 9     |
| Безопасность                                                                 | 8     |
| Научные вычисления                                                           | 8     |
| Наука о данных                                                               | 8     |
| Файловые операции                                                            | 5     |
| Отладка                                                                      | 5     |
| Обучение моделей                                                             | 4     |
| Математика                                                                   | 4     |
| Обработка данных                                                             | 4     |
| Машинное обучение                                                            | 3     |
| Игры, персональный ассистент, оптимизация, запросы к данным, обработка видео | по 1  |

По сложности набор смещён к среднему уровню: **4 лёгких**, **55 средних** и **30 сложных** задач<sup>[\[12\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb2_registry-12)</sup>. Задачи намеренно разнообразны и устойчивы к сопоставлению с шаблонами из обучающих данных. Характерные примеры из набора версии 2: кросс-компиляция игры *Doom* под архитектуру MIPS, восстановление намеренно обрезанной базы SQLite, дифференциальный криптоанализ шифра FEAL, взлом пароля защищённого 7-Zip-архива с помощью John the Ripper, установка Windows 3.11 в эмуляции<sup>[\[12\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb2_registry-12)</sup>.

Все задачи обладают общими свойствами:

- **Реалистичность и сквозной характер**: каждая задача воспроизводит проблему из реального инженерного или исследовательского процесса, а не изолированный фрагмент кода<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>.
- **Программная проверяемость**: успех определяется тестами по состоянию контейнера, что подходит для автоматической оценки<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>.
- **Сложность и устойчивость к контаминации**: задачи подобраны так, чтобы их вряд ли можно было запомнить из обучающих данных и чтобы их решение требовало настоящей многошаговой работы, а не вспоминания<sup>[\[14\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-aa_leaderboard-14)</sup>.

Основная метрика — **частота решённых задач** (эквивалентно точности pass@1), публикуемая для каждой субмиссии с 95-процентным доверительным интервалом<sup>[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>.

## Результаты моделей

Terminal-Bench проектировался сложным и остаётся таковым по мере роста моделей. Опубликованная оценка сильно зависит от версии бенчмарка (2.0 или очищенная 2.1), агентного скаффолда, подмножества задач и даты оценки, поэтому приведённые ниже цифры следует читать как движущуюся картину, а не фиксированный рейтинг.

- **Исходный бенчмарк (2025).** В течение 2025 года сильнейшие системы вывели точность на исходном наборе из 80 задач за отметку 50 % — это и стало триггером для создания более сложной второй версии<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)</sup>.
- **На момент выхода статьи (январь 2026).** В собственном harness'е бенчмарка на тот момент frontier-модели и агенты набирали **менее 65 %**. Авторы отметили крутую траекторию: за примерно восемь месяцев между релизами [Gemini 2.5 Pro](https://systems-analysis.info/wiki/Gemini_2.5_Pro "Gemini 2.5 Pro") и [GPT-5.2](https://systems-analysis.info/wiki/GPT-5.2 "GPT-5.2") лучший результат на бенчмарке почти удвоился<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>.
- **Скаффолд значит больше, чем кажется.** В официальном лидерборде оценка субмиссии отражает не столько саму модель, сколько обёрнутый вокруг неё агентный скаффолд. Верхушку борда 2.0 держат тщательно спроектированные сторонние скаффолды; та же frontier-модель под нейтральным harness'ом Terminus 2 набирает заметно меньше — например, Terminus 2 с [Claude Opus 4.6](https://systems-analysis.info/wiki/Claude_Opus_4.6 "Claude Opus 4.6") достигает около 62,9 %, тогда как потолок у кастомных скаффолдов — примерно 84,7 %<sup>[\[13\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_20-13)</sup>.
- **Текущее состояние (середина 2026).** На историческом лидерборде 2.0 (142 субмиссии) лучшие комбинации «модель + скаффолд» достигают **середины 80-х**, семь записей выше 80 %, но медиана находится около **44 %**. Очищенное обновление 2.1 ставит свои лучшие **верифицированные** записи в **нижние 80-е** (Codex CLI с [GPT-5.5](https://systems-analysis.info/wiki/GPT-5.5 "GPT-5.5") — около 83,4 %)<sup>[\[10\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_21-10)</sup>. Независимые оценки на более сложном подмножестве дают ещё меньше: на «Terminal-Bench Hard» от Artificial Analysis лидеры держатся в **нижних 60-х**<sup>[\[14\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-aa_leaderboard-14)</sup>.

Авторы признают: если тенденция сохранится, Terminal-Bench сам может подойти к насыщению примерно за год — к этому моменту модели смогут надёжно и автономно выполнять большинство чётко определённых терминальных задач, и потребуется очередная ревизия<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>.

## Критика и ограничения

Несмотря на быстрое распространение в качестве де-факто стандарта оценки агентного программирования, Terminal-Bench имеет признанные ограничения, часть которых задокументирована самими мейнтейнерами.

- **Надёжность задач.** Первый выпуск содержал задачи, которые были нерешаемыми, имели произвольные пороги успешности или зависели от нестабильных внешних сервисов (как задача со скачиванием видео с YouTube, пострадавшая от изменения антибот-мер). Эти проблемы мотивировали редизайн версии 2.0 и дальнейшее обновление 2.1, исправившее ещё 28 задач и добавившее непрерывную валидацию<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)[\[10\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_21-10)</sup>.
- **Целостность лидерборда.** Поскольку субмиссии запускаются самими участниками, а крупный открытый борд 2.0 вознаграждает тщательно спроектированные кастомные скаффолды, в апреле 2026 года мейнтейнеры ввели явные политики против читинга и reward hacking после сигналов о проблемах целостности; верифицированный командой борд 2.1 и его запуски в контролируемых условиях — отчасти ответ на это. Верхние записи открытого борда следует читать с осторожностью<sup>[\[6\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_news-6)</sup>.
- **Скаффолд как мешающий фактор.** Строка лидерборда — это модель плюс агентный скаффолд, поэтому высокая оценка может отражать качество обвязки не меньше, чем способности самой модели. Это усложняет межмодельные сравнения: одна и та же модель может различаться на много пунктов в зависимости от скаффолда; нейтральный harness Terminus 2 предоставлен именно для более сопоставимого сравнения «чистых» моделей<sup>[\[13\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_20-13)[\[2\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_lb-2)</sup>.
- **Внешняя валидность.** Сильный результат на Terminal-Bench может не переноситься на более «грязную» реальную терминальную работу. Авторы **TerminalWorld**, бенчмарка из 200 верифицированных реальных терминальных задач, сообщают, что даже сильнейшие системы решают не более 62,5 %, а результаты слабо коррелируют с курируемыми бенчмарками вроде Terminal-Bench (коэффициент Пирсона r = 0,20), что указывает на разные навыки<sup>[\[15\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-terminalworld-15)</sup>.
- **Узкий охват задач.** По построению Terminal-Bench измеряет закрытые, проверяемые задачи, подходящие для терминального исполнения, — прежде всего технические процессы. Он не оценивает креативность, открытые исследования или умение ставить новые проблемы, поэтому высокая оценка сама по себе не означает универсальных возможностей<sup>[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>. Более широкие инициативы, такие как **TUA-Bench**, распространяют оценку использования терминала за пределы технической работы: 120 задач в пяти семействах — включая редактирование документов, управление электронной почтой и поиск информации в живом вебе, — где лучший агент (Claude Code с Claude Opus 4.8) достигает 65,8 %<sup>[\[16\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tuabench-16)</sup>.
- **Чувствительность оценок и насыщение.** Публикуемые числа меняются в зависимости от версии, скаффолда, подмножества задач и даты, поэтому разные лидерборды расходятся и в величинах, и в текущем лидере. А поскольку бенчмарк целится в 50-процентный потолок для frontier-систем, срок его полезной жизни ограничен: быстрый прогресс, желанный для отрасли, укорачивает окно, в котором бенчмарк различает модели<sup>[\[7\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_2-7)[\[1\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_paper-1)</sup>.

## Значение и перспективы

Terminal-Bench появился, когда агентные инструменты программирования становились мейнстримом, и заполнил разрыв между искусственными микробенчмарками и задачами, слишком лёгкими для frontier-агентов.

- **Общая система отсчёта для агентов.** Бенчмарк даёт исследователям и разработчикам стандартизированный (хотя и чувствительный к скаффолду и harness'у) способ отслеживать, насколько хорошо агенты выполняют реальную многошаговую работу с течением времени; его результаты теперь цитируются на модельных карточках крупных релизов<sup>[\[4\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-snorkel_role-4)</sup>.
- **Открытая расширяемая платформа.** Распространяется вместе со своим harness'ом (Terminus/Terminus 2) и, начиная с версии 2.0, с фреймворком Harbor; проект рассчитан на поглощение задач от сообщества и портирование других бенчмарков в единый формат оценки<sup>[\[3\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tb_github-3)[\[8\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-harbor-8)</sup>.
- **Движущаяся цель по замыслу.** Явно заданный 50-процентный потолок означает, что бенчмарк предназначен для усложнения и перепроверки по мере роста возможностей. Помимо исходного набора, версии 2.0 и обновления 2.1, в марте 2026 года мейнтейнеры открыли сбор вкладов для более сложного **Terminal-Bench 3.0**, а в июне 2026 года анонсировали **Terminal-Bench Challenges** — долгосрочные, токеноёмкие однозадачные бенчмарки для оценки агентов на крупных автономных проектах<sup>[\[6\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_news-6)</sup>.

## Результаты моделей по источникам

Оценки Terminal-Bench не абсолютны: они зависят от версии бенчмарка, агентного скаффолда и harness'а, использованных при оценивании, подмножества задач и даты. Четыре различных публичных борда иллюстрируют это и **не** сопоставимы напрямую: собственные лидерборды проекта для версии 2.0 (крупный, исторический) и версии 2.1 (меньший, верифицированное обновление тех же 89 задач), а также два борда независимого оценщика Artificial Analysis — «Terminal-Bench Hard» (сложное подмножество) и «Terminal-Bench v2.1» (собственный запуск обновлённого набора). Цифры корректно сравнивать *внутри* одного источника. Все таблицы ниже — моментальные снимки, меняющиеся со временем; каждый датирован, а для текущего состояния следует обращаться к живым лидербордам.

### tbench.ai — официальные лидерборды

Оба официальных борда оценивают каждую субмиссию «модель + скаффолд» по частоте решённых задач на наборе из 89 задач с 95-процентным доверительным интервалом; верификация проверяет только финальное состояние контейнера. Борд **2.1** — очищенное верифицированное обновление и более надёжная основа для сравнения; борд **2.0** крупнее (142 субмиссии, медиана около 44 %), работает на исходном наборе задач, а его верхние места заняты сторонними кастомными скаффолдами, а не эталонными harness'ами. Снимки ниже — середина 2026 года<sup>[\[11\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_21-11)[\[13\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-tbench_lb_20-13)</sup>.

Terminal-Bench 2.1 (верифицированное обновление; 13 субмиссий, показаны верхние записи):

| №   | Агент (скаффолд) | Модель                                                                               | Точность, % (±95 % ДИ) |
|-----|------------------|--------------------------------------------------------------------------------------|------------------------|
| 1   | Codex CLI        | GPT-5.5                                                                              | 83.4 ±2.2              |
| 2   | Claude Code      | [Claude Fable 5](https://systems-analysis.info/wiki/Claude_Fable_5 "Claude Fable 5") | 83.1 ±2.0              |
| 3   | Terminus 2       | Claude Fable 5                                                                       | 80.4 ±2.3              |

Terminal-Bench 2.0 (исторический; 142 субмиссии, показаны верхние записи):

| Ранг                                                                       | Агент (скаффолд)                 | Модель                                                                                  | Точность, % (±95 % ДИ) |
|----------------------------------------------------------------------------|----------------------------------|-----------------------------------------------------------------------------------------|------------------------|
| 1                                                                          | NexAU-AHE                        | GPT-5.5                                                                                 | 84.7 ±2.1              |
| 2                                                                          | LemonHarness                     | Несколько                                                                               | 84.5 ±2.6              |
| 3                                                                          | Capy                             | GPT-5.5                                                                                 | 83.1 ±2.1              |
| 4                                                                          | Codex CLI                        | GPT-5.5                                                                                 | 82.2 ±2.2              |
| 5                                                                          | Polaris                          | Несколько                                                                               | 82.2 ±2.8              |
| 6                                                                          | WOZCODE                          | [Claude Opus 4.7](https://systems-analysis.info/wiki/Claude_Opus_4.7 "Claude Opus 4.7") | 80.2 ±2.1              |
| 7                                                                          | TongAgents                       | [Gemini 3.1 Pro](https://systems-analysis.info/wiki/Gemini_3.1_Pro "Gemini 3.1 Pro")    | 80.2 ±2.6              |
| 8                                                                          | LemonHarness                     | Несколько                                                                               | 79.9 ±3.0              |
| *Для справки — узнаваемые записи с эталонным harness'ом (ниже в таблице):* |                                  |                                                                                         |                        |
| ~36                                                                        | Terminus 2 (нейтральный harness) | Claude Opus 4.6                                                                         | 62.9                   |
| ~50                                                                        | Claude Code                      | Claude Opus 4.6                                                                         | 58.0                   |

### Artificial Analysis — независимые лидерборды

Независимый оценщик, запускающий собственный harness. Его борд «**Terminal-Bench Hard**» оценивает сложное подмножество (на момент написания из 423 отслеживаемых моделей были оценены 28), и его лидеры заметно ниже, чем на официальных бордах. Отдельный борд «**Terminal-Bench v2.1**» запускает обновлённый набор из 89 задач с harness'ом Terminus 2 в песочнице e2b (pass@1, усреднённый по трём повторам) и показывает лучшие результаты около 84–85 % — Claude Opus 4.8 и Claude Fable 5 по 84,6 %, GPT-5.5 (xhigh) — 84,3 % — в согласии с официальными цифрами 2.1. Два борда между собой не сопоставимы. Лидеры «Terminal-Bench Hard» в таблице ниже считаны с лидерборда Artificial Analysis по состоянию на 1 июля 2026 года<sup>[\[14\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-aa_leaderboard-14)[\[17\]](https://systems-analysis.info/wiki/Terminal-Bench#cite_note-aa_v21-17)</sup>.

| №   | Модель                                                                                                                                     | Точность, % (Terminal-Bench Hard) |
|-----|--------------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------|
| 1   | Claude Fable 5 (adaptive reasoning, max effort, откат на [Opus 4.8](https://systems-analysis.info/wiki/Claude_Opus_4.8 "Claude Opus 4.8")) | 62.9                              |
| 2   | GPT-5.5 (xhigh)                                                                                                                            | 60.6                              |
| 3   | GPT-5.5 (high)                                                                                                                             | 59.8                              |

## См. также

- [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")
- [SWE-bench Pro](https://systems-analysis.info/wiki/SWE-bench_Pro "SWE-bench Pro")
- [SWE-bench Verified](https://systems-analysis.info/wiki/SWE-bench_Verified "SWE-bench Verified")
- [SciCode Benchmark](https://systems-analysis.info/wiki/SciCode_Benchmark "SciCode Benchmark")
- [GPQA Diamond Benchmark](https://systems-analysis.info/wiki/GPQA_Diamond_Benchmark "GPQA Diamond Benchmark")
- [OSWorld](https://systems-analysis.info/wiki/OSWorld "OSWorld")
- [Τ-bench](https://systems-analysis.info/wiki/%CE%A4-bench "Τ-bench")
- [GDPval-AA v2](https://systems-analysis.info/wiki/GDPval-AA_v2 "GDPval-AA v2")
- [LiveCodeBench](https://systems-analysis.info/wiki/LiveCodeBench "LiveCodeBench")
- [ARC-AGI-2](https://systems-analysis.info/wiki/ARC-AGI-2 "ARC-AGI-2")
- [Big-Bench Hard](https://systems-analysis.info/wiki/Big-Bench_Hard "Big-Bench Hard")
- [MATH-500](https://systems-analysis.info/wiki/MATH-500 "MATH-500")
- [FrontierMath](https://systems-analysis.info/wiki/FrontierMath "FrontierMath")

## Ссылки

- <a href="https://www.tbench.ai/" class="external text" rel="nofollow">Официальный сайт и лидерборд (tbench.ai)</a>
- <a href="https://www.tbench.ai/news" class="external text" rel="nofollow">Новости и хронология релизов Terminal-Bench</a>
- <a href="https://www.tbench.ai/leaderboard/terminal-bench/2.1" class="external text" rel="nofollow">Официальный лидерборд Terminal-Bench 2.1</a>
- <a href="https://arxiv.org/abs/2601.11868" class="external text" rel="nofollow">Научная статья о бенчмарке (arXiv)</a>
- <a href="https://github.com/laude-institute/terminal-bench" class="external text" rel="nofollow">Terminal-Bench — GitHub (laude-institute)</a>
- <a href="https://github.com/laude-institute/terminal-bench-2" class="external text" rel="nofollow">Реестр задач Terminal-Bench 2 — GitHub</a>
- <a href="https://www.harborframework.com/" class="external text" rel="nofollow">Документация фреймворка Harbor</a>
- <a href="https://artificialanalysis.ai/evaluations/terminalbench-hard" class="external text" rel="nofollow">Лидерборд Terminal-Bench Hard — Artificial Analysis</a>
- <a href="https://artificialanalysis.ai/evaluations/terminalbench-v2-1" class="external text" rel="nofollow">Лидерборд Terminal-Bench v2.1 — Artificial Analysis</a>
- <a href="https://aiwiki.ai/wiki/terminal_bench" class="external text" rel="nofollow">Terminal-Bench — AI Wiki</a>
- <a href="https://systems-analysis.info/eng/Terminal-Bench" class="external text" rel="nofollow">Terminal-Bench — англоязычная версия статьи</a>

## Литература

- Merrill, M. A. et al. (2026). *Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces*. <a href="https://arxiv.org/abs/2601.11868" class="external text" rel="nofollow">arXiv:2601.11868</a>.
- Chu, Z. et al. (2026). *TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks*. <a href="https://arxiv.org/abs/2605.22535" class="external text" rel="nofollow">arXiv:2605.22535</a>.
- Jimenez, C. E. et al. (2024). *SWE-bench: Can Language Models Resolve Real-World GitHub Issues?*. <a href="https://arxiv.org/abs/2310.06770" class="external text" rel="nofollow">arXiv:2310.06770</a>.
- Wang, X. et al. (2025). *The OpenHands Software Agent SDK: A Composable and Extensible Foundation for Production Agents*. <a href="https://arxiv.org/abs/2511.03690" class="external text" rel="nofollow">arXiv:2511.03690</a>.
- Mialon, G. et al. (2023). *GAIA: A Benchmark for General AI Assistants*. <a href="https://arxiv.org/abs/2311.12983" class="external text" rel="nofollow">arXiv:2311.12983</a>.
- *TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents* (2026). <a href="https://arxiv.org/abs/2606.28480" class="external text" rel="nofollow">arXiv:2606.28480</a>.

## Примечания

1.  <span id="cite_note-tb_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_paper_1-9)</sup> Merrill, M. A., Shaw, A. G., Carlini, N. et al. "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". *arXiv:2601.11868*, 2026. <a href="https://arxiv.org/abs/2601.11868" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-snorkel_lb-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-3)</sup> <sup>[2,4](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-4)</sup> <sup>[2,5](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-5)</sup> <sup>[2,6](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-6)</sup> <sup>[2,7](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_lb_2-7)</sup> "Terminal-Bench 2.0". *Snorkel AI* — Terminal-Bench 2.0 page. <a href="https://snorkel.ai/leaderboard/terminal-bench-2-0/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-tb_github-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_github_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_github_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_github_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb_github_3-3)</sup> "Terminal-Bench". *GitHub* (laude-institute / harbor-framework). <a href="https://github.com/laude-institute/terminal-bench" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-snorkel_role-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_role_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_role_4-1)</sup> <sup>[4,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_role_4-2)</sup> "Evaluating Coding Agents with Terminal-Bench". *Snorkel AI*. <a href="https://snorkel.ai/blog/evaluating-coding-agent-capabilities-with-terminal-bench-snorkels-role-in-building-the-next-generation-benchmark/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-snorkel_chat-5">↑ <sup>[5,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_chat_5-0)</sup> <sup>[5,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_chat_5-1)</sup> "Chat With the Terminal-Bench Team". *Snorkel AI*. <a href="https://snorkel.ai/blog/chat-with-the-terminal-bench-team/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-tbench_news-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_news_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_news_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_news_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_news_6-3)</sup> "Terminal-Bench — News". *tbench.ai*. <a href="https://www.tbench.ai/news" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-snorkel_2-7">↑ <sup>[7,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-0)</sup> <sup>[7,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-1)</sup> <sup>[7,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-2)</sup> <sup>[7,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-3)</sup> <sup>[7,4](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-4)</sup> <sup>[7,5](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-5)</sup> <sup>[7,6](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_2_7-6)</sup> "Terminal-Bench 2.0: Raising the bar for AI agent evaluation". *Snorkel AI*, 7 November 2025. <a href="https://snorkel.ai/blog/terminal-bench-2-0-raising-the-bar-for-ai-agent-evaluation/" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-harbor-8">↑ <sup>[8,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-harbor_8-0)</sup> <sup>[8,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-harbor_8-1)</sup> "Running Terminal-Bench". *Harbor framework documentation*. <a href="https://www.harborframework.com/docs/tutorials/running-terminal-bench" class="external autonumber" rel="nofollow">[8]</a></span>
9.  <span id="cite_note-openreview-9">[↑](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-openreview_9-0) "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". *OpenReview*. <a href="https://openreview.net/forum?id=a7Qa4CcHak" class="external autonumber" rel="nofollow">[9]</a></span>
10. <span id="cite_note-snorkel_21-10">↑ <sup>[10,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_21_10-0)</sup> <sup>[10,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_21_10-1)</sup> <sup>[10,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_21_10-2)</sup> <sup>[10,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-snorkel_21_10-3)</sup> "Terminal-Bench 2.1". *Snorkel AI* (official leaderboard). <a href="https://snorkel.ai/leaderboard/terminal-bench-2-1/" class="external autonumber" rel="nofollow">[10]</a></span>
11. <span id="cite_note-tbench_lb_21-11">↑ <sup>[11,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_21_11-0)</sup> <sup>[11,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_21_11-1)</sup> "Terminal-Bench — Leaderboard (v2.1)". *tbench.ai*. <a href="https://www.tbench.ai/leaderboard/terminal-bench/2.1" class="external autonumber" rel="nofollow">[11]</a></span>
12. <span id="cite_note-tb2_registry-12">↑ <sup>[12,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb2_registry_12-0)</sup> <sup>[12,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb2_registry_12-1)</sup> <sup>[12,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb2_registry_12-2)</sup> <sup>[12,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tb2_registry_12-3)</sup> "terminal-bench-2 — task registry". *GitHub* (laude-institute/terminal-bench-2). <a href="https://github.com/laude-institute/terminal-bench-2" class="external autonumber" rel="nofollow">[12]</a></span>
13. <span id="cite_note-tbench_lb_20-13">↑ <sup>[13,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_20_13-0)</sup> <sup>[13,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_20_13-1)</sup> <sup>[13,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_20_13-2)</sup> <sup>[13,3](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tbench_lb_20_13-3)</sup> "Terminal-Bench — Leaderboard (v2.0)". *tbench.ai*. <a href="https://www.tbench.ai/leaderboard/terminal-bench/2.0" class="external autonumber" rel="nofollow">[13]</a></span>
14. <span id="cite_note-aa_leaderboard-14">↑ <sup>[14,0](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-aa_leaderboard_14-0)</sup> <sup>[14,1](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-aa_leaderboard_14-1)</sup> <sup>[14,2](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-aa_leaderboard_14-2)</sup> "Terminal-Bench Hard Benchmark Leaderboard". *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/terminalbench-hard" class="external autonumber" rel="nofollow">[14]</a></span>
15. <span id="cite_note-terminalworld-15">[↑](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-terminalworld_15-0) Chu, Z. et al. "TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks". *arXiv:2605.22535*, 2026. <a href="https://arxiv.org/abs/2605.22535" class="external autonumber" rel="nofollow">[15]</a></span>
16. <span id="cite_note-tuabench-16">[↑](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-tuabench_16-0) "TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents". *arXiv:2606.28480*, 2026. <a href="https://arxiv.org/abs/2606.28480" class="external autonumber" rel="nofollow">[16]</a></span>
17. <span id="cite_note-aa_v21-17">[↑](https://systems-analysis.info/wiki/Terminal-Bench#cite_ref-aa_v21_17-0) "Terminal-Bench v2.1 Benchmark Leaderboard". *Artificial Analysis*. <a href="https://artificialanalysis.ai/evaluations/terminalbench-v2-1" class="external autonumber" rel="nofollow">[17]</a></span>
