Terminal-Bench
Terminal-Bench — бенчмарк, предназначенный для оценки возможностей автономных агентов искусственного интеллекта (ИИ) на реалистичных сквозных (end-to-end) задачах, выполняемых через терминал командной строки. В отличие от тестов знаний, оценивающих единственный текстовый ответ, Terminal-Bench помещает агента в изолированную среду («песочницу») операционной системы и проверяет, способен ли он действительно достичь поставленной цели — скомпилировать программу, настроить сервер, обучить модель, отладить систему или восстановить данные, — по финальному состоянию этой среды[1]. Проект — совместная работа Стэнфордского университета и Laude Institute, развиваемая открыто с участием большого сообщества исследователей и инженеров[2].
Terminal-Bench задуман как мера того, насколько агенты продвинулись в самостоятельном выполнении полезной длительной (long-horizon) работы в той среде, которая незаметно стала опорой современных агентных инструментов программирования, — в терминале[1]. Бенчмарк распространяется вместе со своим оценочным harness'ом, так что любая языковая модель в паре с любым агентным скаффолдом может быть запущена на тех же задачах и отражена на публичном лидерборде tbench.ai[3].
Предыстория
К середине 2020-х годов агентные ИИ-системы, такие как Cursor, OpenAI Codex CLI, Claude Code и Gemini CLI, сделали командную строку основным интерфейсом, через который модели выполняют сложную работу[1][4]. Существовавшие бенчмарки агентов, однако, тяготели к одной из двух крайностей: либо они измеряли узкие искусственные задачи, не отражавшие реальные рабочие процессы, либо не были достаточно сложными, чтобы отличить по-настоящему сильных frontier-агентов от тех, что справляются лишь с рутинными операциями[1].
Прямым методологическим предшественником стал SWE-bench, требующий от модели решения реальных issues с GitHub и оценивающий её по юнит-тестам из pull request'а, который изначально закрыл этот issue. Участники Laude Institute ранее создали K-Prize (премию Конвинского, Konwinski Prize) — соревнование с призовым фондом в 1 млн долларов вокруг свободной от контаминации, постоянно обновляемой версии SWE-bench. Работа над этой задачей показала, что дизайн SWE-bench — задачи, ограниченные issues в открытых Python-репозиториях, — является частным случаем более широкой абстракции: агент, действующий в произвольной вычислительной среде и проверяемый тестами по итоговому состоянию[5]. Terminal-Bench обобщил эту идею на сам терминал.
Создание бенчмарка
Оригинальный релиз
Terminal-Bench был публично представлен 19 мая 2025 года вместе с Terminus — агентом в статусе research preview, служащим нейтральным скаффолдом для оценки языковых моделей как автономных терминальных агентов[6]. Работы возглавляли в Стэнфорде Майк А. Меррилл (Mike A. Merrill) и в Laude Institute — Александр Г. Шоу (Alexander G. Shaw, бывший инженер Google) в рамках институтской программы «impact research» — деятельности, призванной давать пригодные к использованию артефакты, а не только публикации. Laude Institute основал Энди Конвински (Andy Konwinski), сооснователь Databricks и Perplexity, чей принцип «выпускать рано и собирать обратную связь» сформировал развитие проекта[5]. Исходный набор задач, Terminal-Bench-Core, содержал 80 задач и поставлялся вместе с датасетом и оценочным harness'ом, соединяющим языковую модель с терминальной песочницей на базе Docker[3].
Интерес к проекту был высоким. К концу 2025 года репозиторий преодолел отметку в 1 000 звёзд GitHub и привлёк вклады почти 100 разработчиков по всему миру, а результаты Terminal-Bench начали появляться на модельных карточках новых систем — DeepSeek-V3.1-Terminus и Qwen3-Coder, — а также в анонсах Anthropic о Claude 4 и Claude Sonnet 4.5[4][7]. Один из наиболее результативных внешних участников, исследователь в области безопасности Nicholas Carlini, автор значительной части корпуса задач — от упражнений по криптоанализу до построения компиляторов и интерпретаторов[2].
Terminal-Bench 2.0
С самого начала Terminal-Bench задумывался как «живой» бенчмарк, усложняемый по мере роста возможностей моделей. За 2025 год frontier-результаты на исходном наборе перевалили за 50 %, что создало риск насыщения бенчмарка прежде, чем он накопит достаточно оценок, чтобы служить устойчивым сигналом[7]. Опыт эксплуатации после запуска также выявил проблемы надёжности исходного корпуса: некоторые задачи были нерешаемыми по искусственным причинам, другие задавали произвольные пороги успеха, а часть оказалась нестабильной из-за внешних условий — самый известный пример — задача «скачать видео с YouTube», сломавшаяся, когда YouTube усилил антибот-защиту[7].
Terminal-Bench 2.0 выпущен 7 ноября 2025 года для решения этих проблем в сотрудничестве со Snorkel AI — одним из ведущих внешних участников. Версия включает 89 тщательно отобранных задач: каждую проверяли на воспроизводимость, качество спецификации и решаемость; простые и невоспроизводимые задания удалены, а спецификации ужесточены так, чтобы результат, близкий к 100 %, был в принципе достижим для достаточно сильного агента. Заявленной целью проектирования был «потолок в 50 %»: уровень сложности, достаточно низкий, чтобы давать содержательный сигнал, но достаточно высокий, чтобы оставался явный запас для роста[7]. В релиз также вошёл новый, более масштабируемый оценочный harness — фреймворк Harbor (теперь официальное средство запуска бенчмарка), а скаффолд по умолчанию обновлён до Terminus 2[8][2]. Сопроводительная статья «Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces» подана на arXiv 17 января 2026 года (arXiv:2601.11868); первый автор — Майк А. Меррилл, всего 84 соавтора, что отражает сообществский характер корпуса задач[1][9].
Terminal-Bench 2.1
Последующее верифицированное обновление, Terminal-Bench 2.1, выпущено 6 мая 2026 года[6]. Оно сохраняет те же 89 задач, но исправляет 28 из них: 9 с дрейфом внешних зависимостей, 8 со слишком жёсткими лимитами ресурсов, остальные — с рассогласованиями между инструкцией задачи и её тестами. Обновление добавляет непрерывную валидацию, периодически перепроверяющую окружения задач; после исправлений нерешаемых задач не осталось[10]. Поскольку изменения устраняют искусственные неудачи, а не добавляют сложность, измеренные оценки в целом растут относительно 2.0 — на сопоставимых парах «модель + скаффолд» до 12 процентных пунктов. Версия 2.1 оценивается в контролируемых условиях (субмиссии не могут менять таймауты и ресурсы) и служит более надёжной основой для межмодельного сравнения, тогда как более крупный лидерборд 2.0 остаётся исторической записью на исходном наборе задач[10][11].
Структура и содержание бенчмарка
Каждая задача Terminal-Bench — самодостаточная единица, состоящая из уникального Docker-контейнера (базовый образ с предустановленными пакетами и файлами), инструкции на естественном языке, описывающей цель, человеко-написанного эталонного решения (oracle solution) и набора автоматических тестов, проверяющих результат. Оценка исследует только финальное состояние контейнера — созданные файлы, запущенные сервисы, вычисленные значения, — а не конкретные команды агента или его промежуточные шаги[2]. Многие задачи задают веса отдельных тестов, допуская частичный зачёт, когда агент выполнил часть условий проверки[3].
Субмиссии объединяют базовую модель с агентным скаффолдом — Codex CLI, Terminus 2, Mini-SWE-Agent, Claude Code и другими, — и каждая комбинация «модель + скаффолд» отображается в лидерборде отдельной строкой[2]. Оценка спроектирована воспроизводимой: каждая задача фиксирует лимиты ресурсов и времени — CPU, память, хранилище, выделение GPU, отдельные таймауты агента и верификатора, — которые субмиссии не могут изменять, чтобы оценки не искажались различиями в оборудовании[12][13].
89 задач версии 2 охватывают 16 категорий и три уровня сложности[12]:
| Категория | Задач |
|---|---|
| Программная инженерия | 26 |
| Системное администрирование | 9 |
| Безопасность | 8 |
| Научные вычисления | 8 |
| Наука о данных | 8 |
| Файловые операции | 5 |
| Отладка | 5 |
| Обучение моделей | 4 |
| Математика | 4 |
| Обработка данных | 4 |
| Машинное обучение | 3 |
| Игры, персональный ассистент, оптимизация, запросы к данным, обработка видео | по 1 |
По сложности набор смещён к среднему уровню: 4 лёгких, 55 средних и 30 сложных задач[12]. Задачи намеренно разнообразны и устойчивы к сопоставлению с шаблонами из обучающих данных. Характерные примеры из набора версии 2: кросс-компиляция игры Doom под архитектуру MIPS, восстановление намеренно обрезанной базы SQLite, дифференциальный криптоанализ шифра FEAL, взлом пароля защищённого 7-Zip-архива с помощью John the Ripper, установка Windows 3.11 в эмуляции[12].
Все задачи обладают общими свойствами:
- Реалистичность и сквозной характер: каждая задача воспроизводит проблему из реального инженерного или исследовательского процесса, а не изолированный фрагмент кода[1].
- Программная проверяемость: успех определяется тестами по состоянию контейнера, что подходит для автоматической оценки[2].
- Сложность и устойчивость к контаминации: задачи подобраны так, чтобы их вряд ли можно было запомнить из обучающих данных и чтобы их решение требовало настоящей многошаговой работы, а не вспоминания[14].
Основная метрика — частота решённых задач (эквивалентно точности pass@1), публикуемая для каждой субмиссии с 95-процентным доверительным интервалом[2].
Результаты моделей
Terminal-Bench проектировался сложным и остаётся таковым по мере роста моделей. Опубликованная оценка сильно зависит от версии бенчмарка (2.0 или очищенная 2.1), агентного скаффолда, подмножества задач и даты оценки, поэтому приведённые ниже цифры следует читать как движущуюся картину, а не фиксированный рейтинг.
- Исходный бенчмарк (2025). В течение 2025 года сильнейшие системы вывели точность на исходном наборе из 80 задач за отметку 50 % — это и стало триггером для создания более сложной второй версии[7].
- На момент выхода статьи (январь 2026). В собственном harness'е бенчмарка на тот момент frontier-модели и агенты набирали менее 65 %. Авторы отметили крутую траекторию: за примерно восемь месяцев между релизами Gemini 2.5 Pro и GPT-5.2 лучший результат на бенчмарке почти удвоился[1].
- Скаффолд значит больше, чем кажется. В официальном лидерборде оценка субмиссии отражает не столько саму модель, сколько обёрнутый вокруг неё агентный скаффолд. Верхушку борда 2.0 держат тщательно спроектированные сторонние скаффолды; та же frontier-модель под нейтральным harness'ом Terminus 2 набирает заметно меньше — например, Terminus 2 с Claude Opus 4.6 достигает около 62,9 %, тогда как потолок у кастомных скаффолдов — примерно 84,7 %[13].
- Текущее состояние (середина 2026). На историческом лидерборде 2.0 (142 субмиссии) лучшие комбинации «модель + скаффолд» достигают середины 80-х, семь записей выше 80 %, но медиана находится около 44 %. Очищенное обновление 2.1 ставит свои лучшие верифицированные записи в нижние 80-е (Codex CLI с GPT-5.5 — около 83,4 %)[10]. Независимые оценки на более сложном подмножестве дают ещё меньше: на «Terminal-Bench Hard» от Artificial Analysis лидеры держатся в нижних 60-х[14].
Авторы признают: если тенденция сохранится, Terminal-Bench сам может подойти к насыщению примерно за год — к этому моменту модели смогут надёжно и автономно выполнять большинство чётко определённых терминальных задач, и потребуется очередная ревизия[1].
Критика и ограничения
Несмотря на быстрое распространение в качестве де-факто стандарта оценки агентного программирования, Terminal-Bench имеет признанные ограничения, часть которых задокументирована самими мейнтейнерами.
- Надёжность задач. Первый выпуск содержал задачи, которые были нерешаемыми, имели произвольные пороги успешности или зависели от нестабильных внешних сервисов (как задача со скачиванием видео с YouTube, пострадавшая от изменения антибот-мер). Эти проблемы мотивировали редизайн версии 2.0 и дальнейшее обновление 2.1, исправившее ещё 28 задач и добавившее непрерывную валидацию[7][10].
- Целостность лидерборда. Поскольку субмиссии запускаются самими участниками, а крупный открытый борд 2.0 вознаграждает тщательно спроектированные кастомные скаффолды, в апреле 2026 года мейнтейнеры ввели явные политики против читинга и reward hacking после сигналов о проблемах целостности; верифицированный командой борд 2.1 и его запуски в контролируемых условиях — отчасти ответ на это. Верхние записи открытого борда следует читать с осторожностью[6].
- Скаффолд как мешающий фактор. Строка лидерборда — это модель плюс агентный скаффолд, поэтому высокая оценка может отражать качество обвязки не меньше, чем способности самой модели. Это усложняет межмодельные сравнения: одна и та же модель может различаться на много пунктов в зависимости от скаффолда; нейтральный harness Terminus 2 предоставлен именно для более сопоставимого сравнения «чистых» моделей[13][2].
- Внешняя валидность. Сильный результат на Terminal-Bench может не переноситься на более «грязную» реальную терминальную работу. Авторы TerminalWorld, бенчмарка из 200 верифицированных реальных терминальных задач, сообщают, что даже сильнейшие системы решают не более 62,5 %, а результаты слабо коррелируют с курируемыми бенчмарками вроде Terminal-Bench (коэффициент Пирсона r = 0,20), что указывает на разные навыки[15].
- Узкий охват задач. По построению Terminal-Bench измеряет закрытые, проверяемые задачи, подходящие для терминального исполнения, — прежде всего технические процессы. Он не оценивает креативность, открытые исследования или умение ставить новые проблемы, поэтому высокая оценка сама по себе не означает универсальных возможностей[1]. Более широкие инициативы, такие как TUA-Bench, распространяют оценку использования терминала за пределы технической работы: 120 задач в пяти семействах — включая редактирование документов, управление электронной почтой и поиск информации в живом вебе, — где лучший агент (Claude Code с Claude Opus 4.8) достигает 65,8 %[16].
- Чувствительность оценок и насыщение. Публикуемые числа меняются в зависимости от версии, скаффолда, подмножества задач и даты, поэтому разные лидерборды расходятся и в величинах, и в текущем лидере. А поскольку бенчмарк целится в 50-процентный потолок для frontier-систем, срок его полезной жизни ограничен: быстрый прогресс, желанный для отрасли, укорачивает окно, в котором бенчмарк различает модели[7][1].
Значение и перспективы
Terminal-Bench появился, когда агентные инструменты программирования становились мейнстримом, и заполнил разрыв между искусственными микробенчмарками и задачами, слишком лёгкими для frontier-агентов.
- Общая система отсчёта для агентов. Бенчмарк даёт исследователям и разработчикам стандартизированный (хотя и чувствительный к скаффолду и harness'у) способ отслеживать, насколько хорошо агенты выполняют реальную многошаговую работу с течением времени; его результаты теперь цитируются на модельных карточках крупных релизов[4].
- Открытая расширяемая платформа. Распространяется вместе со своим harness'ом (Terminus/Terminus 2) и, начиная с версии 2.0, с фреймворком Harbor; проект рассчитан на поглощение задач от сообщества и портирование других бенчмарков в единый формат оценки[3][8].
- Движущаяся цель по замыслу. Явно заданный 50-процентный потолок означает, что бенчмарк предназначен для усложнения и перепроверки по мере роста возможностей. Помимо исходного набора, версии 2.0 и обновления 2.1, в марте 2026 года мейнтейнеры открыли сбор вкладов для более сложного Terminal-Bench 3.0, а в июне 2026 года анонсировали Terminal-Bench Challenges — долгосрочные, токеноёмкие однозадачные бенчмарки для оценки агентов на крупных автономных проектах[6].
Результаты моделей по источникам
Оценки Terminal-Bench не абсолютны: они зависят от версии бенчмарка, агентного скаффолда и harness'а, использованных при оценивании, подмножества задач и даты. Четыре различных публичных борда иллюстрируют это и не сопоставимы напрямую: собственные лидерборды проекта для версии 2.0 (крупный, исторический) и версии 2.1 (меньший, верифицированное обновление тех же 89 задач), а также два борда независимого оценщика Artificial Analysis — «Terminal-Bench Hard» (сложное подмножество) и «Terminal-Bench v2.1» (собственный запуск обновлённого набора). Цифры корректно сравнивать внутри одного источника. Все таблицы ниже — моментальные снимки, меняющиеся со временем; каждый датирован, а для текущего состояния следует обращаться к живым лидербордам.
tbench.ai — официальные лидерборды
Оба официальных борда оценивают каждую субмиссию «модель + скаффолд» по частоте решённых задач на наборе из 89 задач с 95-процентным доверительным интервалом; верификация проверяет только финальное состояние контейнера. Борд 2.1 — очищенное верифицированное обновление и более надёжная основа для сравнения; борд 2.0 крупнее (142 субмиссии, медиана около 44 %), работает на исходном наборе задач, а его верхние места заняты сторонними кастомными скаффолдами, а не эталонными harness'ами. Снимки ниже — середина 2026 года[11][13].
Terminal-Bench 2.1 (верифицированное обновление; 13 субмиссий, показаны верхние записи):
| № | Агент (скаффолд) | Модель | Точность, % (±95 % ДИ) |
|---|---|---|---|
| 1 | Codex CLI | GPT-5.5 | 83.4 ±2.2 |
| 2 | Claude Code | Claude Fable 5 | 83.1 ±2.0 |
| 3 | Terminus 2 | Claude Fable 5 | 80.4 ±2.3 |
Terminal-Bench 2.0 (исторический; 142 субмиссии, показаны верхние записи):
| Ранг | Агент (скаффолд) | Модель | Точность, % (±95 % ДИ) |
|---|---|---|---|
| 1 | NexAU-AHE | GPT-5.5 | 84.7 ±2.1 |
| 2 | LemonHarness | Несколько | 84.5 ±2.6 |
| 3 | Capy | GPT-5.5 | 83.1 ±2.1 |
| 4 | Codex CLI | GPT-5.5 | 82.2 ±2.2 |
| 5 | Polaris | Несколько | 82.2 ±2.8 |
| 6 | WOZCODE | Claude Opus 4.7 | 80.2 ±2.1 |
| 7 | TongAgents | Gemini 3.1 Pro | 80.2 ±2.6 |
| 8 | LemonHarness | Несколько | 79.9 ±3.0 |
| Для справки — узнаваемые записи с эталонным harness'ом (ниже в таблице): | |||
| ~36 | Terminus 2 (нейтральный harness) | Claude Opus 4.6 | 62.9 |
| ~50 | Claude Code | Claude Opus 4.6 | 58.0 |
Artificial Analysis — независимые лидерборды
Независимый оценщик, запускающий собственный harness. Его борд «Terminal-Bench Hard» оценивает сложное подмножество (на момент написания из 423 отслеживаемых моделей были оценены 28), и его лидеры заметно ниже, чем на официальных бордах. Отдельный борд «Terminal-Bench v2.1» запускает обновлённый набор из 89 задач с harness'ом Terminus 2 в песочнице e2b (pass@1, усреднённый по трём повторам) и показывает лучшие результаты около 84–85 % — Claude Opus 4.8 и Claude Fable 5 по 84,6 %, GPT-5.5 (xhigh) — 84,3 % — в согласии с официальными цифрами 2.1. Два борда между собой не сопоставимы. Лидеры «Terminal-Bench Hard» в таблице ниже считаны с лидерборда Artificial Analysis по состоянию на 1 июля 2026 года[14][17].
| № | Модель | Точность, % (Terminal-Bench Hard) |
|---|---|---|
| 1 | Claude Fable 5 (adaptive reasoning, max effort, откат на Opus 4.8) | 62.9 |
| 2 | GPT-5.5 (xhigh) | 60.6 |
| 3 | GPT-5.5 (high) | 59.8 |
См. также
- SWE-bench
- SWE-bench Pro
- SWE-bench Verified
- SciCode Benchmark
- GPQA Diamond Benchmark
- OSWorld
- Τ-bench
- GDPval-AA v2
- LiveCodeBench
- ARC-AGI-2
- Big-Bench Hard
- MATH-500
- FrontierMath
Ссылки
- Официальный сайт и лидерборд (tbench.ai)
- Новости и хронология релизов Terminal-Bench
- Официальный лидерборд Terminal-Bench 2.1
- Научная статья о бенчмарке (arXiv)
- Terminal-Bench — GitHub (laude-institute)
- Реестр задач Terminal-Bench 2 — GitHub
- Документация фреймворка Harbor
- Лидерборд Terminal-Bench Hard — Artificial Analysis
- Лидерборд Terminal-Bench v2.1 — Artificial Analysis
- Terminal-Bench — AI Wiki
- Terminal-Bench — англоязычная версия статьи
Литература
- Merrill, M. A. et al. (2026). Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces. arXiv:2601.11868.
- Chu, Z. et al. (2026). TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks. arXiv:2605.22535.
- Jimenez, C. E. et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. arXiv:2310.06770.
- Wang, X. et al. (2025). The OpenHands Software Agent SDK: A Composable and Extensible Foundation for Production Agents. arXiv:2511.03690.
- Mialon, G. et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
- TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents (2026). arXiv:2606.28480.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Merrill, M. A., Shaw, A. G., Carlini, N. et al. "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". arXiv:2601.11868, 2026. [1]
- ↑ 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 "Terminal-Bench 2.0". Snorkel AI — Terminal-Bench 2.0 page. [2]
- ↑ 3,0 3,1 3,2 3,3 "Terminal-Bench". GitHub (laude-institute / harbor-framework). [3]
- ↑ 4,0 4,1 4,2 "Evaluating Coding Agents with Terminal-Bench". Snorkel AI. [4]
- ↑ 5,0 5,1 "Chat With the Terminal-Bench Team". Snorkel AI. [5]
- ↑ 6,0 6,1 6,2 6,3 "Terminal-Bench — News". tbench.ai. [6]
- ↑ 7,0 7,1 7,2 7,3 7,4 7,5 7,6 "Terminal-Bench 2.0: Raising the bar for AI agent evaluation". Snorkel AI, 7 November 2025. [7]
- ↑ 8,0 8,1 "Running Terminal-Bench". Harbor framework documentation. [8]
- ↑ "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". OpenReview. [9]
- ↑ 10,0 10,1 10,2 10,3 "Terminal-Bench 2.1". Snorkel AI (official leaderboard). [10]
- ↑ 11,0 11,1 "Terminal-Bench — Leaderboard (v2.1)". tbench.ai. [11]
- ↑ 12,0 12,1 12,2 12,3 "terminal-bench-2 — task registry". GitHub (laude-institute/terminal-bench-2). [12]
- ↑ 13,0 13,1 13,2 13,3 "Terminal-Bench — Leaderboard (v2.0)". tbench.ai. [13]
- ↑ 14,0 14,1 14,2 "Terminal-Bench Hard Benchmark Leaderboard". Artificial Analysis. [14]
- ↑ Chu, Z. et al. "TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks". arXiv:2605.22535, 2026. [15]
- ↑ "TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents". arXiv:2606.28480, 2026. [16]
- ↑ "Terminal-Bench v2.1 Benchmark Leaderboard". Artificial Analysis. [17]