Terminal-Bench

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Terminal-Bench — бенчмарк, предназначенный для оценки возможностей автономных агентов искусственного интеллекта (ИИ) на реалистичных сквозных (end-to-end) задачах, выполняемых через терминал командной строки. В отличие от тестов знаний, оценивающих единственный текстовый ответ, Terminal-Bench помещает агента в изолированную среду («песочницу») операционной системы и проверяет, способен ли он действительно достичь поставленной цели — скомпилировать программу, настроить сервер, обучить модель, отладить систему или восстановить данные, — по финальному состоянию этой среды[1]. Проект — совместная работа Стэнфордского университета и Laude Institute, развиваемая открыто с участием большого сообщества исследователей и инженеров[2].

Terminal-Bench задуман как мера того, насколько агенты продвинулись в самостоятельном выполнении полезной длительной (long-horizon) работы в той среде, которая незаметно стала опорой современных агентных инструментов программирования, — в терминале[1]. Бенчмарк распространяется вместе со своим оценочным harness'ом, так что любая языковая модель в паре с любым агентным скаффолдом может быть запущена на тех же задачах и отражена на публичном лидерборде tbench.ai[3].

Предыстория

К середине 2020-х годов агентные ИИ-системы, такие как Cursor, OpenAI Codex CLI, Claude Code и Gemini CLI, сделали командную строку основным интерфейсом, через который модели выполняют сложную работу[1][4]. Существовавшие бенчмарки агентов, однако, тяготели к одной из двух крайностей: либо они измеряли узкие искусственные задачи, не отражавшие реальные рабочие процессы, либо не были достаточно сложными, чтобы отличить по-настоящему сильных frontier-агентов от тех, что справляются лишь с рутинными операциями[1].

Прямым методологическим предшественником стал SWE-bench, требующий от модели решения реальных issues с GitHub и оценивающий её по юнит-тестам из pull request'а, который изначально закрыл этот issue. Участники Laude Institute ранее создали K-Prize (премию Конвинского, Konwinski Prize) — соревнование с призовым фондом в 1 млн долларов вокруг свободной от контаминации, постоянно обновляемой версии SWE-bench. Работа над этой задачей показала, что дизайн SWE-bench — задачи, ограниченные issues в открытых Python-репозиториях, — является частным случаем более широкой абстракции: агент, действующий в произвольной вычислительной среде и проверяемый тестами по итоговому состоянию[5]. Terminal-Bench обобщил эту идею на сам терминал.

Создание бенчмарка

Оригинальный релиз

Terminal-Bench был публично представлен 19 мая 2025 года вместе с Terminus — агентом в статусе research preview, служащим нейтральным скаффолдом для оценки языковых моделей как автономных терминальных агентов[6]. Работы возглавляли в Стэнфорде Майк А. Меррилл (Mike A. Merrill) и в Laude Institute — Александр Г. Шоу (Alexander G. Shaw, бывший инженер Google) в рамках институтской программы «impact research» — деятельности, призванной давать пригодные к использованию артефакты, а не только публикации. Laude Institute основал Энди Конвински (Andy Konwinski), сооснователь Databricks и Perplexity, чей принцип «выпускать рано и собирать обратную связь» сформировал развитие проекта[5]. Исходный набор задач, Terminal-Bench-Core, содержал 80 задач и поставлялся вместе с датасетом и оценочным harness'ом, соединяющим языковую модель с терминальной песочницей на базе Docker[3].

Интерес к проекту был высоким. К концу 2025 года репозиторий преодолел отметку в 1 000 звёзд GitHub и привлёк вклады почти 100 разработчиков по всему миру, а результаты Terminal-Bench начали появляться на модельных карточках новых систем — DeepSeek-V3.1-Terminus и Qwen3-Coder, — а также в анонсах Anthropic о Claude 4 и Claude Sonnet 4.5[4][7]. Один из наиболее результативных внешних участников, исследователь в области безопасности Nicholas Carlini, автор значительной части корпуса задач — от упражнений по криптоанализу до построения компиляторов и интерпретаторов[2].

Terminal-Bench 2.0

С самого начала Terminal-Bench задумывался как «живой» бенчмарк, усложняемый по мере роста возможностей моделей. За 2025 год frontier-результаты на исходном наборе перевалили за 50 %, что создало риск насыщения бенчмарка прежде, чем он накопит достаточно оценок, чтобы служить устойчивым сигналом[7]. Опыт эксплуатации после запуска также выявил проблемы надёжности исходного корпуса: некоторые задачи были нерешаемыми по искусственным причинам, другие задавали произвольные пороги успеха, а часть оказалась нестабильной из-за внешних условий — самый известный пример — задача «скачать видео с YouTube», сломавшаяся, когда YouTube усилил антибот-защиту[7].

Terminal-Bench 2.0 выпущен 7 ноября 2025 года для решения этих проблем в сотрудничестве со Snorkel AI — одним из ведущих внешних участников. Версия включает 89 тщательно отобранных задач: каждую проверяли на воспроизводимость, качество спецификации и решаемость; простые и невоспроизводимые задания удалены, а спецификации ужесточены так, чтобы результат, близкий к 100 %, был в принципе достижим для достаточно сильного агента. Заявленной целью проектирования был «потолок в 50 %»: уровень сложности, достаточно низкий, чтобы давать содержательный сигнал, но достаточно высокий, чтобы оставался явный запас для роста[7]. В релиз также вошёл новый, более масштабируемый оценочный harness — фреймворк Harbor (теперь официальное средство запуска бенчмарка), а скаффолд по умолчанию обновлён до Terminus 2[8][2]. Сопроводительная статья «Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces» подана на arXiv 17 января 2026 года (arXiv:2601.11868); первый автор — Майк А. Меррилл, всего 84 соавтора, что отражает сообществский характер корпуса задач[1][9].

Terminal-Bench 2.1

Последующее верифицированное обновление, Terminal-Bench 2.1, выпущено 6 мая 2026 года[6]. Оно сохраняет те же 89 задач, но исправляет 28 из них: 9 с дрейфом внешних зависимостей, 8 со слишком жёсткими лимитами ресурсов, остальные — с рассогласованиями между инструкцией задачи и её тестами. Обновление добавляет непрерывную валидацию, периодически перепроверяющую окружения задач; после исправлений нерешаемых задач не осталось[10]. Поскольку изменения устраняют искусственные неудачи, а не добавляют сложность, измеренные оценки в целом растут относительно 2.0 — на сопоставимых парах «модель + скаффолд» до 12 процентных пунктов. Версия 2.1 оценивается в контролируемых условиях (субмиссии не могут менять таймауты и ресурсы) и служит более надёжной основой для межмодельного сравнения, тогда как более крупный лидерборд 2.0 остаётся исторической записью на исходном наборе задач[10][11].

Структура и содержание бенчмарка

Каждая задача Terminal-Bench — самодостаточная единица, состоящая из уникального Docker-контейнера (базовый образ с предустановленными пакетами и файлами), инструкции на естественном языке, описывающей цель, человеко-написанного эталонного решения (oracle solution) и набора автоматических тестов, проверяющих результат. Оценка исследует только финальное состояние контейнера — созданные файлы, запущенные сервисы, вычисленные значения, — а не конкретные команды агента или его промежуточные шаги[2]. Многие задачи задают веса отдельных тестов, допуская частичный зачёт, когда агент выполнил часть условий проверки[3].

Субмиссии объединяют базовую модель с агентным скаффолдом — Codex CLI, Terminus 2, Mini-SWE-Agent, Claude Code и другими, — и каждая комбинация «модель + скаффолд» отображается в лидерборде отдельной строкой[2]. Оценка спроектирована воспроизводимой: каждая задача фиксирует лимиты ресурсов и времени — CPU, память, хранилище, выделение GPU, отдельные таймауты агента и верификатора, — которые субмиссии не могут изменять, чтобы оценки не искажались различиями в оборудовании[12][13].

89 задач версии 2 охватывают 16 категорий и три уровня сложности[12]:

Категория Задач
Программная инженерия 26
Системное администрирование 9
Безопасность 8
Научные вычисления 8
Наука о данных 8
Файловые операции 5
Отладка 5
Обучение моделей 4
Математика 4
Обработка данных 4
Машинное обучение 3
Игры, персональный ассистент, оптимизация, запросы к данным, обработка видео по 1

По сложности набор смещён к среднему уровню: 4 лёгких, 55 средних и 30 сложных задач[12]. Задачи намеренно разнообразны и устойчивы к сопоставлению с шаблонами из обучающих данных. Характерные примеры из набора версии 2: кросс-компиляция игры Doom под архитектуру MIPS, восстановление намеренно обрезанной базы SQLite, дифференциальный криптоанализ шифра FEAL, взлом пароля защищённого 7-Zip-архива с помощью John the Ripper, установка Windows 3.11 в эмуляции[12].

Все задачи обладают общими свойствами:

  • Реалистичность и сквозной характер: каждая задача воспроизводит проблему из реального инженерного или исследовательского процесса, а не изолированный фрагмент кода[1].
  • Программная проверяемость: успех определяется тестами по состоянию контейнера, что подходит для автоматической оценки[2].
  • Сложность и устойчивость к контаминации: задачи подобраны так, чтобы их вряд ли можно было запомнить из обучающих данных и чтобы их решение требовало настоящей многошаговой работы, а не вспоминания[14].

Основная метрика — частота решённых задач (эквивалентно точности pass@1), публикуемая для каждой субмиссии с 95-процентным доверительным интервалом[2].

Результаты моделей

Terminal-Bench проектировался сложным и остаётся таковым по мере роста моделей. Опубликованная оценка сильно зависит от версии бенчмарка (2.0 или очищенная 2.1), агентного скаффолда, подмножества задач и даты оценки, поэтому приведённые ниже цифры следует читать как движущуюся картину, а не фиксированный рейтинг.

  • Исходный бенчмарк (2025). В течение 2025 года сильнейшие системы вывели точность на исходном наборе из 80 задач за отметку 50 % — это и стало триггером для создания более сложной второй версии[7].
  • На момент выхода статьи (январь 2026). В собственном harness'е бенчмарка на тот момент frontier-модели и агенты набирали менее 65 %. Авторы отметили крутую траекторию: за примерно восемь месяцев между релизами Gemini 2.5 Pro и GPT-5.2 лучший результат на бенчмарке почти удвоился[1].
  • Скаффолд значит больше, чем кажется. В официальном лидерборде оценка субмиссии отражает не столько саму модель, сколько обёрнутый вокруг неё агентный скаффолд. Верхушку борда 2.0 держат тщательно спроектированные сторонние скаффолды; та же frontier-модель под нейтральным harness'ом Terminus 2 набирает заметно меньше — например, Terminus 2 с Claude Opus 4.6 достигает около 62,9 %, тогда как потолок у кастомных скаффолдов — примерно 84,7 %[13].
  • Текущее состояние (середина 2026). На историческом лидерборде 2.0 (142 субмиссии) лучшие комбинации «модель + скаффолд» достигают середины 80-х, семь записей выше 80 %, но медиана находится около 44 %. Очищенное обновление 2.1 ставит свои лучшие верифицированные записи в нижние 80-е (Codex CLI с GPT-5.5 — около 83,4 %)[10]. Независимые оценки на более сложном подмножестве дают ещё меньше: на «Terminal-Bench Hard» от Artificial Analysis лидеры держатся в нижних 60-х[14].

Авторы признают: если тенденция сохранится, Terminal-Bench сам может подойти к насыщению примерно за год — к этому моменту модели смогут надёжно и автономно выполнять большинство чётко определённых терминальных задач, и потребуется очередная ревизия[1].

Критика и ограничения

Несмотря на быстрое распространение в качестве де-факто стандарта оценки агентного программирования, Terminal-Bench имеет признанные ограничения, часть которых задокументирована самими мейнтейнерами.

  • Надёжность задач. Первый выпуск содержал задачи, которые были нерешаемыми, имели произвольные пороги успешности или зависели от нестабильных внешних сервисов (как задача со скачиванием видео с YouTube, пострадавшая от изменения антибот-мер). Эти проблемы мотивировали редизайн версии 2.0 и дальнейшее обновление 2.1, исправившее ещё 28 задач и добавившее непрерывную валидацию[7][10].
  • Целостность лидерборда. Поскольку субмиссии запускаются самими участниками, а крупный открытый борд 2.0 вознаграждает тщательно спроектированные кастомные скаффолды, в апреле 2026 года мейнтейнеры ввели явные политики против читинга и reward hacking после сигналов о проблемах целостности; верифицированный командой борд 2.1 и его запуски в контролируемых условиях — отчасти ответ на это. Верхние записи открытого борда следует читать с осторожностью[6].
  • Скаффолд как мешающий фактор. Строка лидерборда — это модель плюс агентный скаффолд, поэтому высокая оценка может отражать качество обвязки не меньше, чем способности самой модели. Это усложняет межмодельные сравнения: одна и та же модель может различаться на много пунктов в зависимости от скаффолда; нейтральный harness Terminus 2 предоставлен именно для более сопоставимого сравнения «чистых» моделей[13][2].
  • Внешняя валидность. Сильный результат на Terminal-Bench может не переноситься на более «грязную» реальную терминальную работу. Авторы TerminalWorld, бенчмарка из 200 верифицированных реальных терминальных задач, сообщают, что даже сильнейшие системы решают не более 62,5 %, а результаты слабо коррелируют с курируемыми бенчмарками вроде Terminal-Bench (коэффициент Пирсона r = 0,20), что указывает на разные навыки[15].
  • Узкий охват задач. По построению Terminal-Bench измеряет закрытые, проверяемые задачи, подходящие для терминального исполнения, — прежде всего технические процессы. Он не оценивает креативность, открытые исследования или умение ставить новые проблемы, поэтому высокая оценка сама по себе не означает универсальных возможностей[1]. Более широкие инициативы, такие как TUA-Bench, распространяют оценку использования терминала за пределы технической работы: 120 задач в пяти семействах — включая редактирование документов, управление электронной почтой и поиск информации в живом вебе, — где лучший агент (Claude Code с Claude Opus 4.8) достигает 65,8 %[16].
  • Чувствительность оценок и насыщение. Публикуемые числа меняются в зависимости от версии, скаффолда, подмножества задач и даты, поэтому разные лидерборды расходятся и в величинах, и в текущем лидере. А поскольку бенчмарк целится в 50-процентный потолок для frontier-систем, срок его полезной жизни ограничен: быстрый прогресс, желанный для отрасли, укорачивает окно, в котором бенчмарк различает модели[7][1].

Значение и перспективы

Terminal-Bench появился, когда агентные инструменты программирования становились мейнстримом, и заполнил разрыв между искусственными микробенчмарками и задачами, слишком лёгкими для frontier-агентов.

  • Общая система отсчёта для агентов. Бенчмарк даёт исследователям и разработчикам стандартизированный (хотя и чувствительный к скаффолду и harness'у) способ отслеживать, насколько хорошо агенты выполняют реальную многошаговую работу с течением времени; его результаты теперь цитируются на модельных карточках крупных релизов[4].
  • Открытая расширяемая платформа. Распространяется вместе со своим harness'ом (Terminus/Terminus 2) и, начиная с версии 2.0, с фреймворком Harbor; проект рассчитан на поглощение задач от сообщества и портирование других бенчмарков в единый формат оценки[3][8].
  • Движущаяся цель по замыслу. Явно заданный 50-процентный потолок означает, что бенчмарк предназначен для усложнения и перепроверки по мере роста возможностей. Помимо исходного набора, версии 2.0 и обновления 2.1, в марте 2026 года мейнтейнеры открыли сбор вкладов для более сложного Terminal-Bench 3.0, а в июне 2026 года анонсировали Terminal-Bench Challenges — долгосрочные, токеноёмкие однозадачные бенчмарки для оценки агентов на крупных автономных проектах[6].

Результаты моделей по источникам

Оценки Terminal-Bench не абсолютны: они зависят от версии бенчмарка, агентного скаффолда и harness'а, использованных при оценивании, подмножества задач и даты. Четыре различных публичных борда иллюстрируют это и не сопоставимы напрямую: собственные лидерборды проекта для версии 2.0 (крупный, исторический) и версии 2.1 (меньший, верифицированное обновление тех же 89 задач), а также два борда независимого оценщика Artificial Analysis — «Terminal-Bench Hard» (сложное подмножество) и «Terminal-Bench v2.1» (собственный запуск обновлённого набора). Цифры корректно сравнивать внутри одного источника. Все таблицы ниже — моментальные снимки, меняющиеся со временем; каждый датирован, а для текущего состояния следует обращаться к живым лидербордам.

tbench.ai — официальные лидерборды

Оба официальных борда оценивают каждую субмиссию «модель + скаффолд» по частоте решённых задач на наборе из 89 задач с 95-процентным доверительным интервалом; верификация проверяет только финальное состояние контейнера. Борд 2.1 — очищенное верифицированное обновление и более надёжная основа для сравнения; борд 2.0 крупнее (142 субмиссии, медиана около 44 %), работает на исходном наборе задач, а его верхние места заняты сторонними кастомными скаффолдами, а не эталонными harness'ами. Снимки ниже — середина 2026 года[11][13].

Terminal-Bench 2.1 (верифицированное обновление; 13 субмиссий, показаны верхние записи):

№ Агент (скаффолд) Модель Точность, % (±95 % ДИ)
1 Codex CLI GPT-5.5 83.4 ±2.2
2 Claude Code Claude Fable 5 83.1 ±2.0
3 Terminus 2 Claude Fable 5 80.4 ±2.3

Terminal-Bench 2.0 (исторический; 142 субмиссии, показаны верхние записи):

Ранг Агент (скаффолд) Модель Точность, % (±95 % ДИ)
1 NexAU-AHE GPT-5.5 84.7 ±2.1
2 LemonHarness Несколько 84.5 ±2.6
3 Capy GPT-5.5 83.1 ±2.1
4 Codex CLI GPT-5.5 82.2 ±2.2
5 Polaris Несколько 82.2 ±2.8
6 WOZCODE Claude Opus 4.7 80.2 ±2.1
7 TongAgents Gemini 3.1 Pro 80.2 ±2.6
8 LemonHarness Несколько 79.9 ±3.0
Для справки — узнаваемые записи с эталонным harness'ом (ниже в таблице):
~36 Terminus 2 (нейтральный harness) Claude Opus 4.6 62.9
~50 Claude Code Claude Opus 4.6 58.0

Artificial Analysis — независимые лидерборды

Независимый оценщик, запускающий собственный harness. Его борд «Terminal-Bench Hard» оценивает сложное подмножество (на момент написания из 423 отслеживаемых моделей были оценены 28), и его лидеры заметно ниже, чем на официальных бордах. Отдельный борд «Terminal-Bench v2.1» запускает обновлённый набор из 89 задач с harness'ом Terminus 2 в песочнице e2b (pass@1, усреднённый по трём повторам) и показывает лучшие результаты около 84–85 % — Claude Opus 4.8 и Claude Fable 5 по 84,6 %, GPT-5.5 (xhigh) — 84,3 % — в согласии с официальными цифрами 2.1. Два борда между собой не сопоставимы. Лидеры «Terminal-Bench Hard» в таблице ниже считаны с лидерборда Artificial Analysis по состоянию на 1 июля 2026 года[14][17].

№ Модель Точность, % (Terminal-Bench Hard)
1 Claude Fable 5 (adaptive reasoning, max effort, откат на Opus 4.8) 62.9
2 GPT-5.5 (xhigh) 60.6
3 GPT-5.5 (high) 59.8

См. также

Ссылки

Литература

  • Merrill, M. A. et al. (2026). Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces. arXiv:2601.11868.
  • Chu, Z. et al. (2026). TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks. arXiv:2605.22535.
  • Jimenez, C. E. et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. arXiv:2310.06770.
  • Wang, X. et al. (2025). The OpenHands Software Agent SDK: A Composable and Extensible Foundation for Production Agents. arXiv:2511.03690.
  • Mialon, G. et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
  • TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents (2026). arXiv:2606.28480.

Примечания

  1. ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 Merrill, M. A., Shaw, A. G., Carlini, N. et al. "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". arXiv:2601.11868, 2026. [1]
  2. ↑ 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 "Terminal-Bench 2.0". Snorkel AI — Terminal-Bench 2.0 page. [2]
  3. ↑ 3,0 3,1 3,2 3,3 "Terminal-Bench". GitHub (laude-institute / harbor-framework). [3]
  4. ↑ 4,0 4,1 4,2 "Evaluating Coding Agents with Terminal-Bench". Snorkel AI. [4]
  5. ↑ 5,0 5,1 "Chat With the Terminal-Bench Team". Snorkel AI. [5]
  6. ↑ 6,0 6,1 6,2 6,3 "Terminal-Bench — News". tbench.ai. [6]
  7. ↑ 7,0 7,1 7,2 7,3 7,4 7,5 7,6 "Terminal-Bench 2.0: Raising the bar for AI agent evaluation". Snorkel AI, 7 November 2025. [7]
  8. ↑ 8,0 8,1 "Running Terminal-Bench". Harbor framework documentation. [8]
  9. ↑ "Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces". OpenReview. [9]
  10. ↑ 10,0 10,1 10,2 10,3 "Terminal-Bench 2.1". Snorkel AI (official leaderboard). [10]
  11. ↑ 11,0 11,1 "Terminal-Bench — Leaderboard (v2.1)". tbench.ai. [11]
  12. ↑ 12,0 12,1 12,2 12,3 "terminal-bench-2 — task registry". GitHub (laude-institute/terminal-bench-2). [12]
  13. ↑ 13,0 13,1 13,2 13,3 "Terminal-Bench — Leaderboard (v2.0)". tbench.ai. [13]
  14. ↑ 14,0 14,1 14,2 "Terminal-Bench Hard Benchmark Leaderboard". Artificial Analysis. [14]
  15. ↑ Chu, Z. et al. "TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks". arXiv:2605.22535, 2026. [15]
  16. ↑ "TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents". arXiv:2606.28480, 2026. [16]
  17. ↑ "Terminal-Bench v2.1 Benchmark Leaderboard". Artificial Analysis. [17]