Τ-bench
τ-bench (произносится тау-бенч; сокращение от Tool-Agent-User Interaction Benchmark) — бенчмарк и среда моделирования для оценки того, насколько надёжно большие языковые модели (LLM) взаимодействуют с пользователями, вызывают программные инструменты и соблюдают доменные политики в ходе многоходовых диалогов. Предложен Шунью Яо (Shunyu Yao), Ноа Шинном (Noah Shinn), Педрамом Разави (Pedram Razavi) и Картиком Нарасимханом (Karthik Narasimhan) в июне 2024 года; опубликован на International Conference on Learning Representations в 2025 году[1].
Исходный бенчмарк моделирует взаимодействие службы поддержки с клиентами в двух синтетических доменах: розничная торговля и авиакомпания. Оцениваемый агент получает документ политики и доступ к API-инструментам домена, а вторая языковая модель симулирует клиента по скрытому описанию сценария. Агент должен собрать недостающую информацию, объяснить ограничения, получить подтверждение там, где оно уместно, и произвести требуемые изменения в структурированной базе данных[1].
Исходный релиз содержит 165 задач: 115 задач розницы и 50 задач авиакомпании. В нём введены оценка на основе состояния, сравнивающая среду в конце взаимодействия с аннотированным целевым состоянием, и метрика надёжности pass^k, измеряющая вероятность того, что агент успешен в каждом из k независимых прогонов одной задачи[1].
Название используется и для более широкого семейства бенчмарков. Преемник 2025 года τ²-bench добавил телеком-среду с двойным управлением, в которой инструменты могут применять и агент, и симулируемый пользователь. В марте 2026 года сопровождающие представили версию 1.0.0 активно развиваемого фреймворка как τ³-bench, добавив исправленные наборы задач, полноценную оценку голоса и насыщенный знаниями домен банкинга. Исходный репозиторий tau-bench сохранён как исторический релиз и явно помечен как устаревший[2][3][4].
Предпосылки и мотивация
Более ранние бенчмарки использования инструментов, как правило, дают агенту полную инструкцию и затем позволяют ему действовать автономно — в браузере, терминале, среде кода или наборе API. Такие постановки проверяют планирование и выбор инструментов, но часто упускают два требования, предъявляемых к практическим системам, работающим с клиентами:
- информация, необходимая для выполнения задачи, может быть распределена по нескольким диалоговым ходам;
- агент может быть обязан соблюдать бизнес-правила, которые не контролируются напрямую реализацией инструментов.
Реальному агенту службы поддержки может понадобиться идентифицировать клиента, просмотреть несколько записей, задать уточняющие вопросы, объяснить ограничения политики, получить согласие перед значимым изменением, а после изменения — сообщить подтверждение или финансовую информацию. Правильное действие может зависеть от статуса членства, способа оплаты, состояния заказа, класса салона, времени бронирования или предпочтений, раскрытых только после начала разговора.
Бенчмарк проектировался вокруг ряда требований, ориентированных на развёртывание[1]:
| Требование | Значение в τ-bench |
|---|---|
| Взаимодействие с человеком | Агент должен общаться с симулированным клиентом в течение нескольких ходов и не может предполагать, что все необходимые детали содержатся в первом сообщении. |
| Действия через инструменты | Агент должен читать и изменять структурированные базы данных через API, а не просто описывать, что нужно сделать. |
| Соблюдение политики | Агент должен интерпретировать доменную политику, содержащую процедуры, разрешения, исключения и ограничения, которые могут не контролироваться инструментами автоматически. |
| Отслеживание состояния на длинном горизонте | Информация из ранних сообщений и результатов вызовов инструментов может оставаться значимой после множества последующих действий. |
| Согласованность | Повторные прогоны одного и того же сценария должны достигать одного и того же правильного исхода, несмотря на стохастические вариации диалога. |
Последнее требование мотивировало введение pass^k. Система, успешная в 70 % изолированных прогонов, может всё же не подходить для высоконагруженного сервиса, если её поведение непредсказуемо меняется от одного семантически эквивалентного диалога к другому.
Архитектура бенчмарка
Модель взаимодействия
Исходная статья формализует каждую задачу как частично наблюдаемый марковский процесс принятия решений. В практических терминах эпизод содержит четыре активных компонента:
| Компонент | Доступная информация | Функция |
|---|---|---|
| Агент | Доменная политика, определения инструментов, сообщения пользователя и результаты вызовов инструментов | Общается с пользователем и решает, когда и как вызывать API. |
| Симулятор пользователя | Скрытая инструкция задачи и история диалога пользователя и агента | Порождает сообщения клиента на естественном языке и решает, когда взаимодействие завершено. |
| Среда | Структурированные базы данных и детерминированные реализации инструментов | Исполняет корректные вызовы API и возвращает наблюдения или ошибки. |
| Оценщик | Скрытые целевые действия, целевое состояние, требуемые выходные данные и финальная траектория | Определяет, удовлетворяет ли завершённый эпизод критериям задачи. |
Агент не получает скрытую инструкцию пользователя и аннотированную цель. Симулируемый пользователь не видит приватной истории вызовов инструментов между агентом и средой. Такое разделение вынуждает агента сообщать пользователю значимые результаты, а не предполагать, что клиент наблюдал операции во внутреннем контуре[1].
На каждом ходу агент может либо:
- отправить пользователю сообщение на естественном языке;
- выполнить структурированный вызов инструмента в среде.
Исполнение инструментов детерминировано для фиксированного состояния базы данных и списка аргументов. Ответы пользователя стохастичны, поскольку порождаются языковой моделью. Эпизод завершается, когда симулятор пользователя возвращает зарезервированный маркер ###STOP### либо при достижении лимита исполнения. Исходные эксперименты допускали не более 30 действий агента, причём в лимит входили как обращения к пользователю, так и вызовы инструментов[1].
Режим единого управления
Исходный τ-bench — среда единого управления (single-control). Доступ к API есть только у оцениваемого агента. Пользователь может передавать информацию и согласие на естественном языке, но не может напрямую изменять симулируемый мир.
Такой дизайн соответствует бронированию авиабилетов и онлайн-рознице, где операцию во внутреннем контуре обычно выполняет представитель поддержки. Он хуже подходит для ситуаций технической поддержки, в которых клиент должен менять настройки на личном устройстве. Это ограничение позже мотивировало τ²-bench, где симулируемый пользователь получает собственные инструменты[5].
Доменные политики
Каждый домен включает документ политики, передаваемый агенту в составе его системного контекста. Политика описывает:
- концепции и идентификаторы базы данных;
- корректные бизнес-процедуры;
- условия отмен, обменов, изменений, возвратов и компенсаций;
- информацию, которую агент должен собрать или сообщить;
- случаи, требующие подтверждения клиентом;
- действия, в которых должно быть отказано.
Часть ограничений контролируется кодом API. Например, инструмент может отклонить идентификатор платежа, не принадлежащий клиенту. Другие ограничения намеренно оставлены на усмотрение агента. Инструмент бронирования авиабилетов может принять количество мест багажа, хотя корректная сумма зависит от уровня членства и класса салона. Это различие проверяет, рассуждает ли агент над политикой, а не полагается исключительно на валидацию на стороне бэкенда[1].
Исходные домены и задачи
Первый релиз содержит два синтетических домена обслуживания клиентов[1].
| Свойство | τ-retail | τ-airline |
|---|---|---|
| Пользователи | 500 | 500 |
| Товары или рейсы | 50 товаров | 300 рейсов |
| Заказы или бронирования | 1 000 заказов | 2 000 бронирований |
| Инструменты записи | 7 | 6 |
| Инструменты без записи | 8 | 7 |
| Задачи оценки | 115 | 50 |
τ-retail
Домен ретейла представляет интернет-магазин. Агент может просматривать данные клиентов, товары, варианты товаров, способы оплаты и заказы. Типичные задачи включают:
- отмену или изменение ожидающего заказа;
- возврат одного или нескольких доставленных товаров;
- обмен товара на другой вариант того же товара;
- обновление адреса клиента;
- подбор вариантов товара, удовлетворяющих нескольким предпочтениям;
- расчёт цен, экономии, возвратов и другой запрашиваемой информации.
Товары имеют варианты, представленные отдельными идентификаторами, например комбинациями размера, цвета, материала, ёмкости или источника питания. Политики ограничивают изменения заказов: ожидающий заказ обычно можно изменить или отменить только один раз, а доставленный — вернуть или обменять только один раз. Поэтому агент должен собрать все относящиеся к делу позиции до вызова одноразовой операции записи[1].
Задачи ретейла могут объединять несколько целей. Клиент может запросить возврат и обмен в одном разговоре, предпочесть один запасной вариант, если оба действия невозможны, и спросить о финансовых последствиях каждого варианта. Такие задачи проверяют поиск по базе данных, численные рассуждения, отслеживание предпочтений и корректную последовательность действий.
τ-airline
Домен авиакомпании представляет перевозчика, обслуживающего 20 городов США. Его база данных содержит рейсы с расписаниями и ценами, профили клиентов, способы оплаты, уровни членства и бронирования. Типичные задачи включают:
- бронирование нового маршрута в одну или обе стороны;
- поиск прямых рейсов или рейсов с одной пересадкой, удовлетворяющих ограничениям по времени и бюджету;
- изменение рейсов, дат, класса салона или данных пассажира;
- отмену бронирований;
- обработку допустимых возвратов или компенсаций;
- расчёт норм и сборов за багаж.
Политика авиакомпании сложнее и содержит исключения, зависящие от времени бронирования, класса салона, страховки, уровня членства, способа оплаты и статуса рейса. Заявка, звучащая просто, может требовать другой процедуры, чем та, которую предлагает клиент. Например, маршрут в базовом тарифе может не подлежать изменению, но всё же быть отменяемым в ограниченный период, что вынуждает агента объяснить ограничение и предложить отмену с повторным бронированием[1].
Исходные эксперименты показали, что τ-airline существенно сложнее τ-retail, что отражает более плотные зависимости политики и более значимые многошаговые решения.
Данные и построение задач
Исходные домены создавались в три крупных этапа[1].
Этап 1: ручное проектирование доменов
Авторы вручную совместно спроектировали упрощённые, но внутренне связанные схемы баз данных, интерфейсы инструментов и политики. Целью было не воспроизвести все черты коммерческой авиакомпании или ретейлера, а создать домены, достаточно богатые, чтобы требовать реалистичной координации диалога, рассуждений над базой данных и интерпретации политики.
Этап 2: LM-генерация синтетических данных
Определив каждую схему, авторы создали образцовые записи и использовали GPT-4 для генерации кода, сэмплирующего более крупные коллекции синтетических пользователей, товаров, заказов, рейсов и бронирований. Сгенерированные программы вручную корректировались при необходимости.
Выложенные данные, таким образом, синтетические. Они моделируют реалистичные связи и идентификаторы, не используя настоящие записи клиентов.
Этап 3: ручная разметка и валидация задач
Каждая задача записывалась как скрытая инструкция для симулятора пользователя вместе с эталонной информацией для оценки. Авторы итеративно запускали агент с вызовом функций на GPT-4-Turbo, изучали полученные траектории и исправляли неоднозначные инструкции. Некоторые задачи ретейла исполнялись более чем в 40 прогонах в ходе этого процесса[1].
Центральная цель проектирования — единственный допустимый исход. Инструкция задачи задаёт достаточно предпочтений и запасного поведения, чтобы в сочетании с политикой и начальной базой данных только один конечный результат удовлетворял сценарию. Это ограничение делает возможным объективное сравнение состояний, хотя позднейшие аудиты выявили, что некоторые задачи не полностью достигли задуманной согласованности.
Модульное представление
Исходный релиз разделяет материалы домена на четыре типа:
| Материал | Типичное представление | Назначение |
|---|---|---|
| Базы данных | JSON | Хранят пользователей, товары, заказы, рейсы, бронирования и платёжные данные. |
| Инструменты | Функции Python и схемы | Чтение или изменение баз данных через структурированные вызовы. |
| Политики | Текст в Markdown | Задают доменные правила и процедуры, передаваемые агенту. |
| Задачи | Записи JSON | Определяют скрытый сценарий пользователя и ожидаемые действия или выходные данные. |
Упрощённая концептуальная запись задачи:
{
"instruction": "You are a specified customer. Ask to return one item and exchange another. If both cannot be completed, choose the option that saves the most money.",
"actions": [
{
"name": "return_delivered_order_items",
"arguments": {
"order_id": "ORDER_ID",
"item_ids": ["ITEM_ID"],
"payment_method_id": "PAYMENT_ID"
}
}
],
"outputs": ["required amount", "required comparison"]
}
Точная схема в более поздних репозиториях эволюционировала, но разделение между инструкцией пользователя, состоянием среды, исполняемыми инструментами и критериями оценки остаётся центральным для семейства бенчмарков.
Моделирование пользователя
Исходный бенчмарк использовал gpt-4-0613 в роли симулированного клиента[1]. Его системный промпт описывает:
- личность клиента;
- начальный запрос;
- информацию, которую следует раскрывать только уместным образом;
- предпочтения среди допустимых альтернатив;
- запасное поведение, когда предпочитаемое действие невозможно;
- разговорные характеристики вроде краткости или эмоционального состояния.
Симулятор получает полный диалог на естественном языке, но не приватную историю вызовов инструментов агента. После каждого сообщения агента он сэмплирует новую реплику пользователя. В исходном экспериментальном протоколе модель пользователя использовала температуру 1,0, а оцениваемые агенты — температуру 0,0. Этот выбор намеренно вносит вариативность диалога, даже когда инструкция задачи и начальная база данных не меняются[1].
Моделирование пользователя языковой моделью даёт несколько преимуществ:
- текстовый сценарий порождает множество естественных формулировок без ручного написания каждого хода;
- пользователь может отвечать на уточняющие вопросы, не предусмотренные фиксированным деревом диалога;
- повторные прогоны показывают, устойчив ли агент к небольшим изменениям формулировок и порядка реплик;
- оценку можно автоматизировать без привлечения новых групп людей-участников под каждую модель.
Оно же вносит второй источник ошибок. Модель пользователя может забыть предпочтение, ошибиться в арифметике, принять рекомендацию без проверки, раскрыть информацию слишком рано, ввести новое намерение или завершить разговор преждевременно. Эти сбои усложняют атрибуцию: неуспешный эпизод может быть вызван оцениваемым агентом, симулятором, разметкой задачи или средой.
Методология оценки
Награда на основе состояния
Исходная награда бинарна. Она объединяет две проверки[1]:
| Компонент | Условие успеха |
|---|---|
r_action
|
Конечное состояние базы данных совпадает с единственным целевым исходом, вытекающим из аннотированных действий записи. |
r_output
|
Обращённые к пользователю сообщения агента содержат все требуемые информационные выходные данные там, где задача их задаёт. |
| Общая награда | reward = r_action × r_output; эпизод зачтён, только когда оба компонента равны 1.
|
Агент может совершать любое число вызовов только для чтения и выражать правильный ответ в разных разговорных формах. Это позволяет разнообразным траекториям получать одинаковый результат, если они достигают одного и того же конечного состояния и сообщают требуемую информацию.
Оценка по состоянию быстрее и воспроизводимее, чем привлечение человека или LLM-судьи к каждому диалогу. Она же неполна. В исходной статье прямо отмечено, что награда 1 может быть необходимой, но не достаточной для идеального поведения. Агент мог произвести изменение до получения явного согласия, коммуницировать плохо или совершить неуместное промежуточное действие — и всё же пройти проверку, если конечная база данных и требуемые строки вывода совпадают с целевыми[1].
Метрика надёжности pass^k
Стандартная pass@k, широко используемая в генерации кода, измеряет, успешна ли хотя бы одна из k попыток. Вместо этого τ-bench ввёл pass^k («pass-hat-k» у авторов), измеряющую, успешны ли все k попыток[1].
| Метрика | Событие, засчитываемое как успех | Интерпретация |
|---|---|---|
pass@k
|
Хотя бы одна из k попыток успешна.
|
Выигрывает от повторных попыток; измеряет способность найти решение. |
pass^k
|
Каждая из k попыток успешна.
|
Наказывает нестабильность; измеряет повторяемую надёжность. |
pass^1
|
Единственный выбранный прогон успешен. | Совпадает с обычным средним успехом по задачам и с pass@1.
|
Пусть задача выполняется n раз и успешна c раз. В статье используются следующие построчные оценки, приведённые здесь без математической вёрстки:
pass^k = среднее по задачам от comb(c, k) / comb(n, k);pass@k = 1 − среднее по задачам от comb(n − c, k) / comb(n, k).
Здесь comb(a, b) — число способов выбрать b прогонов из a. Чтобы сообщать pass^k для заданного k, оценка должна выполнить не менее k прогонов каждой задачи.
Метрика усредняется по задачам, поэтому в общем случае она не равна глобальному pass^1, возведённому в степень k. Она придаёт равный вес лёгким и трудным задачам и напрямую показывает, сколько сценариев решается стабильно, а не эпизодически.
Исходный экспериментальный протокол
Основная статья использовала следующую конфигурацию[1]:
- не менее трёх независимых прогонов каждой задачи для основного сравнения;
- температура сэмплирования агента 0,0;
- температура симулятора пользователя 1,0;
- не более 30 действий агента на эпизод;
- доменная политика в качестве системного промпта агента;
- нативный вызов функций там, где он поддерживается;
- моделирование пользователя GPT-4 в описываемых экспериментах.
Результаты зависят и от модели агента, и от модели пользователя. Смена симулятора, промпта, схемы инструментов, лимита ходов или редакции задачи задаёт существенно иной протокол.
Базовые агенты
Исходное исследование сравнивало три простые стратегии агента[1]:
| Стратегия | Принцип работы | Особенности |
|---|---|---|
| Вызов функций | Модель выбирает между ответом на естественном языке и структурированным вызовом функций, нативным для провайдера. | Лучший базовый агент исходного исследования; наименее зависит от разбора текста. |
| ReAct | Модель выдаёт текстовую цепочку рассуждений, за которой следует JSON-подобное действие. | Даёт явные промежуточные рассуждения, но зависит от надёжного форматирования и разбора[6]. |
| Только действия | Модель выдаёт текстовое действие без явной цепочки рассуждений. | Использована как абляция для оценки ценности промежуточных рассуждений в текстовых агентах. |
Нативный вызов функций стабильно опережал текстовые стратегии у сильнейших моделей. ReAct в целом опережал вариант «только действия», что говорит о пользе явных рассуждений при сопоставлении незнакомых наблюдений с действиями, однако не закрыл разрыв с нативным вызовом инструментов провайдера. Добавление отдельной функции «think» агенту с вызовом функций не улучшило опубликованные результаты[1].
Исходные результаты
Приведённая таблица воспроизводит исторические результаты pass^1 из исходной статьи. Значения — проценты. «Среднее по доменам» — невзвешенное среднее двух доменных значений, а не среднее по всем 165 экземплярам задач[1].
| Модель | Интерфейс агента | Retail | Airline | Среднее по доменам |
|---|---|---|---|---|
| GPT-4o | Вызов функций | 61,2 | 35,2 | 48,2 |
| GPT-4 Turbo | Вызов функций | 57,7 | 32,4 | 45,1 |
| GPT-4 32K | Вызов функций | 56,5 | 33,0 | 44,8 |
| GPT-3.5 Turbo | Вызов функций | 20,0 | 10,8 | 15,4 |
| Claude 3 Opus | Вызов функций | 44,2 | 34,7 | 39,5 |
| Claude 3 Sonnet | Вызов функций | 26,3 | 27,6 | 27,0 |
| Claude 3 Haiku | Вызов функций | 19,0 | 14,4 | 16,7 |
| Gemini 1.5 Pro | Вызов функций | 21,7 | 14,0 | 17,9 |
| Gemini 1.5 Flash | Вызов функций | 17,4 | 26,0 | 21,7 |
| Mistral Large | Вызов функций | 30,7 | 22,4 | 26,6 |
| Mixtral 8×22B | Вызов функций | 17,7 | 31,6 | 24,7 |
| Llama 3 70B Instruct | Текстовый ReAct | 14,8 | 14,4 | 14,6 |
GPT-4o была сильнейшей из оценённых моделей с вызовом функций, однако её среднее осталось ниже 50 %. Разрыв между ретейлом и авиакомпанией подтвердил мнение авторов, что агенты особенно плохо справляются с плотными произвольными зависимостями политики.
Надёжность быстро падала с ростом числа повторных прогонов. Хотя агент на GPT-4o с вызовом функций превысил 60 % pass^1 на ретейле, его розничный pass^8 опустился ниже 25 %. Это значит, что многие задачи решались лишь эпизодически, даже при неизменных сценарии и начальной базе данных[1].
Абляция с удалением политики также показала, что сильнейший агент опирался на политику авиакомпании больше, чем более слабая модель. Удаление политики снизило результат GPT-4o на авиакомпании более чем на 20 процентных пунктов, тогда как на ретейле эффект был значительно меньше. Авторы истолковали это как свидетельство того, что розничные операции ближе к здравому смысловому использованию инструментов, а успех на авиакомпании требовал большей опоры на явные правила[1].
Эти цифры исторические; их не следует смешивать с результатами по исправленным τ³-наборам задач, другим симуляторам пользователя, новым моделям или альтернативным оркестрационным фреймворкам.
Анализ неудач
Авторы вручную проанализировали по одной траектории агента GPT-4o с вызовом функций для каждой из 115 задач ретейла. Сорок траекторий изначально провалились. Четыре неудачи были отнесены к опечатке или неоднозначности в инструкции пользователя и исправлены; оставшиеся 36 классифицированы как неудачи агента[1].
| Класс неудачи | Доля из 36 проанализированных неудач агента | Типичный пример |
|---|---|---|
| Неверный аргумент инструмента | 33,3 % | Выбрана правильная операция, но указан неверный идентификатор товара, заказа, клиента, продукта или платежа. |
| Неверная информация | 22,2 % | Не сообщён запрошенный идентификатор отслеживания, посчитана неверная сумма либо дана информация, ошибочно меняющая решение пользователя. |
| Неверное решение | 25,0 % | Выбрана операция, противоречащая политике, либо не распознана требуемая процедура. |
| Частичное решение | 19,4 % | Выполнена лишь одна часть составного запроса или остановка до проверки всех затронутых записей. |
Анализ выявил три более широких узких места в возможностях моделей.
Рассуждения над базой данных
Агенты часто выбирали правильный инструмент, но не могли однозначно определить запись, удовлетворяющую ограничениям клиента. Более слабые базовые агенты также галлюцинировали идентификаторы, отсутствующие в базе данных. Эти неудачи сочетают поиск, отслеживание состояния, численные рассуждения и конструирование аргументов.
Интерпретация политики
Агенты иногда принимали техническое принятие вызова API за доказательство допустимости действия. Они могли игнорировать правило, требующее собрать все обмениваемые позиции до одноразового вызова инструмента, неверно применять условия отмены либо не различать процедуру по умолчанию и исключение.
Составные запросы и память
Задачи, требующие нескольких записей в базу данных, были в целом труднее. Агенты могли забыть запрос, объявленный в начале диалога, выполнить явное действие, опустив подразумеваемое сопутствующее, или завершиться, обновив лишь одну из нескольких релевантных записей.
Те же категории позже стали значимыми в исследованиях защиты агентов, процессного надзора, ограничений рабочих процессов и обучения с подкреплением для использования инструментов.
Программное обеспечение и воспроизводимость
Исходная реализация выпущена по лицензии MIT и включает данные доменов, политики, инструменты, определения задач, код раннера, исторические траектории и утилиту автоматического анализа ошибок[2].
Архивная реализация использует скриптовый интерфейс вида:
python run.py \ --agent-strategy tool-calling \ --env retail \ --model MODEL_NAME \ --model-provider PROVIDER \ --user-model USER_MODEL \ --user-model-provider USER_PROVIDER \ --user-strategy llm
Текущий фреймворк использует команду tau2, даже когда описывается как τ³-bench. Минимальная текстовая оценка имеет общий вид[3]:
git clone https://github.com/sierra-research/tau2-bench cd tau2-bench uv sync tau2 run \ --domain retail \ --agent-llm AGENT_MODEL \ --user-llm USER_MODEL \ --num-trials 4 \ --task-split base
Для воспроизводимости опубликованный результат должен указывать как минимум:
- репозиторий, коммит или тег релиза;
- домен и сплит задач;
- модель агента и её точную версию;
- модель симулятора пользователя и её точную версию;
- число прогонов на задачу;
- параметры сэмплирования агента и пользователя;
- максимальное число ходов или действий;
- интерфейс вызова инструментов и политику промптов;
- компоненты награды и любых дополнительных судей;
- обработку ошибок симулятора, инфраструктурных сбоев и повторных попыток.
Агент и пользователь нередко работают через изменяемые коммерческие API. Псевдоним модели может изменить поведение уже после оценки, поэтому особую важность имеют сохранение полных траекторий и датированных идентификаторов моделей.
Эволюция семейства бенчмарков
Хронология версий
| Название | Первый выпуск | Основная область | Отличительная черта |
|---|---|---|---|
| τ-bench | Июнь 2024; ICLR 2025 | Обслуживание клиентов в ретейле и авиакомпании | Взаимодействие в режиме единого управления, оценка по состоянию и pass^k.
|
| τ²-bench | Июнь 2025 | Добавляет техническую поддержку в телекоме | Среда двойного управления, в которой инструменты применяют и агент, и пользователь[5]. |
| τ³-bench 1.0.0 | Март 2026 | Поддерживаемый многодоменный фреймворк | Исправленные задачи, поиск по знаниям, банкинг и полноценная оценка голоса[4]. |
Индексы в названиях обозначают последовательные поколения проекта, а не степени оценки бенчмарка. Поддерживаемый репозиторий сохраняет имя tau2-bench ради программной непрерывности, хотя его релиз 1.0.0 представлен как τ³-bench.
τ²-bench и двойное управление
τ²-bench обобщает исходную постановку, позволяя симулируемому пользователю вызывать инструменты в общей среде. Домен телекоммуникаций включает бэкенд-систему управления абонентами для агента и симулируемый телефон для пользователя. Агент может менять настройки на стороне аккаунта, а пользователь — по указаниям агента проверять состояние сигнала, включать авиарежим, включать мобильные данные или выполнять другие действия на стороне устройства[5].
Телеком-генератор задач комбинирует атомарные компоненты неисправностей и решений. Пятнадцать групп подзадач по проблемам связи, мобильного интернета и мультимедийных сообщений дали 2 285 допустимых комбинаций, из которых для баланса намерений и сложности отобраны 114 задач оценки. Таким образом, бенчмарк проверяет не только рассуждения и использование инструментов, но и способность агента объяснить исполняемую процедуру диагностики другому участнику[5].
Исследование τ²-bench также ввело более структурированные возможности симулятора и персоны пользователей. Абляции отделяли чистые рассуждения от коммуникации и координации, сравнивая обычный режим двойного управления с конфигурациями, в которых агент получал всю информацию или контролировал все инструменты.
Исправления задач в τ³-bench
Практика сообщества выявила проблемы разметки и оценки в исходных задачах ретейла и авиакомпании. Независимая верификационная работа, связанная с проектом SABER, задокументировала конфликты политики, недействительные идентификаторы, невозможные сценарии и неоднозначные условия успеха[7][8].
Официальное обновление τ³ интегрировало исправления, выработанные с этой командой и другими участниками. Сопровождающие сообщили о правках 27 задач авиакомпании и 26 задач ретейла, включая[9]:
- ожидаемые действия, противоречившие опубликованной политике;
- неоднозначные предпочтения пользователя или отсутствующие причины отмены;
- способы оплаты и другие ограничения, отсутствующие в записи клиента;
- обмены, требовавшие замены товара на идентичный идентификатор;
- отсутствие запасного поведения при пустом результате поиска;
- лазейки, позволявшие агенту достичь целевого состояния нештатной процедурой.
На переведённых сопровождающими моделях исправленный pass^1 авиакомпании вырос примерно на 14–20 процентных пунктов, а изменения ретейла составили от малого снижения до прироста около 5,5 пункта. Масштаб этих сдвигов показывает, что ревизия задач — не мелкая деталь реализации: результаты разных версий бенчмарка могут отражать разную «истину»[9].
τ-Voice
τ-Voice расширяет фреймворк до полноценного дуплексного голосового взаимодействия. Пользователь и агент могут говорить одновременно, перебивать, уступать слово или ждать, а оценка может вносить фоновый шум, транскодирование телефонии, акценты и другие аудиоусловия. Бенчмарк сочетает качество голосового взаимодействия с тем же типом проверяемого выполнения задач по проверяемым результатам, что и текстовые среды[10].
Статья τ-Voice сообщает об оценке на 278 задачах. В её постановке текстовый рассуждающий агент достиг 85 % выполнения задач, тогда как голосовые агенты в чистых условиях дали 31–51 % и 26–38 % в более реалистичных аудиоусловиях. Это указывает, что сильное текстовое использование инструментов автоматически не переносится на разговор в реальном времени[10].
τ-Knowledge и τ-Banking
τ-Knowledge добавляет среды, в которых политику нельзя полностью поместить в промпт агента. Его домен τ-Banking содержит 97 задач и 698 неструктурированных документов политик и процедур, охватывающих 21 категорию продуктов. Агенты должны находить релевантные документы, интерпретировать их, обнаруживать некоторые инструменты через документацию и соединять знания с транзакционными действиями[11][12].
Фреймворк поддерживает плотный поиск, BM25, переранжирование, терминальный поиск по документам, базовые варианты с полным контекстом и абляции с эталонными документами. В статье сообщается, что сильнейшая оценённая конфигурация достигла примерно 25,5 % pass^1, что показывает: поиск, рассуждения над политикой и корректная последовательность действий остаются трудными даже для frontier-моделей с большими бюджетами рассуждения[11].
Ограничения и критика
Эквивалентность состояний — не полная поведенческая корректность
Сравнение конечных состояний проверяет, что нужные записи созданы, но не доказывает, что траектория была безопасной, авторизованной, эффективной или соответствующей политике. Потенциальные ложноположительные результаты включают:
- выполнение записи до получения подтверждения;
- запрещённое промежуточное изменение с последующим обращением;
- раскрытие приватной информации неавторизованному пользователю;
- вводящие в заблуждение объяснения при том, что ожидаемая строка вывода произведена;
- вызовы ненужных инструментов или многократные запросы одной и той же информации.
Исходная награда, таким образом, удостоверяет узкий исход задачи, а не полное качество взаимодействия. Более поздние версии фреймворка добавили проверки действий и опциональный LLM-обзор диалога, но они вносят собственные определения и возможные ошибки судьи[3].
Предположение единственного исхода
Бенчмарк проще всего оценивать, когда у каждой задачи одно допустимое конечное состояние. Реальные проблемы клиентской службы часто имеют несколько равнозначных решений, особенно когда пользователи могут торговаться о компромиссах или менять предпочтения.
Ограничение сценария одним исходом повышает воспроизводимость, но может несправедливо наказывать разумную альтернативу. Оно также поощряет задачи, чья формулировка содержит неестественно специфичные запасные правила, рассчитанные на оценку, а не на естественно возникающие диалоги.
Надёжность симулятора пользователя
Симулируемый клиент — не нейтральная тестовая оснастка. Его модель, промпт, температура сэмплирования и скрытая инструкция влияют на трудность и даже разрешимость эпизода.
Более позднее исследование τ²-bench вручную проверило 100 диалогов авиакомпании и 50 диалогов розницы, порождённых GPT-4.1 в роли и агента, и симулятора пользователя. Хотя бы одна ошибка симулятора найдена в 47 % диалогов авиакомпании и 40 % диалогов розницы; в 13 % и 12 % соответственно содержалась ошибка, признанная критичной для завершения задачи[5].
Эти цифры не означают, что каждый затронутый результат агента недействителен, так как многие ошибки были безвредными. Они показывают, что наблюдаемую неудачу нельзя всегда приписать исключительно оцениваемому агенту. Системы автоповторов или детекции галлюцинаций могут снизить шум симулятора, но могут избирательно удалять трудные диалоги, что должно документироваться.
Ошибки разметки и эталонов
Исходные задачи валидировались вручную, однако позднейшие аудиты нашли многочисленные несоответствия между инструкциями пользователей, политиками, базами данных, ожидаемыми действиями и критериями награды. Одни задачи штрафовали агентов за корректный отказ от запрещённого политикой действия, другие ожидали идентификаторы или способы оплаты, отсутствующие в начальном состоянии[9][8].
Официальные исправления 2026 года существенно изменили оценки моделей. Исторические результаты следует привязывать к точной редакции данных и не интерпретировать как результаты на текущем наборе задач.
Упрощённые и синтетические домены
Системы авиакомпании и розницы намеренно меньше продакшен-сервисов. Они опускают многие операционные реалии, включая[1]:
- аутентификацию и процедуры противодействия мошенничеству;
- частичные сбои и сервисы с непрерывно согласованными состояниями;
- эскалацию к людям и согласование с супервизором;
- юридические и региональные различия политик;
- требования доступности;
- приватность, безопасность и журналирование аудита;
- реальные изменения остатков, цен и расписаний во время разговора;
- эмоции и поведение клиентов, основанные на реальных участниках.
Упрощение делает детерминированную оценку возможной, но ограничивает прямые заявления о готовности к продакшену.
Открытые и статичные задачи
Политики, файлы задач, базы данных, инструменты и исторические траектории общедоступны. Это поддерживает воспроизводимость и поиск ошибок, но также допускает обучение под бенчмарк, оптимизацию промптов и запоминание.[2][3]
Повторные релизы исправленных задач не устраняют этот риск. Строгая оценка должна использовать приватные или заново сгенерированные задачи, held-out варианты доменов или явное раскрытие контакта с бенчмарком при разработке модели.
Бинарная оценка и ограниченная диагностика
Эпизод, выполнивший четыре из пяти требуемых операций, получает ту же награду за задачу, что и мгновенно провалившийся. Бинарная оценка соответствует требованию развёртывания полностью закрыть запрос клиента, но отбрасывает полезную информацию о частичном прогрессе.
Анализ траекторий, проверки на уровне действий, утверждения подзадач и классификация ошибок дают более богатую диагностику. Однако агрегированные оценки лидербордов могут опускать эти детали.
Зависимость от протокола оценки
Результаты могут меняться от:
- модели симулятора пользователя;
- порядка и формулировок инструкций политики;
- нативного вызова функций против текстовых действий;
- температуры сэмплирования;
- лимита ходов;
- обработки повторов;
- ограничений контекстного окна;
- описаний схем инструментов;
- фильтров безопасности на стороне провайдера;
- обработки смешанных текстово-инструментальных сообщений;
- выбранного сплита задач и числа прогонов.
Результат, помеченный просто «τ-bench», поэтому неоднозначен.
Стоимость и статистическая разрешающая способность
pass^k требует нескольких прогонов каждой задачи. Надёжная оценка при больших k может требовать существенных затрат на инференс, особенно когда и агент, и симулятор используют коммерческие frontier-модели, а каждый ход повторяет длинную политику и спецификацию инструментов.
Исходный набор авиакомпании содержит лишь 50 задач. Изменение одной задачи меняет pass^1 на два процентных пункта до усреднения по доменам, а оценки pass^k могут иметь высокую дисперсию при малом числе прогонов.
Метрика надёжности отражает не только надёжность агента
Падающая кривая pass^k может отражать вариативность агента, симулятора пользователя, внешних модельных API, инструментальной инфраструктуры или неоднозначности задач. Это сквозная метрика надёжности системы, а не чистое измерение весов модели.
Это ценно для ориентированного на развёртывание тестирования, но усложняет научную атрибуцию. Контролируемые сиды симулятора, валидация людьми, абляции без пользователя и детерминированный повтор помогают разделить причины.
Исходное ограничение единого управления
В исходном бенчмарке пользователь не может воздействовать на мир. Многие задачи поддержки требуют, чтобы клиент проверил или изменил устройство, загрузил документ, подтвердил платёж или выполнил физические шаги. τ²-bench закрывает этот пробел для телеком-диагностики, но оценка двойного управления вносит дополнительную сложность симулятора и координации[5].
Ссылки
- Статья τ-bench на OpenReview
- Исходный репозиторий τ-bench
- Актуальный репозиторий фреймворка τ³-bench
- Официальный сайт и лидерборд τ-bench
- Статья τ²-bench
- Статья τ-Voice
- Статья τ-Knowledge
- Τ-bench — англоязычная версия статьи
См. также
Литература
- Yao, S. et al. (2025). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. ICLR 2025. arXiv:2406.12045.
- Barres, V. et al. (2025). τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment. arXiv:2506.07982.
- Cuadron, A. et al. (2025). SABER: Small Actions, Big Errors — Safeguarding Mutating Steps in LLM Agents. arXiv:2512.07850.
- Ray, S. et al. (2026). τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains. arXiv:2603.13686.
- Shi, Q. et al. (2026). τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge. arXiv:2603.04370.
- Yao, S. et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629.
- Liu, X. et al. (2024). AgentBench: Evaluating LLMs as Agents. ICLR 2024. arXiv:2308.03688.
Примечания
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 1,18 1,19 1,20 1,21 1,22 1,23 1,24 Yao, S.; Shinn, N.; Razavi, P.; Narasimhan, K. "τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains". International Conference on Learning Representations, 2025. OpenReview; arXiv:2406.12045.
- ↑ 2,0 2,1 2,2 Sierra Research. "τ-bench: Code and Data". GitHub. [1]
- ↑ 3,0 3,1 3,2 3,3 Sierra Research. "τ-bench / τ³-bench evaluation framework". GitHub. [2]
- ↑ 4,0 4,1 Sierra Research. "τ³-bench 1.0.0 — Voice, Knowledge, Task Quality". GitHub release, 18 March 2026. [3]
- ↑ 5,0 5,1 5,2 5,3 5,4 5,5 Barres, V.; Dong, H.; Ray, S.; Si, X.; Narasimhan, K. "τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment". arXiv:2506.07982, 2025. [4]
- ↑ Yao, S. et al. "ReAct: Synergizing Reasoning and Acting in Language Models". International Conference on Learning Representations, 2023. [5]
- ↑ Cuadron, A.; Yu, P.; Liu, Y.; Gupta, A. "SABER: Small Actions, Big Errors — Safeguarding Mutating Steps in LLM Agents". arXiv:2512.07850, 2025. [6]
- ↑ 8,0 8,1 Amazon AGI. "τ²-Bench-Verified". GitHub. [7]
- ↑ 9,0 9,1 9,2 Sierra Research. "τ³-Bench: Fixing Airline + Retail". February 2026. [8]
- ↑ 10,0 10,1 Ray, S.; Dhandhania, K.; Barres, V.; Narasimhan, K. "τ-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains". arXiv:2603.13686, 2026. [9]
- ↑ 11,0 11,1 Shi, Q.; Zytek, A.; Razavi, P.; Narasimhan, K.; Barres, V. "τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge". arXiv:2603.04370, 2026. [10]
- ↑ Sierra Research. "τ-Knowledge". February 2026. [11]