OSWorld
OSWorld — открытая виртуализированная компьютерная среда и бенчмарк для оценки агентов искусственного интеллекта, выполняющих открытые (open-ended) задачи в реальных операционных системах компьютера. Бенчмарк был представлен Tianbao Xie и коллегами в работе 2024 года OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments, опубликованной в треке Datasets and Benchmarks конференции NeurIPS 2024[1].
OSWorld является одновременно виртуализированной компьютерной средой и набором задач, построенным на этой среде. Оцениваемый агент наблюдает рабочий стол, управляет мышью и клавиатурой, взаимодействует с реальными приложениями и пытается выполнить инструкцию на естественном языке. После завершения работы агентом специальные программы проверки исследуют итоговые файлы, состояние приложений, данные браузера, настройки операционной системы и другие артефакты, чтобы определить, достигнут ли требуемый результат.
Исходный бенчмарк содержит 369 задач для Ubuntu, включая 268 задач с одним приложением и 101 рабочий процесс (workflow), охватывающий несколько приложений. Дополнительно предоставляются 43 вспомогательные задачи для Windows, предназначенные для анализа. Набор включает 302 различных начальных состояния и 134 функции оценки на основе исполнения[2].
Среда поддерживает Ubuntu, Windows и macOS, хотя основной публичный бенчмарк разрабатывался и стандартизировался на Ubuntu. В число приложений входят Chromium или Google Chrome, LibreOffice Writer, Calc и Impress, Thunderbird, VLC media player, Visual Studio Code, GIMP, терминал, файловый менеджер и программы просмотра документов.
На момент представления бенчмарка отдельные участники-люди выполняли 72,36 % оцениваемых задач, тогда как лучшая конфигурация «модель + агент» достигала лишь 12,24 %. Авторы отнесли основные неудачи к неточному привязыванию к элементам интерфейса (grounding), недостатку прикладных знаний, слабому планированию на длинных горизонтах и трудностям восстановления после ошибок[1].
В июле 2025 года проект выпустил OSWorld-Verified — ревизию исходного бенчмарка на месте с исправленными задачами, более устойчивыми оценщиками, обновлёнными приложениями и сайтами, а также масштабируемой платформой оценки на AWS[3]. 26 июня 2026 года сопровождающие выпустили OSWorld 2.0 — отдельный бенчмарк-преемник, содержащий 108 существенно более длинных рабочих процессов, на выполнение которых опытным людям требуется медианно около 1,6 часа[4][5].
Предыстория и мотивация
Компьютерный агент (computer-use agent) — это ИИ-система, преобразующая высокоуровневый запрос пользователя в последовательность операций, выполняемых через интерфейс компьютера. В отличие от обычного чат-бота, агент должен многократно наблюдать изменяющуюся среду, решать, что делать, выполнять действие, проверять результат и пересматривать план, когда интерфейс ведёт себя неожиданно.
До появления OSWorld многие бенчмарки агентов концентрировались на ограниченных средах:
- Бенчмарки веб-навигации оценивали задачи внутри одного браузера или небольшой коллекции сайтов.
- Мобильные бенчмарки предоставляли упрощённый интерфейс устройства или записанные демонстрации.
- Наборы данных для grounding'а интерфейса предлагали модели определить один элемент интерфейса по краткому описанию.
- Бенчмарки использования инструментов представляли приложения в виде структурированных API, а не видимых графических интерфейсов.
- Статические наборы траекторий оценивали предсказание следующего действия, не позволяя агенту исследовать среду.
- Специализированные бенчмарки покрывали только электронные таблицы, презентации, командные программы или другую узкую область.
Такие подходы поддерживают контролируемое экспериментирование, но не воспроизводят всю сложность общего использования компьютера. Реальная настольная задача может затрагивать несколько приложений, модальные диалоги, скрытые меню, файлы в разных форматах, всплывающие уведомления, настройки операционной системы, сетевые задержки и промежуточные состояния, созданные до начала работы агента.
OSWorld проектировался вокруг нескольких требований[1]:
| Требование | Реализация | Назначение |
|---|---|---|
| Реальные приложения | Задачи выполняются в обычных настольных и веб-программах, а не в упрощённых симуляторах. | Проверяет, может ли агент работать с интерфейсами, похожими на используемые людьми. |
| Открытая область задач | Новые задачи могут задействовать произвольные приложения, установленные в виртуальной машине. | Избегает ограничения оценки одним сайтом, API или семейством приложений. |
| Мультимодальные наблюдения | Агент может получать скриншоты, информацию о доступности (accessibility) или комбинацию того и другого. | Поддерживает визуальные, текстовые и гибридные компьютерные системы. |
| Общее пространство действий | Операции мыши и клавиатуры представляются через PyAutoGUI или конечный словарь действий. | Позволяет взаимодействовать практически с любым видимым приложением. |
| Промежуточные начальные состояния | Скрипты настройки могут скачивать файлы, открывать документы, располагать окна и изменять настройки до начала эпизода. | Воспроизводит задачи, начинающиеся в середине реального рабочего процесса. |
| Кросс-прикладные рабочие процессы | Для выполнения задачи может требоваться более одного приложения. | Проверяет перенос информации и состояния между программами. |
| Оценка на основе исполнения | Пользовательские оценщики исследуют итоговое состояние компьютера. | Не требует от агента воспроизведения эталонной траектории действий. |
| Изоляция и восстановление | Задачи выполняются в виртуальных машинах, которые можно сбрасывать. | Снижает взаимные помехи задач и ограничивает ущерб хост-системе. |
| Параллельное исполнение | Несколько виртуальных машин могут работать одновременно. | Делает масштабные оценки и обучение агентов более практичными. |
Бенчмарк предназначен для измерения всей системы использования компьютера, а не только базовой языковой или визуальной модели. Результаты зависят от модели, представления наблюдений, метода промптинга, системы памяти, парсера действий, модуля grounding'а, стратегии восстановления после ошибок, доступа к инструментам и бюджета исполнения.
Архитектура среды
Виртуализированная компьютерная среда
OSWorld использует виртуальные машины, чтобы предоставить управляемый, но реалистичный рабочий стол. Приложения исполняются обычным образом в гостевой операционной системе, а контроллер на стороне хоста управляет инициализацией, наблюдениями, действиями, извлечением артефактов и оценкой.
Типичный эпизод проходит через следующие стадии:
- Запуск или восстановление образа виртуальной машины.
- Подготовка файлов задачи и внешних ресурсов.
- Выполнение инициализирующих действий, например открытия документа или размещения окон приложений.
- Передача агенту инструкции и начального наблюдения.
- Выполнение действий агента — мыши, клавиатуры или других поддерживаемых.
- Возврат обновлённого скриншота, дерева доступности или комбинированного наблюдения.
- Повторение взаимодействия, пока агент не объявит завершение, не сообщит о невыполнимости или не достигнет лимита шагов.
- Извлечение файлов, информации браузера, данных приложений и других свидетельств итогового состояния.
- Запуск оценщика конкретной задачи.
- Сохранение балла, траектории, скриншотов, действий, логов и, по желанию, видеозаписи.
Эта архитектура отделяет оцениваемого агента от привилегированных операций среды. Инициализация и оценивание могут использовать API или внутренние данные приложений, недоступные агенту, тогда как сам агент обычно взаимодействует через тот же видимый интерфейс, что и пользователь.
Виртуализация также позволяет среде восстанавливать воспроизводимую начальную точку. Без восстановления одна задача могла бы изменить настройки приложений, историю браузера, файлы или данные аккаунтов так, что это повлияло бы на последующие задачи.
Конфигурация начального состояния
Многие компьютерные задачи не начинаются с чистого рабочего стола. У пользователя может быть уже открыта электронная таблица, курсор установлен внутри документа, активно несколько вкладок браузера или подготовлен черновик письма.
Поэтому OSWorld использует гибридный процесс инициализации вместо хранения полной независимой копии (снапшота) для каждой задачи. Начальное состояние может создаваться путём:
- восстановления общего базового образа виртуальной машины;
- скачивания файлов задачи;
- копирования ресурсов в указанные каталоги;
- выполнения команд оболочки или API приложений;
- открытия файла в требуемом приложении;
- загрузки страниц браузера;
- изменения размера или положения окон;
- перемещения курсора или выбора элемента интерфейса;
- изменения настроек приложений или операционной системы;
- ожидания завершения загрузки приложений и сайтов.
Такой подход снижает требования к хранению по сравнению с поддержанием многогигабайтного снапшота для каждого примера и упрощает правку задач, но вводит зависимости от времени запуска приложений, доступности сети, меняющихся сайтов и точного порядка команд инициализации.
Headless-режим и параллельная работа
OSWorld может работать без отображения рабочего стола каждой гостевой машины непосредственно на мониторе хоста. Этот headless-режим поддерживает автоматические эксперименты и параллельное исполнение.
Исходный репозиторий предоставляет несколько вариантов инфраструктуры[6]:
| Провайдер | Типичное использование | Особенности |
|---|---|---|
| VMware | Настольный компьютер, ноутбук или рабочая станция | Зрелая интеграция виртуальных машин и поддержка локальной интерактивной отладки. |
| VirtualBox | Альтернативная локальная виртуализация | Вариант, совместимый с открытым ПО, хотя некоторые параллельные сценарии и workflow на Apple Silicon могут быть менее отработаны. |
| Docker с QEMU и KVM | Linux-сервер с аппаратной виртуализацией | Запускает виртуальные машины внутри контейнеров и позволяет несколько сред на одном хосте. |
| AWS | Масштабная облачная оценка | Использует архитектуру host-client для параллельного запуска множества преднастроенных рабочих инстансов. |
OSWorld-Verified расширил реализацию на AWS до примерно 50 одновременных сред в эталонной конфигурации проекта. Сопровождающие сообщили о сокращении полной оценки с более чем десяти часов до минут или, в зависимости от конфигурации, примерно до одного часа[3].
Операционные системы и приложения
Архитектура среды проектировалась для поддержки нескольких операционных систем, но исходный бенчмарк делает акцент на Ubuntu, поскольку её приложения и интерфейсы можно распространять и настраивать с меньшими лицензионными ограничениями.
| Платформа | Статус в исходном релизе | Примечания |
|---|---|---|
| Ubuntu | Основной бенчмарк из 369 задач | Использует открытые или свободно доступные приложения и стандартизированные образы виртуальных машин. |
| Windows | 43 вспомогательные задачи | Адаптированы преимущественно для кросс-платформенного анализа; часть ПО требует активации пользователем из-за авторских и лицензионных ограничений. |
| macOS | Поддерживается архитектурой среды | Не является основой публичного бенчмарка из 369 задач и подвержена дополнительным ограничениям виртуализации и лицензирования. |
Основные задачи Ubuntu сгруппированы в пять широких категорий[1]:
| Категория | Приложения или интерфейсы | Примерные возможности |
|---|---|---|
| Операционная система | Файловый менеджер, терминал, настройки, просмотр изображений, просмотр PDF | Файловые операции, конфигурирование, поиск, команды терминала, управление процессами и окнами. |
| Офисные приложения | LibreOffice Writer, Calc и Impress | Редактирование документов, работа с таблицами, форматирование презентаций, формулы, таблицы и конвертация файлов. |
| Ежедневные приложения | Chromium или Chrome, Thunderbird, VLC media player | Веб-навигация, операции с почтой, настройки аккаунтов, воспроизведение медиа и поиск информации. |
| Профессиональные приложения | Visual Studio Code и GIMP | Редактирование кода, настройка, замена текста, обработка изображений и специализированные элементы управления. |
| Рабочие процессы | Комбинации нескольких приложений | Перенос информации между файлами, браузером, почтой, офисными программами, терминалом и другими интерфейсами. |
Формулировка «восемь типичных приложений» (eight representative applications) в оригинальной статье относится к Chrome, VLC, Thunderbird, Visual Studio Code, GIMP, LibreOffice Writer, LibreOffice Calc и LibreOffice Impress. Базовые приложения операционной системы включены дополнительно к этим программам.
Пространство наблюдений
Агент OSWorld может получать разные представления текущего рабочего стола. Выбранное представление сильно влияет на измеряемый результат, поскольку каждое из них раскрывает разную информацию и создаёт разные проблемы grounding'а.
| Тип наблюдения | Идентификатор в репозитории | Содержимое | Преимущества и ограничения |
|---|---|---|---|
| Скриншот | screenshot
|
Полное изображение текущего рабочего стола, включая окна приложений, текст, значки, меню, диалоги и состояние курсора. | Максимально близко к визуальному восприятию человека, но требует точного распознавания и привязывания координат. |
| Дерево доступности | a11y_tree
|
Структурированная информация, получаемая через API доступности операционной системы. | Предоставляет текстовые метки, роли, значения и иерархию, но может быть крайне длинным, неполным, избыточным или неточным. |
| Скриншот и дерево доступности | screenshot_a11y_tree
|
Изображение рабочего стола и структурированное представление доступности. | Сочетает визуальную раскладку с текстовыми метаданными, но увеличивает размер контекста и может вносить противоречивую информацию. |
| Set-of-Mark | som
|
Скриншот, размеченный пронумерованными маркерами с метаданными элементов из дерева доступности. | Упрощает выбор элементов, но зависит от надёжного извлечения элементов и может визуально загромождать плотные интерфейсы. |
На Ubuntu информация доступности получается в основном через AT-SPI 2. На Windows исходная реализация использует PyWinAuto и интерфейсы доступности операционной системы[1][7].
Деревья доступности не эквивалентны полному семантическому описанию интерфейса. Разработчики приложений могут опускать метки, раскрывать детали реализации, дублировать элементы или не следовать конвенциям доступности. Некоторые визуально очевидные элементы управления могут отсутствовать, тогда как невидимые или нерелевантные элементы могут занимать значительную часть дерева.
У скриншотов противоположное ограничение: они сохраняют видимый интерфейс, но напрямую не определяют границы элементов управления, их названия или редактируемые поля. Модель может понимать требуемое действие, но кликнуть по соседнему значку или использовать неверную координату.
Пространство действий
Исходный бенчмарк предоставляет два основных представления действий[7]:
| Пространство действий | Описание | Типичные операции |
|---|---|---|
pyautogui
|
Агент генерирует корректные инструкции на Python с помощью кросс-платформенной библиотеки PyAutoGUI. | Перемещение мыши, клики, перетаскивание, прокрутка, ввод текста, нажатия клавиш, горячие клавиши и последовательности с задержками. |
computer_13
|
Конечный параметризованный словарь действий, оборачивающий типичные операции управления компьютером. | Меньший набор операций мыши, клавиатуры, прокрутки и управления, отчасти рассчитанный на исследования обучения с подкреплением. |
Примеры действий в стиле PyAutoGUI:
pyautogui.moveTo(850, 420, duration=0.2)
pyautogui.click()
pyautogui.write("Quarterly report", interval=0.05)
pyautogui.hotkey("ctrl", "s")
pyautogui.scroll(-500)
Действия PyAutoGUI могут содержать короткие управляющие конструкции Python, что позволяет агенту выразить несколько повторяющихся операций в одном шаге среды. Это повышает эффективность, но делает один «шаг» более выразительным, чем одно физическое действие мыши или клавиатуры.
Исходное пространство действий включает три специальных контрольных вывода:
| Контрольное действие | Значение |
|---|---|
WAIT
|
Агент ожидает изменения приложения или страницы и решает не выполнять немедленное входное действие. |
FAIL
|
Агент заключает, что задача невыполнима в текущих условиях. |
DONE
|
Агент объявляет, что требуемая задача выполнена. |
Эти сигналы необходимы, поскольку часть интерфейсов загружается асинхронно и поскольку бенчмарк намеренно содержит невыполнимые запросы.
Более поздние реализации OSWorld также поддерживают компьютерные API конкретных провайдеров моделей и агентные фреймворки. Результаты, полученные с нативными инструментами computer-use, прямыми координатными действиями, идентификаторами доступности, командами терминала или генерируемыми программами на Python, не следует считать полученными в идентичных условиях действий.
Построение бенчмарка
Источники задач
Исходные задачи основывались на реальных или реалистично восстановленных запросах по работе с компьютером. Источники включали:
- официальную документацию ПО;
- обучающие руководства и гайды пользователей;
- видеоуроки;
- сайты с инструкциями (how-to);
- онлайн-курсы;
- форумы вопросов и ответов;
- обсуждения на Reddit, Quora, Super User и Stack Overflow;
- публичные блоги;
- повседневные рабочие процессы, разработанные авторами;
- задачи, адаптированные из более ранних бенчмарков.
Примеры отбирались по популярности, практической полезности, разнообразию и пригодности для воспроизводимой оценки. Кросс-прикладные рабочие процессы было сложнее найти в существующих публичных ресурсах, поэтому авторы также комбинировали связанные задачи или придумывали реалистичные сценарии.
Всего 84 примера были интегрированы или адаптированы из родственных наборов данных и сред, включая NL2Bash, Mind2Web, SheetCopilot, PPTC и GAIA[1].
Процесс аннотации
Каждая задача требовала нескольких компонентов:
- инструкции на естественном языке;
- соответствующих файлов или онлайн-ресурсов;
- конфигурации инициализации;
- целевого приложения или набора приложений;
- одной или нескольких функций извлечения итогового состояния;
- оценщика на основе исполнения;
- человеческой проверки выполнимости и корректности.
В оригинальной статье сообщается, что девять студентов компьютерных специальностей потратили более трёх месяцев на построение бенчмарка. Примерно 1 800 человеко-часов ушло на аннотирование задач, создание рабочих процессов и проверку, плюс дополнительное время на сбор и отбор исходных задач[1].
После аннотирования два контрибьютора, не создававших конкретный пример, выполняли его вручную. Задачи дорабатывались, если инструкция была неясной, настройка нестабильной или оценщик не принимал корректное решение.
Статистика набора данных
| Свойство | Количество | Доля в 369-задачном бенчмарке Ubuntu |
|---|---|---|
| Всего задач Ubuntu | 369 | 100 % |
| Задачи с одним приложением | 268 | 72,6 % |
| Кросс-прикладные рабочие процессы | 101 | 27,4 % |
| Задачи, интегрированные из родственных бенчмарков | 84 | 22,8 % |
| Намеренно невыполнимые задачи | 30 | 8,1 % |
| Различные начальные состояния | 302 | — |
| Уникальные функции оценки на основе исполнения | 134 | — |
| Вспомогательные задачи для Windows | 43 | Не входят в 369-задачный итог |
30 невыполнимых примеров бенчмарка представляют запросы, связанные с несуществующими, удалёнными или иным образом недоступными функциями. Агент должен распознать, что требуемый результат недостижим, а не выполнять произвольные действия или ложно заявлять об успехе.
Представление задач
Задачи исходного OSWorld обычно хранятся как структурированные конфигурационные записи. Точные поля различаются по задачам и версиям репозитория, но концептуальную запись можно представить так:
{
"id": "task-identifier",
"snapshot": "base-environment-name",
"instruction": "Natural-language request presented to the agent",
"config": [
{
"type": "download",
"parameters": {
"url": "task asset",
"path": "/home/oai/share/input.xlsx"
}
},
{
"type": "open",
"parameters": {
"path": "/home/oai/share/input.xlsx"
}
}
],
"related_apps": [
"libreoffice_calc"
],
"evaluator": {
"func": "task-specific comparison function",
"result": "getter for the final artifact",
"expected": "reference artifact or rule set",
"options": {
"task-specific": "comparison parameters"
}
}
}
Общие компоненты задачи включают:
| Компонент | Функция |
|---|---|
id
|
Идентифицирует пример и его сохранённые результаты. |
snapshot
|
Выбирает базовый образ виртуальной машины или состояние среды. |
instruction
|
Содержит запрос, показываемый агенту. |
config
|
Определяет инициализирующие действия: скачивание файлов, открытие приложений, размещение окон. |
related_apps
|
Фиксирует приложения, задействованные в задаче. |
evaluator
|
Задаёт способ извлечения и сравнения итогового состояния. |
trajectory
|
Может предоставлять аннотацию, происхождение или эталонный путь решения для разработки и анализа. |
От оцениваемого агента не требуется воспроизводить сохранённую эталонную траекторию. Он может достичь принимаемого состояния через другое меню, горячую клавишу, команду строки или рабочий процесс приложения, если оценщик распознаёт результат.
Оценка на основе исполнения
Функции извлечения и оценки
OSWorld оценивает задачи, инспектируя итоговую среду. Геттер (getter) извлекает релевантные свидетельства, а оценщик (evaluator) сравнивает эти свидетельства с требованиями задачи.
Функции-геттеры могут извлекать:
- файл из виртуальной машины;
- значения, формулы, имена листов или форматирование электронной таблицы;
- текст и стили документа;
- слайды и объекты презентации;
- пиксели или метаданные изображений;
- cookies, историю, вкладки, URL или содержимое страниц браузера;
- получателей или поля сообщений почты;
- конфигурационные файлы приложений;
- настройки операционной системы;
- элементы дерева доступности;
- листинг каталога;
- данные времени выполнения с сайта или внешнего сервиса.
Функции оценки могут использовать:
- точное сравнение строк или чисел;
- структурный разбор файлов;
- сравнение с учётом специфики электронных таблиц;
- правила с учётом специфики документов и презентаций;
- проверку сходства изображений и метаданных;
- проверки состояния браузера;
- селекторы по дереву доступности;
- правила существования файлов и путей;
- логические конъюнкции и дизъюнкции нескольких условий;
- динамическое извлечение актуального эталонного значения.
Функция вознаграждения возвращает значение от 0 до 1. Некоторые задачи фактически бинарны, другие допускают градуированную или покомпонентную завершённость. Итоговый балл обычно равен среднему вознаграждению по выбранному набору задач:
overall score = sum of task rewards / number of evaluated tasks
Оценщик на основе исполнения имеет два преимущества перед сопоставлением траекторий:
- он принимает разные корректные последовательности действий;
- он измеряет, было ли требуемое состояние реально создано, а не то, описал ли агент лишь намерение.
У него есть и ограничения. Программа может отклонить корректный результат из-за форматирования, различий версий приложений, неожиданного, но эквивалентного решения или ошибки в логике сравнения.
Завершение, отказы и лимиты шагов
Эпизод обычно завершается, когда:
- агент подаёт сигнал завершения;
- агент сообщает о невыполнимости задачи;
- достигнуто максимальное число шагов;
- среда или модель сталкивается с неустранимой ошибкой.
Часто используемая эталонная конфигурация допускает 15 шагов агента, хотя более поздние системы нередко используют 50, 100 и более. Поскольку одна программа PyAutoGUI может содержать несколько низкоуровневых операций, шаг OSWorld не следует интерпретировать как ровно одно человеческое действие.
Увеличение лимита шагов может улучшить результаты, давая агенту больше возможностей на поиск, восстановление и проверку. Оно также увеличивает стоимость и позволяет неэффективным системам обойти лаконичных агентов. Поэтому баллы всегда следует приводить вместе с бюджетом шагов.
Задачи Google Drive
Восемь исходных задач зависят от Google Drive или связанной настройки аккаунта. Сетевые ограничения, состояние OAuth, смена IP или защита провайдера могут помешать их инициализации.
Официальный проект признаёт две корректные конфигурации оценки[2]:
- настроить восемь задач вручную и оценивать все 369 задач;
- исключить их и оценивать оставшиеся 361 задачу.
В отчётах должно указываться, какой знаменатель использовался. Одна задача меняет балл по 369 задачам примерно на 0,27 процентного пункта, а по 361 задаче — примерно на 0,28.
Человеческая оценка
В оригинальном исследовании участники-люди работали в той же среде. Их средняя доля успеха составила 72,36 % против 88 % на использованной в исследовании выборке WebArena. Медианное время выполнения человеком — около 112 секунд против примерно 35 секунд на выборке задач WebArena[1].
Показатель 72,36 % не следует интерпретировать как максимально возможную результативность. Участники могли ошибаться, плохо знать незнакомые приложения, сталкиваться с нестабильностью задач или не успевать. Эксперты с повторным доступом к задачам могли бы показать иной балл.
Исходная оценка моделей
Первоначальное исследование оценивало системы на базе моделей семейств GPT, Gemini, Claude, Qwen, Mixtral, Llama и CogAgent. Эксперименты сравнивали ввод скриншотов, деревья доступности, комбинированные наблюдения и промптинг Set-of-Mark[1].
| Условие наблюдения | Лучшая конфигурация в этом условии | Общая доля успеха |
|---|---|---|
| Дерево доступности | GPT-4 | 12,24 % |
| Скриншот | Gemini-Pro Vision | 5,80 % |
| Скриншот и дерево доступности | GPT-4V | 12,17 % |
| Set-of-Mark | GPT-4V | 11,77 % |
| Результат людей | Отдельные пользователи | 72,36 % |
Это исторические результаты, полученные с моделями, промптами, версиями приложений и оценщиками статьи. Их не следует напрямую сравнивать с более поздними системами на OSWorld-Verified.
Выводы оригинального исследования
Авторы выявили несколько повторяющихся закономерностей.
Grounding графического интерфейса
Модели, работающие по скриншотам, часто выбирали верное общее действие, но кликали по неверной координате, выбирали соседний элемент или не распознавали мелкий элемент интерфейса. Более высокое разрешение скриншотов обычно улучшало результат, но и увеличивало стоимость обработки изображений.
Аннотации Set-of-Mark помогали некоторым моделям, назначая идентификаторы видимым элементам. Тем не менее метод мог отказывать, когда лежащее в основе дерево доступности пропускало элемент или выдавало неточный ограничивающий прямоугольник.
Качество дерева доступности
Деревья доступности улучшали некоторые результаты, раскрывая метки и роли элементов. Однако сырые деревья могли содержать миллионы токенов, повторяющиеся узлы, невидимые элементы или неинформативные детали реализации. Агрессивная фильтрация сокращала длину контекста, но рисковала удалить элемент, необходимый для задачи.
Операционные знания
Моделям часто не хватало знаний о меню, горячих клавишах, терминологии и конвенциях конкретных приложений. Они могли распознать, что электронную таблицу нужно изменить, но не найти нужный диалог LibreOffice, синтаксис формулы или элемент форматирования.
Профессиональные приложения вроде GIMP и LibreOffice Calc были особенно трудны, поскольку успешная работа требовала специализированных процедурных знаний, а не только общего визуального понимания.
Кросс-прикладные рабочие процессы
Задачи, охватывающие несколько программ, в целом давали низкие баллы. Агенту требовалось запомнить информацию, найденную в одном приложении, открыть другую программу, сохранить релевантные значения и проверить, что итоговый артефакт отражает полный запрос.
Длинные истории взаимодействия
Текстовые истории предыдущих наблюдений и действий были полезнее, чем сохранение только прошлых скриншотов. Однако полные истории исчерпывали ёмкость контекстного окна и могли отвлекать модель устаревшей информацией.
Восстановление после ошибок
Многие системы повторяли неудачный клик, продолжали с неверного состояния либо объявляли завершение, не проверяя результат. Одна ранняя ошибка grounding'а могла распространиться на всю оставшуюся траекторию.
OSWorld-Verified
OSWorld-Verified был анонсирован 28 июля 2025 года как всесторонняя ревизия исходного бенчмарка, а не отдельное семейство задач[3].
Сопровождающие собрали и устранили более 300 проблем, сообщённых сообществом, за примерно два месяца силами команды из около десяти контрибьюторов. Ревизия последовала после более чем года публичного использования академическими группами, провайдерами моделей и разработчиками компьютерных агентов.
Источники нестабильности
Проект выделил несколько классов деградации бенчмарка:
- изменение сайтами своего HTML, CSS, URL или видимого содержимого;
- антибот-системы, CAPTCHA, геолокационные ограничения и блокировка IP;
- удалённые загрузки или отключённые функции сайтов;
- загрузка приложений, идущая медленнее, чем ожидают скрипты инициализации;
- открытие окон в неожиданном размере или позиции;
- неоднозначные инструкции по цвету, диапазону, форматированию или охвату;
- нераспознанные оценщиком множественные корректные решения;
- отклонение эквивалентных файлов проверками точного форматирования;
- некорректное сравнение формул электронных таблиц с отображаемыми значениями;
- визуально несущественные различия изображений, PDF, документов и презентаций;
- отсутствие шрифтов, кодеков, аудиоустройств или поддержки видео;
- недоступность задачных ресурсов.
Эти проблемы показывают, что одного снапшота виртуальной машины недостаточно для постоянной воспроизводимости онлайн-бенчмарка компьютерных агентов. Задачи остаются зависимыми от внешних сайтов, аккаунтов, версий ПО, состояния сети и допущений оценщиков.
Основные улучшения
OSWorld-Verified ввёл или расширил:
| Область | Улучшение |
|---|---|
| Инструкции задач | Уточнены неоднозначные требования и неверные допущения. |
| Оценщики | Добавлена терпимость к эквивалентному форматированию, формулам, цветам, единицам, регистру и нескольким корректным путям решения. |
| Инициализация | Улучшена синхронизация: действия ожидают загрузки приложений и файлов. |
| Веб-задачи | Обновлены URL, селекторы, структуры страниц, прокси и альтернативные сайты. |
| Ресурсы | Файлы задач перенесены или продублированы на более стабильное хранилище. |
| Виртуальные машины | Добавлены отсутствующие шрифты, поддержка медиа и исправления приложений. |
| Инфраструктура | Расширено исполнение host-client на AWS и крупномасштабная параллелизация. |
| Верификация | Учреждён официальный процесс повторного запуска представленных агентов в общих настройках. |
| Прозрачность | Опубликованы траектории и детали реализации верифицированных систем там, где это разрешено. |
Данные остаются в исходном репозитории OSWorld. Результат, полученный на обновлённых файлах, следует обозначать как OSWorld-Verified, а не считать воспроизведением конфигурации статьи 2024 года.
Срез результатов июля 2025 года
При представлении OSWorld-Verified сопровождающие привели следующие избранные результаты[3]:
| Система | Заявленная доля успеха | Класс системы |
|---|---|---|
| CoACT-1 | 60,76 % | Агентный фреймворк |
| Agent S2.5 с o3 | 56,0 % | Агентный фреймворк |
| GTA1 с o3 | 53,1 % | Агентный фреймворк |
| Claude 4 Sonnet | 43,9 % | Агент на базе универсальной модели |
| UI-TARS | 40,0 % | Специализированная модель computer-use |
Это исторический срез, а не постоянный лидерборд. Системы использовали разные слои оркестрации и, в ряде случаев, обширные данные человеческих траекторий или специализированные компоненты grounding'а.
В том же отчёте отмечено, что реализация на базе o3 менялась примерно от 9,1 % до 23,0 % при изменении бюджета шагов. Это иллюстрирует, почему одного названия модели недостаточно для определения результата OSWorld.
Политика верифицированного лидерборда
Для попадания в верифицированную секцию официального лидерборда сопровождающие в общем случае требуют одной из двух процедур:
- команда проекта запускает представленный код агента на своей платформе оценки;
- доверенная организация предоставляет данные мониторинга и полные траектории.
Реализация агента должна быть доступна для проверки, хотя собственно проприетарный модельный API или веса модели раскрываться не обязаны. Эта политика призвана отделять воспроизводимые результаты от самостоятельно заявленных баллов, полученных на неизвестных версиях задач или настройках.
Программное обеспечение и воспроизводимость
ПО OSWorld написано в основном на Python и выпущено под лицензией Apache 2.0. Исходный репозиторий требует Python 3.10 или новее[6].
Локальную установку можно запустить так:
git clone https://github.com/xlang-ai/OSWorld cd OSWorld pip install -r requirements.txt python quickstart.py
Полный прогон бенчмарка дополнительно требует:
- совместимого провайдера виртуализации;
- образа виртуальной машины OSWorld;
- ключей API моделей или локального модельного сервера;
- настройки приложений и аккаунтов, требуемые выбранными задачами;
- сетевого доступа и, по желанию, настроек прокси;
- достаточного места на диске для образов, логов и траекторий;
- каталога результатов;
- явного списка задач и максимального числа шагов.
Воспроизводимый отчёт должен указывать:
- коммит репозитория или дату релиза;
- являются ли задачи исходным OSWorld или OSWorld-Verified;
- конфигурацию из 369 или 361 задачи;
- провайдера виртуализации и версию образа;
- модель и точный endpoint или чекпойнт;
- агентный фреймворк и модель grounding'а;
- тип наблюдения;
- пространство действий;
- разрешение скриншотов;
- промпты и системные инструкции;
- политику истории или памяти;
- максимальное число шагов;
- параметры сэмплирования;
- доступ к терминалу, Python, деревьям доступности или внешним инструментам;
- обработку таймаутов, повторов и сбоев среды;
- число повторных запусков;
- любую постобработку или ручное вмешательство.
Таким образом, баллы OSWorld — это баллы полных агентных систем в заданных условиях эксплуатации, а не чистые измерения базовой фундаментальной модели.
OSWorld 2.0
OSWorld 2.0 — бенчмарк-преемник, выпущенный 26 июня 2026 года. Он сохраняет принципы реального компьютера и оценки на основе исполнения, но смещает фокус с относительно коротких настольных задач на профессиональные рабочие процессы длительностью в десятки минут или несколько часов[4][5].
Релиз содержит 108 длинногоризонтных рабочих процессов и использует 31 собственный (self-hosted) сайт. Он охватывает семь профессиональных доменов и 21 подкатегорию:
- исследования;
- креативное производство;
- инженерия;
- персональные услуги;
- бизнес и финансы;
- администрирование и комплаенс;
- здравоохранение.
Задачи используют реалистичные входные файлы, состояния пользовательских профилей, сообщения, которые могут поступать во время исполнения, и состояния приложений, которые приходится выводить из нескольких независимых источников.
Сравнение с OSWorld 1.0
| Свойство | OSWorld 1.0 / Verified | OSWorld 2.0 |
|---|---|---|
| Основное назначение | Широкая оценка общей работы за компьютером | Длинногоризонтные профессиональные и повседневные рабочие процессы |
| Число задач | 369, или 361 без задач Google Drive | 108 |
| Типичная длительность для человека | Медиана около 112 секунд в исходном исследовании | Медиана около 1,6 часа |
| Задачи длительностью более часа | Не определяющее свойство | 69,6 % |
| Типичный горизонт агента | Около 30 действий в исходной характеристике | Более 250 шагов в среднем; 318 вызовов инструментов в среднем для одной эталонной конфигурации |
| Приложения и сервисы | Реальные настольные приложения и публичные сайты | Настольные приложения плюс 31 контролируемый или self-hosted сайт |
| Плотность оценки | Преимущественно проверки итогового состояния на основе исполнения | Итоговая завершённость плюс в среднем 27,25 оцениваемых контрольных точек на задачу |
| Основной балл | Среднее вознаграждение задачи на основе исполнения | Бинарная завершённость при 500 шагах, сопровождаемая частичным баллом |
| Распределение задач | Операционная система, офис, ежедневные, профессиональные и кросс-прикладные задачи | Семь профессиональных доменов и 21 подкатегория |
Бенчмарки напрямую несовместимы по баллам. OSWorld 2.0 меняет задачи, инфраструктуру, горизонт времени, контрольные точки оценки, окружение сайтов, представление состояния пользователя и бюджет модели.
Категории сложностей
OSWorld 2.0 аннотирует каждую задачу не исключающими друг друга категориями сложностей[4]:
| Сложность | Задач | Доля | Описание |
|---|---|---|---|
| Кросс-источниковое рассуждение | 46 | 42,6 % | Объединение релевантной информации из писем, документов, сайтов, записей или предыдущих сообщений. |
| Визуально-пространственная точность | 45 | 41,7 % | Выполнение точных операций размещения, выравнивания, геометрии, тайминга или чувствительных к раскладке. |
| Вывод неявного состояния | 43 | 39,8 % | Восстановление информации, которая прямо не указана и недоступна из одного очевидного источника. |
| Отслеживание состояния многих элементов | 43 | 39,8 % | Поддержание согласованного состояния по многим строкам, записям, событиям, кандидатам или правкам документов. |
| Разрешение конфликтов | 39 | 36,1 % | Определение, какой из нескольких устаревших, зашумлённых или противоречивых источников авторитетен. |
| Мультимодальное редактирование | 30 | 27,8 % | Создание или изменение изображений, видео, аудио, CAD-моделей и других нетекстовых артефактов. |
| Следование обучающим материалам | 22 | 20,4 % | Извлечение процедур из PDF, страниц, видео или примеров и их адаптация к текущей задаче. |
| Динамическая среда | 10 | 9,3 % | Пересмотр плана при поступлении новой релевантной информации во время исполнения. |
| Потоковое взаимодействие | 6 | 5,6 % | Действия при изменении видимой среды между наблюдениями и действиями. |
| Проактивное взаимодействие | 6 | 5,6 % | Распознавание неполных или конфликтующих требований и запрос уточнения у симулированного пользователя. |
Проценты пересекаются, поскольку один рабочий процесс может содержать несколько сложностей.
Метрики оценки
OSWorld 2.0 использует две основные меры завершённости задач:
| Метрика | Значение |
|---|---|
| Бинарная завершённость | Полный балл начисляется только если рабочий процесс достигает требуемого полного итогового состояния. |
| Частичный балл | Усредняет результаты контрольных точек задачи, измеряя, какая часть рабочего процесса выполнена корректно. |
Задача содержит в среднем 27,25 оцениваемых контрольных точек. Контрольные точки могут оценивать промежуточные записи, файлы, отправленные формы, состояние приложений, сгенерированные артефакты или требуемые фрагменты информации.
Основной заявленный режим оценки допускает до 500 шагов. Отдельные отчёты безопасности аудируют потенциально чувствительные действия, не объединяя безопасность автоматически с баллом завершённости.
Первоначальные результаты OSWorld 2.0
Избранные результаты при 500 шагах из статьи OSWorld 2.0 приведены ниже[5]:
| Конфигурация агента | Бинарная завершённость | Частичный балл |
|---|---|---|
| Claude Opus 4.8, максимальное мышление и пакетированные действия | 20,6 % | 54,8 % |
| Claude Opus 4.7, максимальное мышление и пакетированные действия | 18,2 % | 48,9 % |
| GPT-5.5 | 13,0 % | 49,5 % |
Эти значения описывают конкретных агентов статьи с их промптами, инструментами, бюджетами и модельными endpoint'ами, а не автоматически обновляемый лидерборд.
Исследование выявило сильную связь между длительностью задачи для человека и провалом агента:
- На задачах, занимающих у опытных людей менее 45 минут, избранные передовые агенты достигали примерно 20–24 % бинарной завершённости.
- В группе длительности 137–163 минуты ни одна оценённая модель не превысила 10 %.
- Свыше 163 минут каждая модель в представленном сравнении имела ноль бинарных завершений.
Более длинные рабочие процессы порождали накопительные сбои отслеживания состояния, согласования источников, приоритизации, проверки и управления временем. Агенты часто собирали релевантные свидетельства, но начинали финальное заполнение формы, отчёта или отправку слишком поздно, чтобы уложиться в бюджет шагов.
Доступ к данным и фиксация версий
Среда OSWorld 2.0 публикуется в отдельном репозитории под лицензией Apache 2.0[8].
Официальные Python-классы задач распространяются через датасет Hugging Face с гейтом (закрытым доступом), а не напрямую в публичном репозитории. Запросы доступа одобряются автоматически, но гейт призван снизить случайное загрязнение обучающих данных и помешать исполняющемуся агенту извлечь детали оценщика или решения из индексируемого публичного источника.
Крупные ресурсы распространяются отдельно, а официальные манифесты релизов фиксируют:
- версию задач;
- версию сайтов;
- код оценки;
- образ провайдера;
- вспомогательные ресурсы.
Пример идентификатора релиза — osworld-v2-2026.06.24. В отчётах следует использовать явный манифест, а не только ярлык «OSWorld 2.0».
Часть рабочих процессов опирается на замоканные (mocked) сайты, размещённые проектом или развёрнутые локально. Задачи на GitLab требуют собственной установки, поскольку раскрытие одного общего приватного токена создавало бы риск безопасности.
Родственные бенчмарки и расширения
Несколько проектов расширяют OSWorld или переиспользуют его среду для более специализированной оценки.
| Бенчмарк или набор данных | Год | Фокус | Основные характеристики |
|---|---|---|---|
| OSWorld-G | 2025 | Grounding графического интерфейса | Содержит 564 детальных примера, покрывающих сопоставление текста, распознавание элементов, понимание раскладки, точные манипуляции и невыполнимость[9]. |
| OSWorld-Human | 2025; переработан в 2026 | Эффективность агентов | Предоставляет определённую человеком траекторию для каждой исходной задачи OSWorld и сравнивает число и задержки шагов агента с человеческими рабочими процессами[10]. |
| OS-Harm | 2025 | Безопасность | Добавляет 150 задач с намеренным злоупотреблением, промпт-инъекциями и непреднамеренным поведением моделей по нескольким категориям вреда[11]. |
| OSWorld-MCP | 2025 | Использование GUI и структурированных инструментов | Добавляет 158 инструментов Model Context Protocol по семи приложениям и определяет 250 задач OSWorld, к которым эти инструменты применимы[12]. |
| OSWorld 2.0 | 2026 | Длинногоризонтные профессиональные рабочие процессы | Содержит 108 рабочих процессов с состояниями профилей, подлинными артефактами, контролируемыми сайтами, плотными контрольными точками и до 500 шагов оценки[5]. |
OSWorld-G
OSWorld-G изолирует компонент grounding'а при работе с компьютером. Вместо оценки всей траектории задачи он проверяет, может ли модель определить или манипулировать правильным элементом интерфейса по реалистичной инструкции.
Его 564 примера покрывают:
- сопоставление текста;
- распознавание элементов;
- понимание раскладки;
- тонкие манипуляции;
- невыполнимые запросы grounding'а.
Сопутствующая обучающая коллекция Jedi содержит около четырёх миллионов синтетических примеров grounding'а. В описанных экспериментах улучшенный grounding повысил результат одной конфигурации агента на OSWorld примерно с 5 % до 27 %[9].
Этот результат подтверждает вывод исходного OSWorld о том, что привязывание координат — главное узкое место, и одновременно показывает, что одного качества grounding'а недостаточно для решения проблем планирования, прикладных знаний и восстановления после ошибок.
OSWorld-Human
OSWorld-Human предоставляет проверенную человеческую траекторию действий для каждой исходной задачи и оценивает временную эффективность в дополнение к итоговому успеху.
Переработанное исследование сообщает, что ведущим агентам по-прежнему требуется примерно в 2,7–4,3 раза больше шагов, чем в соответствующих человеческих траекториях. Значительную часть задержек составляют вызовы больших моделей для планирования и рефлексии, а поздние шаги длинной траектории могут занимать до трёх раз больше времени, чем ранние, поскольку модель должна обрабатывать бо́льшую историю[10].
Набор данных подсвечивает ограничение лидербордов по доле успеха: агент может в итоге завершить задачу, тратя при этом слишком много времени или инференсных вычислений для практического применения.
OSWorld-MCP
OSWorld-MCP оценивает гибридные системы, которые могут выбирать между прямыми действиями в GUI и структурированными инструментами MCP (Model Context Protocol).
Бенчмарк предоставляет:
- 158 отобранных инструментов;
- покрытие семи распространённых приложений;
- 250 задач OSWorld, применимых к инструментам;
- 25 инструментов-отвлекающих (distractor);
- задачи, требующие нескольких последовательных вызовов инструментов;
- показатель Tool Invocation Rate и среднее число шагов завершения в дополнение к точности задач.
В одной из описанных конфигураций доступ к MCP повысил долю успеха агента на базе o3 с 8,3 % до 20,4 % при бюджете в 15 шагов. Тем не менее модели вызывали полезные инструменты редко и плохо компоновали несколько инструментов подряд[12].
Расширение проверяет, могут ли агенты решать не только то, какая операция нужна, но и то, является ли действие в GUI, команда или структурированный инструмент приложения самым эффективным путём исполнения.
OS-Harm
OS-Harm применяет среду OSWorld к безопасности компьютерных агентов. Его 150 задач разделены на:
- намеренно вредоносные запросы пользователей;
- атаки через промпт-инъекции;
- небезопасное поведение, инициированное самой моделью.
Задачи охватывают такие виды вреда, как травля, нарушение авторских прав, дезинформация и эксфильтрация данных. Бенчмарк оценивает как то, была ли выполнена запрошенная компьютерная операция, так и то, совершил ли агент небезопасные действия[11].
OS-Harm закрывает пробел метрики исходного OSWorld, которая сосредоточена на результате задачи и обычно не штрафует лишние вредоносные промежуточные операции.
Ограничения и критика
Динамические сайты и деградация среды
OSWorld использует реальные приложения и сайты, что повышает реалистичность, но ослабляет долгосрочную воспроизводимость.
Внешние зависимости могут меняться из-за:
- редизайна сайтов;
- новых CAPTCHA и антибот-систем;
- региональных ограничений;
- изменения аутентификации аккаунтов;
- удаления контента или загрузок;
- обновлений приложений;
- других шрифтов или кодеков;
- изменения поведения браузеров в части безопасности;
- сетевых сбоев;
- вариативности времени загрузки.
OSWorld-Verified исправил более 300 проблем, но этот же класс проблем может возникнуть снова. Результат воспроизводим только относительно конкретного образа среды, версии задач, состояния сайтов и даты.
Корректность задач и оценщиков
Пользовательский оценщик — сам по себе программное обеспечение, которое может содержать ошибки. Он может:
- ожидать результат, не согласованный с инструкцией;
- отклонить эквивалентное решение;
- сравнивать форматирование слишком строго;
- игнорировать важный компонент задачи;
- принять «шорткат», нарушающий задуманный рабочий процесс;
- сломаться после обновления приложения;
- извлечь не тот файл или элемент интерфейса;
- зависеть от нестабильного внешнего содержимого.
Крупная ревизия OSWorld-Verified демонстрирует объём человеческих усилий, необходимых для поддержания надёжных вознаграждений в реальных приложениях.
Оценивание итоговой точки
Оценка на основе исполнения обычно делает акцент на итоговом состоянии. Она может не заметить, что агент:
- прочитал или раскрыл приватную информацию без необходимости;
- изменил посторонний файл;
- совершил разрушительное промежуточное действие и потом отменил его;
- использовал небезопасную команду;
- нарушил предпочтения пользователя;
- чрезмерно повторял операцию;
- пришёл к верному результату через несанкционированный шорткат;
- дал пользователю вводящее в заблуждение объяснение.
Успешный балл задачи, таким образом, не подтверждает безопасную, эффективную или заслуживающую доверия траекторию.
OS-Harm, OSWorld-Human, аудиты на уровне траекторий и отдельные отчёты безопасности в OSWorld 2.0 закрывают части этого ограничения, но не дают универсального решения.
Загрязнение публичного бенчмарка
Исходные инструкции задач, ресурсы, конфигурации, код оценщика и многие траектории общедоступны. Они могут попасть в:
- корпуса претрейна;
- наборы данных для instruction-tuning;
- коллекции агентных траекторий;
- данные для обучения с подкреплением;
- библиотеки промптов;
- наборы данных grounding'а под конкретные приложения.
Систему можно также разрабатывать напрямую под публичный бенчмарк. Высокий результат может отражать подлинную генерализацию, специфичные для бенчмарка надстройки, запомненные траектории или их смесь.
OSWorld 2.0 снижает прямое раскрытие, размещая официальные классы задач за лёгким гейтом и используя версионируемые манифесты релизов. Это не гарантирует, что задачи остаются невидимыми для каждого разработчика моделей.
Зависимость от агентной системы
OSWorld оценивает полный стек агента. Две реализации на одной и той же базовой модели могут сильно различаться из-за:
- модели grounding'а;
- планировщика;
- цикла рефлексии;
- сжатия памяти;
- формулировок промптов;
- разрешения скриншотов;
- фильтрации дерева доступности;
- парсера действий;
- доступа к инструментам;
- процедуры восстановления после ошибок;
- максимального числа шагов;
- повторного сэмплирования;
- человеческих демонстраций;
- доступа к терминалу или скриптам.
Запись лидерборда не следует интерпретировать как изолированную меру указанной модели.
Навыки GUI против навыков скриптинга
Среда содержит терминал и допускает ввод с клавиатуры. Агент может решить некоторые номинально графические задачи, открыв терминал и выполнив команды оболочки, Python или приложения.
Это отражает легитимную человеческую стратегию работы с компьютером, но усложняет интерпретацию. Высокий балл может отражать общее компьютерное решение задач, а не прямое владение тестируемым GUI.
В сравнениях следует раскрывать, допускался ли доступ к терминалу, генерируемые скрипты, API приложений или внешние инструменты.
Охват платформ и приложений
Основной бенчмарк центрирован на Ubuntu и открытом настольном ПО. Многие организации вместо этого используют:
- Windows;
- macOS;
- Microsoft Office;
- Adobe Creative Cloud;
- системы планирования ресурсов предприятия;
- проприетарные средства коммуникации;
- внутренние базы данных;
- регулируемые или чувствительные к безопасности приложения.
Вспомогательные задачи Windows не дают покрытия, эквивалентного набору для Ubuntu. Поэтому результат на OSWorld не может установить компетентность во всех операционных системах или рабочем ПО.
Горизонт задач
Большинство исходных задач значительно короче реальных профессиональных проектов. Они могут затрагивать несколько приложений, но обычно представляют один ограниченный запрос.
OSWorld 2.0 был создан в том числе потому, что улучшения на короткогоризонтных бенчмарках не показывали, что агенты способны поддерживать состояние и приоритеты в течение часового рабочего процесса. Преемник показывает, что результативность резко падает с ростом длительности задачи для человека.
Интерпретация человеческого базлайна
Исходный человеческий результат в 72,36 % — не фиксированная верхняя граница. Участники различались знакомством с приложениями и могли сталкиваться с теми же нестабильностями среды, что и агенты.
Более поздние агентные системы могут также получать ресурсы, недоступные в исходном человеческом исследовании, например:
- большие бюджеты шагов;
- скриптинг на Python;
- специализированные модели grounding'а;
- сохранённые демонстрации;
- инструменты под конкретные приложения;
- повторные попытки;
- обширные вычисления на инференсе.
Поэтому сравнения с исходным человеческим процентом должны описывать различающиеся условия.
Статистическое разрешение
У 369-задачного бенчмарка ограниченное разрешение. Одна задача меняет итоговый балл примерно на 0,27 процентного пункта. Подмножества по приложениям меньше, и их неопределённость шире.
Модель может также вести себя стохастически. Один прогон на задачу не показывает, будет ли та же система стабильно успешной после небольшого визуального, временного или генеративного изменения.
Повторные испытания и доверительные интервалы дают более весомые доказательства, но существенно увеличивают стоимость оценки.
Инфраструктурная стоимость и сложность
Полная оценка требует виртуальных машин, хранилища, сетевого доступа, инференса моделей, настройки аккаунтов и значительного времени исполнения.
Облачная параллелизация сокращает полное время прогона, но может порождать заметные инфраструктурные расходы и расходы на модельные API. Локальное исполнение избавляет от части облачных затрат, но требует совместимого аппаратного обеспечения виртуализации и более длительных периодов оценки.
Сложность настройки создаёт риск того, что две группы, работающие с одним списком задач, всё равно различаются версиями приложений, конфигурацией образов, состоянием сети или поведением таймаутов.
Производительность и практичность
Успех в задачах сам по себе не измеряет практическую полезность агента. Система может получить высокий балл, тратя намного больше действий и времени, чем человек.
OSWorld-Human показал, что даже ведущие агенты используют значительно больше шагов, чем необходимо. OSWorld 2.0 дополнительно демонстрирует, что более высокая доля завершённости может требовать непропорционально больших бюджетов токенов и затрат.
Поэтому практическая оценка должна сообщать:
- доле успеха;
- частичной завершённости;
- числу действий;
- полному времени прогона;
- токенам модели;
- денежной стоимости;
- попыткам восстановления;
- нарушениям безопасности;
- вмешательствам пользователя.
Сравнимость между версиями
Как минимум три существенно разные конфигурации обычно называют OSWorld:
| Название | Релиз | Интерпретация |
|---|---|---|
| Исходный OSWorld | апрель 2024 | Состояние задач и оценщиков, связанное со статьёй NeurIPS. |
| OSWorld-Verified | июль 2025 | Ревизия на месте исходного семейства задач с обновлённой инфраструктурой и оцениванием. |
| OSWorld 2.0 | июнь 2026 | Отдельный длинногоризонтный преемник с новыми задачами, сайтами, метриками и манифестами релизов. |
Баллы этих конфигураций не следует сводить в один числовой рейтинг. Статья или карточка модели должны указывать точную ревизию задач, а не сообщать только «точность OSWorld».
Ссылки
- Официальный сайт OSWorld 1.0 и OSWorld-Verified
- Официальный репозиторий OSWorld
- Анонс OSWorld-Verified
- Официальный сайт OSWorld 2.0
- Официальный репозиторий OSWorld 2.0
- OSWorld на AI Wiki
- OSWorld — англоязычная версия на systems-analysis.info
См. также
Литература
- Xie, T. et al. (2024). OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. NeurIPS 2024. arXiv:2404.07972.
- Yuan, M. et al. (2026). OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks. arXiv:2606.29537.
- Xie, T. et al. (2025). Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis. arXiv:2505.13227.
- Abhyankar, R.; Qi, Q.; Zhang, Y. (2025). OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents. arXiv:2506.16042.
- Jia, H. et al. (2025). Benchmarking MCP Tool Invocation in Computer-Use Agents. arXiv:2510.24563.
- Kuntz, T. et al. (2025). OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents. arXiv:2506.14866.
- Zhou, S. et al. (2024). WebArena: A Realistic Web Environment for Building Autonomous Agents. ICLR 2024. arXiv:2307.13854.
Примечания
- ↑ 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 Xie, T. et al. "OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments". Advances in Neural Information Processing Systems 37, 2024. NeurIPS proceedings; arXiv:2404.07972.
- ↑ 2,0 2,1 XLANG Lab. "OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments". [1]
- ↑ 3,0 3,1 3,2 3,3 XLANG Lab. "Introducing OSWorld-Verified". 28 July 2025. [2]
- ↑ 4,0 4,1 4,2 XLANG Lab. "OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks". 2026. [3]
- ↑ 5,0 5,1 5,2 5,3 Yuan, M. et al. "OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks". arXiv:2606.29537, 2026. [4]
- ↑ 6,0 6,1 XLANG Lab. "OSWorld". GitHub repository. [5]
- ↑ 7,0 7,1 XLANG Lab. "OSWorld Agent Interface: Observation Space and Action Space". GitHub. [6]
- ↑ XLANG Lab. "OSWorld-V2". GitHub repository. [7]
- ↑ 9,0 9,1 Xie, T. et al. "Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis". arXiv:2505.13227, 2025. [8]
- ↑ 10,0 10,1 Abhyankar, R.; Qi, Q.; Zhang, Y. "OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents". arXiv:2506.16042, 2025, revised 2026. [9]
- ↑ 11,0 11,1 Kuntz, T. et al. "OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents". arXiv:2506.14866, 2025. [10]
- ↑ 12,0 12,1 Jia, H. et al. "Benchmarking MCP Tool Invocation in Computer-Use Agents". arXiv:2510.24563, 2025. [11]