Коротко
Microsoft и Hugging Face описывают ThinkingBox — бенчмарк, который оценивает не только вызовы инструментов и ответы агента, но и итоговое состояние базы данных. На 507 бизнес-сценариях повторные прогоны показали, что разовый успех и надёжность существенно различаются, поэтому для рабочих процессов важны проверки состояния, повторяемость и восстановление после ошибок.
Контекст
Статья подготовлена командой Microsoft Copilot Studio совместно с Hugging Face, Toloka и исследователями из нескольких университетов. Авторы исходят из проблемы: агент может корректно вызывать инструменты и уверенно сообщать о завершении, но оставить записи в неверном состоянии или выполнить лишние действия. В примере с задержанной доставкой агент изучил правила и открыл обращение, но ошибочно закрыл его как решённое, хотя оно должно было остаться на удержании.
Главное
- Оценка опирается на конечное состояние базы и побочные эффекты, а не только на корректность трассы вызовов или финального текста.
- В каждой задаче задаются начальное состояние, пользовательская цель, MCP-инструменты, правила домена и исполняемые проверки; попытки изолированы друг от друга.
- Каждую задачу запускали 20 раз. Авторы различают pass@1, долю задач, решённых хотя бы раз за 20 попыток, и фактический результат 20/20.
- Claude Opus 5.5 получила лучший общий pass@1 — 67,16%; Kimi-K3 решила хотя бы раз 93,89% задач, но её результат 20/20 составил 13,41%.
- Claude Opus 5 и Opus 5.5 обе прошли по 241 задаче из 507 во всех 20 попытках, несмотря на небольшое преимущество Opus 5.5 по pass@1.
- В абляции 67,24% проваленных попыток завершились чисто, без финальной ошибки инструмента, но не удовлетворили проверкам состояния.
- Чаще всего сбои относились к использованию инструментов (79,9% диагностических подписей); авторы подчёркивают важность обработки ошибок и восстановления.
- Стоимость успешной попытки и стоимость задачи, пройденной 20/20 раз, дают разные рейтинги: например, GPT-5.6 Sol дёшева за единичный успех, но дороже по критерию надёжности.
- В бенчмарке пять областей и 507 сценариев; средний pass@1 для розницы составлял 59,52%, для автострахования — 33,83%.
- Для воспроизводимого запуска доступны ThinkingBox и ThinkingBox-Bench через OpenEnv; инструкция закрепляет релиз данных и использует Typesense 30.1.
Как сделано
ThinkingBox задаёт для каждой задачи начальное состояние серверной части, цель пользователя, доступные MCP-инструменты, политику предметной области и исполняемые проверки результата. Каждый запуск получает отдельную чистую сессию и состояние; один и тот же сценарий выполняется 20 раз. После завершения система извлекает фактические побочные эффекты и сверяет конечное состояние с требуемым. Для 477 из 507 задач достаточно проверки состояния, ещё 30 используют узкие бинарные оценки ответа.
ThinkingBox-Bench опубликован через интерфейс OpenEnv. Среда возвращает бинарный результат pass/fail, а ошибки инфраструктуры записывает отдельно, чтобы их можно было повторно запустить. В статье приведены точные команды для установки OpenEnv и ThinkingBox, закрепления данных на thinkingbox-bench-v1.0, запуска Typesense 30.1 и MCP-серверов, старта OpenEnv и оценки эпизода через thinkingbox-eval. Для канонических результатов закрепляются версии фреймворка и данных, а также хеш набора.
Результаты
Бенчмарк содержит 507 задач в пяти областях: розничная торговля, автострахование, путешествия, необанк и консалтинг. В основном сравнении участвовали 18 моделей, каждая задача запускалась 20 раз. По pass@1 лидировала Claude Opus 5.5 с 67,16%; Kimi-K3 была сильнейшей среди моделей с открытыми весами с 57,37%. Kimi-K3 решила хотя бы раз 476 из 507 задач (93,89%), но прошла все 20 запусков лишь на 68 задачах (13,41%). Claude Opus 5.5 прошла 241 задачу в режиме 20/20 (47,53%); столько же — Claude Opus 5.
В абляции 121 680 попыток на 12 моделях 79 853 не прошли исполняемые проверки. Среди этих неудач 67,24% завершились без явной ошибки инструмента, хотя результат оказался неверным. Авторы обнаруживали неверные значения полей в 77,61% таких случаев, лишние эффекты — в 43,30%, отсутствующие обязательные эффекты — в 25,36%; категории пересекались. В классификации типов отказов 79,9% приходилось на работу с инструментами, 10,3% — на неверные изменения состояния, 7,0% — на незавершённое решение запроса и 2,9% — на отсутствие изменения состояния.
Оценочная стоимость одного успешного задания составляла от $0.127 для GPT-5.6 Sol до $0.276 для Claude Opus 5.5 среди моделей на границе «цена—качество». По цене за задачу, стабильно пройденную 20 из 20 раз, лидировала GPT-5.4 — $6.80; у GPT-6 Astra было $7.45, у Claude Opus 5.5 — $7.80. Эти суммы рассчитаны по оценочному использованию токенов и опубликованным тарифам, а не являются фактическими счетами.
Ограничения
Все сценарии бенчмарка синтетические, хотя и моделируют типовые корпоративные процессы; реальные клиенты и обращения не использовались. Оценка затрат — сравнительный расчёт по токенам и тарифам OpenRouter на 20 сентября 2026 года (для Opus 5.5 использованы тарифы Anthropic), а не производственный счёт. Категории ошибок частично пересекаются, а назначенная диагностическая подпись не доказывает единственную причину сбоя. Авторы не измеряли, насколько предложенные меры — сокращение набора инструментов, классификация ошибок, повторные попытки и человеческое подтверждение — улучшат результаты. Результаты зависят от конкретных задач, моделей и настроек; средние показатели скрывают различия между областями.
Что взять себе
- Для агента, меняющего реальные записи, проверяйте итоговое состояние системы перед подтверждением операции: связный отчёт агента не доказывает, что задача выполнена.
- Оценивайте повторяемость на чистом начальном состоянии, а не только лучший запуск или средний разовый балл; выбирайте метрику, соответствующую цене ошибки.
- Разбирайте завершившиеся без явной ошибки, но не прошедшие проверки попытки: они помогают выявить неверные поля, лишние действия и незакрытые эффекты.
- Стройте восстановление вокруг ошибок инструментов и предусловий; ограничивайте доступные инструменты нужными для процесса и требуйте подтверждения для трудно обратимых изменений.
- Сравнивайте модели по стоимости надёжного результата, если важна стабильность, а не только по цене единичного успешного вызова.
Читать оригинал, если…
Откройте оригинал, если нужны таблицы по всем моделям и доменам, полный разбор ошибок, ссылки на исследование или инструкции и команды для собственного запуска ThinkingBox через OpenEnv.