Коротко
Исследователи IntelligenceLab и Мэрилендского университета показали, что обучение на сырых логах агентских задач закрепляет зависимость от вспомогательных механизмов среды. Метод Recursive Self-Rewrite (RSR) превращает успешные попытки в очищенные инструкции, а затем заново выполняет задачи в обычном терминальном окружении; обученная так модель превзошла базовую и модель, обученную напрямую на логах.
Контекст
В статье описана работа команды IntelligenceLab и University of Maryland (arXiv:2610.02826) над обучением агентов для сложных терминальных задач. Исходная проблема: агентам помогают специальные harness-среды — с проверками состояния, циклами рефлексии и тестовыми инструментами, — но их сырые траектории плохо подходят для обучения модели, предназначенной для работы в обычном bash.
Главное
- Использовалась модель Qwen-3.8-27B и около 3 000 терминальных задач.
- Сравнивались три разных harness: Terminus 2, StateM и Recursive Self-Reflect Terminus.
- Вместе три harness решили 759 задач — на 34,3% больше, чем наиболее успешный одиночный harness.
- Сырые траектории содержали привязанные к harness подсказки, проверки и обходные пути, поэтому прямое SFT давало слабый прирост.
- RSR разделяет поиск решения и обучение: сначала извлекает процедуру, затем заново выполняет задачу без исходных вспомогательных механизмов.
- В конвейере работают Planner, Critic и Executor; проверка Critic выявляет утечки проверяющих скриптов и зависимости от конкретного harness.
- Из 2 001 исходного успеха получили 11 094 очищенные и проверенные траектории в стандартном bash.
- На Terminal-Bench 4 RSR-обучение достигло 9,1% pass@3 против 4,5% у прямого SFT и 1,5% у базовой модели.
- Авторы сообщают об улучшении на всех перечисленных бенчмарках; веса доступны на Hugging Face под именем IntelligenceLab/RSR-27B.
Как сделано
Авторы запускали Qwen-3.8-27B примерно на 3 000 терминальных задачах с тремя harness-системами: Terminus 2, StateM и Recursive Self-Reflect Terminus. Затем RSR обрабатывал успешные траектории в три этапа.
Planner извлекал из успешной попытки процедурный runbook: промежуточные цели, проверки состояния и способы восстановления, не копируя готовые ответы и результаты. Critic проверял его по публичному описанию задачи и отклонял утечки проверяющих скриптов, прямые решения и специфичный синтаксис harness. После рекурсивной переработки Executor выполнял задачу с нуля в изолированной среде через стандартный Terminus 2; runbook служил скрытой инструкцией и не попадал в итоговую траекторию. Отбор с повторными попытками дал 11 094 чистые проверенные траектории из 2 001 исходного успешного решения.
Результаты
Три исходных harness вместе решили 759 задач — на 34,3% больше, чем лучший отдельный harness. Прямое SFT сырых траекторий дало на Terminal-Bench 4 pass@3 4,5% против 1,5% у базовой модели. Обучение на RSR-траекториях улучшило результаты на всех приведённых тестах: Terminal-Bench 2 — 74,2% pass@3 (база 57,0%, прямое SFT 53,4%); Terminal-Bench 4 — 9,1% (1,5% и 4,5%); Terminal-Bench Hard — 63,0% против 39,0% у базы; Software Terminal-Bench 100 — 6,0% против 3,0%; Long-Horizon Terminal-Bench — process reward 0,29 против 0,21. Веса опубликованы на Hugging Face как IntelligenceLab/RSR-27B.
Ограничения
В предоставленном тексте нет сведений о стоимости генерации и обучения, статистической значимости, подробностях воспроизводимости или сравнении с другими способами очистки данных. Результаты относятся к указанным бенчмаркам и Qwen-3.8-27B; обобщение на другие модели и реальные производственные среды не подтверждено.
Что взять себе
- Не следует автоматически использовать для SFT успешные логи агентов, если решения зависят от специальных инструментов, внутренних проверок или подсказок среды.
- Сложные harness-системы могут быть полезны для офлайн-поиска решений, если затем очищенные процедуры проверяются повторным запуском в целевом простом окружении.
- Стоит оценивать не только количество успешных траекторий, но и то, сможет ли модель повторить процедуру без скрытой помощи исходного harness.
Читать оригинал, если…
Откройте статью, если вам нужны детали экспериментов, устройство бенчмарков или материалы для воспроизведения метода и проверки опубликованных весов.