Идея
В длинных задачах программирования вывод инструментов быстро раздувает контекст агента. Метод LOHA оставляет инструкции, историю действий агента и последние наблюдения в обычном тексте, а более старые наблюдения переводит в сжатое латентное представление. ACD обучает агента работать с таким контекстом, сопоставляя его ответы с ответами исходной модели на несжатом тексте. На SWE-bench Verified при сохранении трёх последних наблюдений объём контекста сократился на 43–57%, но доля решённых задач оказалась ниже, чем без сжатия. При жёстком лимите в 32 тысячи токенов сжатие помогло избежать потерь от обрезания длинной истории.
Вывод
Исследователи Пекинского университета применили LOHA и ACD к моделям Qwen3-4B и SWE-Master-4B-RL. На подмножестве из 199 длинных задач Qwen3-4B с LOHA решила 21,1% задач против 11,1% при обрезании обычного текста; при одновременном обслуживании запросов на одном GPU пропускная способность выросла в 1,9 раза. Практический вывод: сжимать прежде всего старые выводы инструментов, сохраняя действия агента и недавние наблюдения в точном виде, но учитывать возможное снижение качества без жёсткого лимита контекста.