Идея
Основные расходы coding-агента возникают не только из-за выбора модели, но и из-за многократной передачи истории на каждом шаге. В приведённом исследовании медианный шаг включал 119 тысяч токенов кешируемого префикса против 875 новых входных и 214 выходных токенов. Кеш снижает цену повторного чтения, но не делает его бесплатным, а изменение префикса может привести к более дорогой записи. Автор рекомендует сохранять префикс неизменным, удалять устаревшие и повторяющиеся данные из истории и учитывать расходы по отдельным запускам. Сравнивать затраты следует по успешно выполненным задачам, включая цену неудачных попыток.
Вывод
Автор проверил соотношение входных и выходных токенов в собственной сессии и обнаружил, что входных было примерно в 13 раз больше. Приведённые исследования и бенчмарки показывают, что стоимость запусков может сильно различаться даже для одной задачи. Разработчикам coding-агентов стоит сначала измерить и оптимизировать цикл работы, а затем сравнивать модели по стоимости успешного выполнения.