Идея
В Node.js-монорепозитории 63 теста попеременно проходили и падали, из-за чего команда перестала доверять CI. Разработчик отключил повторы, измерил частоту сбоев за 20 прогонов и создал скрипт для многократной проверки каждого исправления. Затем он разделил причины на гонки и проблемы синхронизации, общее состояние, внешние зависимости и ошибки в коде продукта. Claude Code выполнял воспроизведение, поиск причин и типовые исправления, а разработчик проверял изменения и принимал решения там, где требовалось определить правильное поведение.
Вывод
Разработчик применил Claude Code вместе с проверочным скриптом: по его данным, 58 из 63 проблем были устранены, а пять тестов, связанных с ошибками продукта, изолированы и получили задачи на исправление. Доля запусков, в которых основная ветка CI краснела без видимой причины, снизилась примерно с 30% до менее 2%. Главный урок — сначала измерять и воспроизводить сбои, а затем давать агенту проверяемую задачу и не позволять ему добиваться зелёного статуса удалением тестов или чрезмерным использованием заглушек.