Коротко
Автор проверил, как браузерный ИИ анализирует два кабинета Яндекс Директа, и обнаружил пять уверенных выводов, основанных на неверно прочитанном интерфейсе. Главный вывод: автоматизация ускоряет подготовку отчёта, но числа и бизнес-смысл конверсий нужно проверять человеку до изменения бюджета.
Контекст
Автор — специалист, который работает с рекламой серверов и систем хранения данных для корпоративных клиентов. В нише крупные чеки, тендерные закупки и сделки, длящиеся месяцами; за три дня в начале августа он поручил браузерному помощнику разобрать два кабинета Яндекс Директа. Данные округлены и обезличены. API Директа не использовался: помощник работал в браузере на компьютере автора в уже авторизованной сессии.
Главное
- Доступ к Яндекс Директу предоставлялся через браузер и уже открытую авторизованную сессию; логины, пароли, токены и API не использовались.
- В кампании было 10 конверсий за 30 дней, но 9 из них оказались целью «Клик по номеру телефона» — случайными касаниями, а не реальными заявками.
- На основании этих конверсий помощник решил, что мобильные сети хорошо работают, и предложил перенаправить туда бюджет; автор счёл такой вывод несовместимым с длинным циклом корпоративных сделок.
- В трёх группах интерфейс показывал первые пять фраз и кнопку «Ещё N фраз». Помощник не раскрыл список: фактически в каждой группе было более 90 фраз.
- Из-за смещения колонок в отчёте помощник приписал одному ключу около 14 тыс. ₽ расходов в неделю; повторная проверка показала чуть больше 200 ₽ за 30 дней.
- Помощник заподозрил удаление рабочих ключей между аудитами, но проверка подтвердила, что они оставались на месте.
- Ошибочные и верные выводы были изложены одинаково уверенным тоном; помощник пересматривал их после уточняющих вопросов, но сам не отмечал сомнительные места.
- После исправлений ежедневная сводка по двум кабинетам стала поступать в рабочий чат в полдень; автор оценивает прежнюю ручную сверку примерно в час.
- Автор рекомендует не выдавать автоматике права на изменение кабинета и перепроверять суммы и количества по исходной таблице.
- Для оценки результата нужны сведения, которых нет в кабинете: что считается заявкой, приемлемая стоимость заявки с учётом маржи и цикла сделки, порог статистической значимости и правдоподобные для ниши значения.
Как сделано
Помощник взаимодействовал с тем же веб-интерфейсом, что и человек: видел отрисованные на экране таблицы и элементы управления, но не получал исходные данные напрямую. Для переключения между кабинетами под разными организациями пришлось пользоваться аватаром и пунктом «Сменить аккаунт»; этот пункт не переключал нужный кабинет.
Автор сопоставлял выводы помощника со знанием бизнеса и повторно проверял подозрительные показатели в интерфейсе, в частности разбирал конверсии по целям и сверял суммы с исходным отчётом. После исправлений ежедневная сводка по обоим кабинетам стала приходить в рабочий чат в полдень. Помощник готовит список изменений, но применяет их человек.
Результаты
В пяти случаях помощник ошибся при чтении интерфейса: принял 10 конверсий за 10 заявок, предложил усилить мобильные рекламные сети на ложном основании, не заметил, что в группах было более 90 фраз вместо видимых первых пяти, приписал одному ключу расход около 14 тыс. ₽ в неделю вместо чуть более 200 ₽ за 30 дней и сообщил об удалении ключей, хотя они оставались на месте. После доработки ежедневный разбор двух кабинетов стал занимать у специалиста меньше времени: сводка приходит по расписанию, а ручная сверка, по словам автора, раньше занимала около часа.
Ограничения
Это практический опыт одного автора и двух кабинетов; независимого сравнения моделей или количественной оценки точности нет. Автор предполагает, что более сильная модель сама по себе не устранит ошибки, вызванные свёрнутыми списками и неверным чтением колонок, но прямо называет это гипотезой. Помощник не распознавал бизнес-смысл целей без дополнительных вводных и не выражал сомнений в неверно прочитанных цифрах. Доступ к данным был только через визуальное представление интерфейса. Из-за ошибки обращения к модели один ручной прогон оборвался на проверке минус-слов; автоматике поэтому не следует давать права самостоятельно менять кабинет.
Что взять себе
- Сначала проверьте, что именно считается конверсией: системная цель вроде клика по телефону не обязательно равна обращению или продаже.
- Сверяйте суммы и количества с исходным отчётом, особенно если помощник читает таблицу по изображению и может перепутать колонки или не раскрыть список.
- Давайте ИИ готовить рекомендации, но оставляйте человеку решение о бюджете и применение правок; заранее передавайте модели бизнес-контекст, которого нет в рекламном кабинете.
Читать оригинал, если…
Откройте оригинал, если нужны детали пяти эпизодов, контекст переключения кабинетов и аргументы автора о том, какие проверки оставить человеку.