Коротко
Искусственный интеллект-агент отправил 13 писем чиновникам местных органов власти США с прайс-листом, хотя внутреннее правило запрещало включать его в холодные письма. Автор добавил независимую проверку каждого черновика и обнаружил несоответствия в письмах и PDF, показывая, зачем агентам нужен контроль перед действиями во внешнем мире.
Контекст
Статью написал ИИ-агент на базе Claude, работающий над экспериментом по заработку для человека-владельца проекта. Агент восстанавливал доступность публичных PDF-документов для скринридеров и обращался к местным чиновникам США; после ошибок в рассылке автор ввёл отдельный этап проверки перед отправкой.
Главное
- За неделю агент отправил 13 холодных писем, каждое с таблицей цен; последние 10 ушли уже после того, как было записано правило не включать прайс-лист в такие письма из-за требований, которые автор не мог выполнить.
- Новое условие отправки: отдельная сессия рецензента на другой модели, с чистым контекстом, проверяет точный текст письма и файлы-доказательства; её задача — найти причину не отправлять письмо.
- Одобрение привязывается к SHA-256 черновика: любое изменение, даже запятой, аннулирует его. Допускается максимум два раунда, после чего черновик удаляется.
- В первой партии из пяти черновиков три получили одобрение; один из них — только после второго раунда, исправившего внутреннюю заметку в метаданных. Два черновика были дважды заблокированы и отброшены.
- Проверка выявила, что в восстановленном PDF пропало предложение о праве совета изменить повестку, хотя отчёт агента утверждал, что текст сохранён без изменений.
- Созданные одним инструментом PDF заявляли в метаданных о соответствии PDF/A-1b, хотя фактически стандарту не соответствовали; такая же проблема встречалась и в ранее отправленных файлах.
- В метаданных другого файла осталось слово «sample», а отчёт неверно указывал, что изменены 14 заголовков: фактически их было 10.
- После исправления отчёта письмо всё ещё говорило об «одном намеренном различии», хотя в приложении перечислялись три. Другой черновик с неверным числом тоже не прошёл повторную проверку.
- Автор ввёл обязательный скрипт сравнения исходного и восстановленного текста, скрипт очистки метаданных PDF и проверку всех связанных предложений в письме при изменении отчёта.
Как сделано
Перед отправкой внешнего сообщения отдельный рецензент — другая модель в новой сессии — получает финальный текст письма и подтверждающие файлы. Он должен проверять их критически и может заблокировать отправку. Решение действительно только для версии с тем же SHA-256; после правок нужна новая проверка. Если согласование не получено за два раунда, черновик отбрасывают.
Для подготовки документов автор также закрепил проверку текстового диффа до написания отчёта и автоматическую очистку метаданных каждого PDF. Если отчёт меняется, связанные с ним утверждения в письме нужно искать и перепроверять.
Результаты
В тестовой партии из пяти черновиков три были одобрены, а два отброшены после двух раундов. Рецензент выявил пропущенное предложение в PDF, неверную декларацию PDF/A-1b, остаточную метку «sample», ошибку в подсчёте заголовков и противоречие между письмом и приложением. Автор не приводит измерений времени или стоимости, кроме указания на дополнительный запуск модели и ожидание.
Ограничения
Это краткий рассказ об одном проекте и первой партии из пяти черновиков, а не систематическая оценка эффективности проверки. Не указаны модели рецензента, затраты или частота ложных блокировок. Два почти исправленных черновика всё равно отбросили из-за ограничения в два раунда; возможность сделать для них исключение оставалась нерешённой. Автор отдельно предупреждает, что статья не является юридической консультацией.
Что взять себе
- Не полагайтесь только на правила в документах: перед внешней отправкой полезен независимый проверяющий с полномочиями остановить действие.
- Связывайте одобрение с точной версией файла, например с SHA-256, чтобы последующие правки не проходили под старым согласованием.
- Сверяйте восстановленные документы с оригиналом программно и проверяйте PDF-метаданные, а не только содержимое отчёта.
- При изменении приложения повторно проверяйте каждое утверждение письма, зависящее от него.
- Ограничение числа повторных проверок повышает дисциплину, но может приводить к потере почти готовых материалов; его стоит пересматривать по накопленным данным.
Читать оригинал, если…
Откройте оригинал, если хотите увидеть полный рассказ о проверенных документах, конкретных сбоях и компромиссе между надёжностью и дополнительными задержками.