Коротко
Автор предлагает два бесплатных HTTP-адреса, которые позволяют агентам без регистрации и API-ключей получать веб-страницы в Markdown и проверять правила robots.txt для AI-краулеров. Инструменты упрощают доступ к вебу, но бесплатный сборщик не исполняет JavaScript и имеет лимиты.
Контекст
Автор представляет инструменты на tools.yukai.uk и объясняет проблему: универсальный агент часто не может самостоятельно завести аккаунт и получить ключ API, но способен обратиться по URL. Поэтому автор выставил две функции в виде открытых URL; предполагается, что часть пользователей со временем перейдёт на платные варианты с расширенными возможностями.
Главное
- Доступны два адреса без аккаунта и API-ключа:
/md/<URL>для Markdown и/ai-crawlers/<домен>для анализа правил краулеров. - Сервисы бесплатны, допускают CORS и ограничены примерно 10 запросами в минуту с одного IP.
- Markdown-ответ включает метаданные, включая HTTP-статус, целевой URL, оценку токенов и отметку
truncated; предел — 100 000 символов. - Для JSON-ответа сборщика можно использовать заголовок
Accept: application/json; для агента достаточно описать URL в системном промпте или спецификации инструмента. - Проверка политики учитывает robots.txt, llms.txt и метатеги noai, сопоставляя их с 29 AI-краулерами.
- Автор подчёркивает различие между блокировкой обучающих краулеров, например GPTBot и ClaudeBot, и блокировкой поисковых/ассистентских, например OAI-SearchBot и ChatGPT-User.
- В выборке от 1 октября 2026 года Wikipedia отмечена как открытая, NYTimes и Guardian — как блокирующие поиск, а Stack Overflow получил неопределённый результат из-за HTTP 403.
- Бесплатный сборщик не выполняет JavaScript, не обходит целые сайты, не конвертирует PDF и не готовит чанки для RAG.
Как сделано
Первый адрес — https://tools.yukai.uk/md/<URL> — возвращает страницу в очищенном Markdown. В YAML-заголовке указываются заголовок и конечный URL после перенаправлений, HTTP-статус, примерная оценка токенов и признак усечения. Навигация, баннеры cookies и скрипты удаляются, ссылки сохраняются; результат ограничен 100 000 символами. Для JSON можно передать заголовок Accept: application/json. Пример вызова: curl https://tools.yukai.uk/md/https://docs.python.org/3/library/pathlib.html.
Второй адрес — https://tools.yukai.uk/ai-crawlers/<домен> — анализирует robots.txt, llms.txt и метатеги noai, сверяя правила с 29 AI-краулерами. Среди перечисленных — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot и Google-Extended. Сервис различает краулеры для обучения моделей и для поиска или ответов ассистентов, показывает вердикт и предлагает фрагмент robots.txt. Оба бесплатных адреса ограничены примерно 10 запросами в минуту на IP; CORS открыт.
Результаты
Автор показал ответы инструментов на реальных запросах от 1 октября 2026 года. Для Python 3.14.8 документации pathlib сборщик вернул HTTP 200 и оценку около 20 900 токенов без усечения. В примерах проверки политик Wikipedia получила статус open и оценку 100, NYTimes и Guardian — blocks search с оценками 41 и 65. Для Stack Overflow проверка осталась неопределённой: robots.txt ответил HTTP 403. Данных о числе пользователей, точности проверок или сравнительных тестах в статье нет.
Ограничения
Бесплатный Markdown-сборщик выполняет обычный HTTP-запрос и не запускает JavaScript, поэтому сайты-одностраничники могут вернуться почти пустыми. Он не обходит целые сайты, не конвертирует PDF и не разбивает текст для RAG. Лимит — около 10 запросов в минуту на IP и 100 000 символов на результат. Проверка правил зависит от доступности robots.txt и других сигналов: при HTTP 403 результат может быть неизвестен; статья не сообщает о независимой оценке полноты или точности проверки. Для более тяжёлых задач упомянуты платные версии: Apify Actor для обхода сайтов за $1 за 1 000 страниц и RapidAPI API с бесплатным месячным планом.
Что взять себе
- Для простого чтения веб-страниц агенту можно дать прямой URL к Markdown-преобразователю вместо интеграции с отдельным API и ключами.
- Оценку токенов и признак усечения полезно проверять до передачи длинной страницы в контекст модели.
- Не следует трактовать запрет обучающему краулеру как запрет на появление сайта в ответах AI-поиска: это разные группы ботов.
- Перед автоматическим сбором проверяйте ответ и ограничения сайта; HTTP 403 или отсутствие данных не означает разрешение.
- Для JavaScript-сайтов, больших обходов и PDF потребуется другой инструмент или платная версия.
Читать оригинал, если…
Откройте оригинал, если нужны точные примеры ответов API, таблица проверки сайтов или подробности о платных вариантах и остальных инструментах автора.