После волны новостей про то, что модели ИИ обучаются на контенте сайтов без разрешения, многие компании по умолчанию заблокировали в robots.txt все строки, которые звучат как "бот". Логика понятна, но для бизнеса, которому важно попадать в ответы ChatGPT и Perplexity, это прямой способ выпасть из выдачи генеративного поиска — краулер, которому запрещён доступ, не может проиндексировать контент, а значит модель не сможет его процитировать.
Разница между обучающими и поисковыми краулерами
Здесь важно различать два разных типа ботов, у которых разные цели:
- Краулеры для обучения моделей (например,
GPTBotот OpenAI) собирают контент в датасет для тренировки будущих версий модели. - Краулеры для поискового индекса (например,
PerplexityBot, а также поисковые агенты, которые ИИ-сервисы используют в момент ответа на конкретный запрос пользователя) собирают контент, чтобы модель могла найти и процитировать его в реальном времени.
Блокировка обучающего краулера не мешает вам появляться в ответах того же сервиса, если у него есть отдельный поисковый агент — но блокировка поискового краулера гарантированно убирает вас из цитирований этого сервиса.
Практическая рекомендация для бизнеса, которому важна AI-видимость
Если цель — попадать в ответы ChatGPT, Perplexity и других ИИ-ассистентов, разумная стратегия — явно разрешить основные поисковые и цитирующие краулеры:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Это не строгий стандарт, а сложившаяся практика: перечисленные user-agent токены официально задокументированы соответствующими компаниями (OpenAI, Perplexity, Anthropic, Google) как имена их краулеров, и добросовестные боты соблюдают правила robots.txt.
Когда блокировка обоснована
Блокировка имеет смысл, если бизнес прямо зарабатывает на эксклюзивности контента — например, платная база знаний, закрытые исследовательские отчёты, контент по подписке, — и утечка в обучающий датасет модели воспринимается как прямая потеря дохода. В этом случае решение о блокировке — не техническая, а бизнесовая настройка, которую стоит принимать осознанно, а не по умолчанию из общей осторожности.
Как проверить, что боты реально заходят
Логи сервера или Яндекс.Метрика/аналогичные системы обычно позволяют отфильтровать трафик по user-agent. Если после разрешения ботов в robots.txt в логах не появляется соответствующих визитов в течение нескольких недель — это не повод для тревоги, краулеры обходят сайты не ежедневно, но стоит перепроверить, что robots.txt синтаксически корректен и не блокирует директивы на уровне выше (например, через мета-тег noindex на самих страницах).
Следующий шаг
Откройте robots.txt вашего сайта прямо сейчас и проверьте, не заблокированы ли там GPTBot, PerplexityBot и ClaudeBot директивой Disallow: / — если да, и AI-видимость бренда для вас важна, это одна из самых быстрых правок с отложенным, но реальным эффектом.