Зачем GEO-команде серверные логи?
Инструменты вроде Search Console показывают только Google. Всё остальное — ChatGPT, Claude, Perplexity — видно лишь в логах вашего сервера или CDN. Там фиксируется каждый визит ИИ-краулера: user-agent, URL, время, код ответа. Это отвечает на вопросы, которые иначе остаются гаданием: читает ли OAI-SearchBot ваши новые страницы, как часто PerplexityBot возвращается к дата-отчёту, не отдаёт ли сервер ошибку важному разделу. Правило простое: страница, которую не обходят, не может быть ни извлечена, ни процитирована.
Кто есть кто: главные user-agent
| User-agent | Владелец | Назначение |
|---|---|---|
| GPTBot | OpenAI | Сбор данных для обучения моделей |
| OAI-SearchBot | OpenAI | Индексация для поиска ChatGPT |
| ChatGPT-User | OpenAI | Живой обход по запросу пользователя в чате |
| ClaudeBot | Anthropic | Обход для обучения и поиска Claude |
| PerplexityBot | Perplexity | Извлечение в реальном времени для ответов |
Ключевая деталь: у OpenAI три краулера с раздельными токенами в robots.txt. Запрет GPTBot не закрывает поисковый OAI-SearchBot и живой ChatGPT-User — и наоборот. Это позволяет тонко настроить политику: например, закрыть обучение, но оставить поисковую видимость. Блокировка «всех ботов OpenAI» одной строкой — частая и дорогая ошибка: она выключает канал живого извлечения.
Как построить анализ?
- Выгрузите логи доступа за 90 дней и отфильтруйте по известным user-agent ИИ-краулеров.
- Постройте матрицу «краулер × раздел сайта»: какие разделы обходятся, какие игнорируются.
- Проверьте коды ответов: 403, 404 и 5xx на визитах ИИ-краулеров — прямые потери видимости.
- Сопоставьте частоту обхода с датами публикации: быстро ли доходят новые страницы до OAI-SearchBot и PerplexityBot.
- Сверьте с robots.txt и правилами CDN/WAF: нет ли блокировок, о которых команда не знает.
На какие сигналы смотреть в первую очередь?
Первый — визиты ChatGPT-User. Этот краулер приходит, когда живой пользователь спрашивает ChatGPT о вашей теме и система догрузывает страницу в реальном времени. Рост таких визитов — опережающий индикатор будущих цитирований. Второй — ритм OAI-SearchBot: если новые страницы обходятся неделями, ускорьте доставку через IndexNow — веб-поиск ChatGPT и Copilot зависит от индекса Bing, и IndexNow сокращает путь публикации в индекс с недель до минут. Третий — отношение PerplexityBot к свежим материалам: Perplexity извлекает на 100% в реальном времени, и его визиты к дата-отчётам и новостным страницам показывают, что система считает свежим и релевантным.
Чек-лист работы с краулерами
- Явно пропишите раздельные токены GPTBot, OAI-SearchBot и ChatGPT-User в robots.txt с осознанным решением по каждому.
- Проверьте, что ClaudeBot и PerplexityBot не блокируются на уровне хостинга или CDN раньше, чем доходят до robots.txt.
- Подключите IndexNow, чтобы ChatGPT и Copilot видели обновления быстро.
- Ежемесячно стройте отчёт «краулер × раздел × код ответа» и связывайте его с замерами цитируемости.
- Убедитесь, что ключевые страницы отдают читаемый серверный HTML, а не контент, подгружаемый только JavaScript.
Типичные ошибки
Первая ошибка — блокировка по умолчанию: широкое правило robots.txt или WAF, закрывающее всех «ботов», выключает живое извлечение ChatGPT-User и поисковый обход OAI-SearchBot, и команда узнаёт об этом месяц спустя по упавшей видимости. Вторая — смешение токенов: решение «закрыть OpenAI от обучения» исполняется как полный запрет, хотя GPTBot и OAI-SearchBot управляются раздельно именно для этого случая. Третья — логи без связи с измерением: частоты обхода сами по себе ничего не доказывают; их ценность — в сопоставлении с ежемесячными замерами видимости и цитируемости. О том, как устроен конвейер после обхода, читайте в статье как ИИ-системы выбирают источники; о настройке присутствия в ChatGPT — в разборе ChatGPT.