¿Por qué los logs importan en GEO?
En SEO clásico, Search Console te dice cómo te rastrea Google. En GEO no existe una consola equivalente para la mayoría de motores: la evidencia de que OpenAI, Anthropic o Perplexity leen tu sitio está solo en tus logs. Sin ese dato no puedes saber si tus bloques de respuesta llegan a los crawlers, si las páginas nuevas se descubren o si un bloqueo accidental te está dejando fuera de las respuestas.
Además, los logs responden una pregunta estratégica: ¿el ecosistema de IA te trata como fuente viva o te ignora? Una marca que publica documentación original y no recibe visitas de crawlers de IA tiene un problema de accesibilidad; una que recibe visitas pero no citas tiene un problema de contenido.
¿Qué agentes de usuario debo reconocer?
| Agente | Empresa | Función |
|---|---|---|
GPTBot | OpenAI | Rastreo para datos de entrenamiento |
OAI-SearchBot | OpenAI | Indexación para la búsqueda de ChatGPT |
ChatGPT-User | OpenAI | Lectura en vivo cuando un usuario pregunta |
ClaudeBot | Anthropic | Rastreo para entrenamiento y conocimiento |
PerplexityBot | Perplexity | Rastreo de su índice en tiempo real |
Google-Extended | Control de entrenamiento (no es un crawler de indexación) |
El trío de OpenAI se configura por separado en robots.txt, y esa separación tiene sentido: puedes permitir la búsqueda (OAI-SearchBot) y la lectura en vivo (ChatGPT-User) mientras decides aparte sobre el entrenamiento (GPTBot). Recuerda que la búsqueda de ChatGPT también depende del índice de Bing — de ahí la importancia de IndexNow, explicada en el análisis de ChatGPT — y que Google-Extended solo controla el entrenamiento, no la indexación ni las citas de AI Overviews.
¿Cómo analizar los logs paso a paso?
- Extrae las líneas cuyo agente de usuario contiene los identificadores anteriores (más Bingbot como referencia para ChatGPT/Copilot).
- Agrupa por crawler y por sección del sitio: ¿leen tus páginas de producto y documentación, o solo el blog y la página de inicio?
- Cruza con tu mapa de contenido: las páginas con bloques de Respuesta directa deberían recibir visitas; las que no los reciben tienen un problema de descubrimiento.
- Verifica códigos de respuesta: rachas de 403, 404 o 5xx ante crawlers de IA indican bloqueos de WAF, CDN o robots.txt que nadie recuerda haber puesto.
- Compara antes y después de cada publicación importante: IndexNow y los sitemaps deberían acortar el tiempo hasta la primera visita.
Un matiz de interpretación: ChatGPT-User aparece cuando un usuario real provoca una lectura en vivo, así que sus picos correlacionan con demanda. Si tu tráfico de referidos de IA crece pero ChatGPT-User nunca aparece en los logs, algo está cortando la lectura en vivo.
Checklist de gobierno de crawlers
- robots.txt revisado: decisión explícita y documentada para cada crawler, no heredada.
- Sin bloqueos accidentales en WAF/CDN: los crawlers de IA reciben 200, no desafíos ni 403.
- Contenido clave en el HTML inicial: lo que el crawler no ve en el primer response no existe para él.
- Revisión mensual de logs integrada en el SOP de medición.
- Política coherente con la estrategia del canal técnico y llms.txt.
Errores frecuentes
- Bloquear todo «la IA» por principio: te excluye de las respuestas, que no es lo mismo que proteger el contenido.
- Confundir los roles: bloquear OAI-SearchBot pensando que solo afecta al entrenamiento te saca de la búsqueda de ChatGPT.
- No mirar nunca los logs: la mayoría de los bloqueos se descubren por accidente, meses después, cuando alguien revisa por primera vez.