Pourquoi les logs sont-ils la source de vérité ?
robots.txt exprime une intention ; les logs montrent la réalité. Un crawler autorisé mais qui ne vient jamais ne vous sert pas ; un crawler bloqué au niveau du CDN alors que robots.txt l'autorise rend votre politique caduque ; des pages jamais visitées ne peuvent pas être citées. Avant toute optimisation de contenu, établissez qui lit quoi. C'est l'équivalent GEO de l'audit d'indexation en SEO classique.
Quels agents utilisateur faut-il reconnaître ?
| Agent utilisateur | Opérateur | Rôle | Effet du blocage |
|---|---|---|---|
| GPTBot | OpenAI | Crawl d'entraînement | Vos pages n'alimentent pas l'entraînement futur |
| OAI-SearchBot | OpenAI | Index de recherche ChatGPT | Invisibilité durable dans la recherche ChatGPT |
| ChatGPT-User | OpenAI | Récupération en direct pendant une conversation | Impossible à citer en temps réel, même si indexé |
| ClaudeBot | Anthropic | Crawl pour Claude | Invisibilité dans les réponses de Claude |
| PerplexityBot | Perplexity | Récupération temps réel | Invisibilité sur un moteur qui cite presque phrase par phrase |
| Google-Extended | Entraînement uniquement | Aucun effet sur la récupération ni les réponses — jeton distinct du crawl Google |
La distinction des trois crawlers OpenAI est la leçon la plus importante : le trio se configure séparément dans robots.txt. Bloquer GPTBot pour refuser l'entraînement tout en autorisant OAI-SearchBot et ChatGPT-User est une politique légitime et courante ; confondre les trois dans une règle unique produit des effets involontaires dans un sens ou dans l'autre.
Comment mettre en place l'analyse ?
- Extraire des logs toutes les lignes dont l'agent utilisateur contient les jetons ci-dessus, sur 30 à 90 jours.
- Croiser avec robots.txt et la configuration du CDN ou pare-feu applicatif : les blocages en amont n'apparaissent pas comme des refus explicites dans robots.txt.
- Cartographier les pages visitées par crawler : vos pages clés (catégories, produits, études) sont-elles dans la liste ?
- Comparer la fréquence de visite à votre rythme de publication : un crawler qui ne revient jamais signale un problème de découvrabilité (sitemap, IndexNow pour l'écosystème Bing).
- Vérifier les codes de réponse servis aux crawlers IA : des 403 ou des redirections en chaîne invalident silencieusement votre récupération.
Que faire des résultats ?
Trois décisions types. Si ChatGPT-User frappe vos pages mais que ChatGPT ne vous cite pas, le problème est la citabilité du contenu, pas l'accès — retravaillez les blocs de réponse directe. Si OAI-SearchBot est absent, vérifiez l'inscription dans Bing Webmaster Tools et IndexNow, car la recherche ChatGPT dépend de l'index Bing. Si PerplexityBot est bloqué par une règle de CDN générique « anti-bots », ajoutez une exception documentée : Perplexity récupère en temps réel et cite quasi phrase par phrase — chaque blocage est une citation perdue.
Pièges fréquents
Le premier piège : la politique robots.txt héritée. Beaucoup de sites bloquent tous les crawlers IA depuis une décision de 2023 jamais réévaluée — et s'étonnent de leur invisibilité. Le deuxième : croire que Google-Extended contrôle les réponses Google ; ce jeton ne concerne que l'entraînement. Le troisième : analyser les volumes sans analyser les cibles — mille visites sur des pages annexes ne valent pas dix visites sur vos pages de catégorie. Enfin, les logs ne disent pas pourquoi un passage n'est pas cité : ils montrent l'accès, la mesure des citations reste du ressort du SOP de mesure. Pour la configuration des droits d'accès, voir llms.txt et robots.txt.