À quoi sert llms.txt ?
Les crawlers IA arrivent sur un site sans carte : ils doivent deviner quelles pages comptent. llms.txt résout ce problème avec une convention simple : un fichier /llms.txt en Markdown qui présente le site en quelques lignes puis liste, par sections, les URL importantes avec une courte description. Le modèle qui récupère vos pages en direct (par exemple ChatGPT-User pendant une conversation) peut ainsi atteindre directement vos meilleurs contenus au lieu de se perdre dans la navigation.
Quelle différence avec robots.txt et sitemap.xml ?
| Fichier | Rôle | Question à laquelle il répond |
|---|---|---|
| robots.txt | Contrôle d'accès | Qui a le droit de crawler quoi ? (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended se configurent séparément) |
| sitemap.xml | Inventaire exhaustif | Quelles URL existent et quand ont-elles changé ? |
| llms.txt | Carte de lecture | Une fois entré, quoi lire en priorité et dans quel ordre ? |
Les trois se complètent, aucun ne remplace les autres. llms.txt n'est pas un levier de classement : c'est une aide à la navigation qui réduit le risque qu'un crawler lise les mauvaises pages.
Comment écrire un bon llms.txt ?
- Ouvrir par le nom du site en titre H1, suivi d'un résumé factuel en deux phrases (qui vous êtes, ce que couvre le site).
- Ajouter un encadré de faits clés : entité, langues, date de mise à jour.
- Lister les sections en H2 (Documentation, Guides, Références) avec des liens Markdown vers les pages clés, chacun suivi d'une description d'une ligne.
- Terminer par une section « Optional » pour les pages secondaires.
- Publier à la racine (
https://votresite.example/llms.txt), en texte brut UTF-8, et le maintenir à chaque refonte de structure.
Le llms.txt de ce site sert d'implémentation de référence : il liste les 12 éditions linguistiques et les pages de chaque section.
Limites honnêtes
llms.txt est une convention jeune : tous les crawlers ne le lisent pas encore, et aucun moteur ne garantit de le suivre. Il ne débloque ni l'indexation ni la citation. Son coût est quasi nul et son bénéfice réel (orientation des crawlers compatibles) — mais il ne dispense ni des données structurées, ni de la crawlabilité, ni de la qualité du contenu.
Que mettre dans la section « Optional » ?
Les pages secondaires mais utiles en contexte : mentions légales avec la raison sociale complète, page de contact, glossaire, archives. Le crawler y puise s'il a besoin de précision, sans que ces pages diluent la priorité des sections principales. Évitez en revanche d'y ranger des pages pauvres ou dupliquées : tout ce que vous listez doit pouvoir être lu tel quel et cité sans risque.
Pièges fréquents
Premier piège : y lister des centaines d'URL comme un sitemap — le fichier redevient illisible et perd sa fonction de priorisation. Deuxième : descriptions promotionnelles au lieu de descriptions factuelles. Troisième : le publier puis l'oublier ; un llms.txt qui pointe vers des URL mortes est pire que pas de fichier. Quatrième : croire qu'il remplace robots.txt — bloquer GPTBot dans robots.txt puis inviter les crawlers dans llms.txt est contradictoire. Pour le cadre complet, voir l'implémentation technique du GEO.