Welche AI-Crawler gibt es — und wofür?
| Crawler-Token | Betreiber | Zweck | Konsequenz bei Blockade |
|---|---|---|---|
| GPTBot | OpenAI | Trainingsdaten | Kein Einfluss auf Live-Antworten, aber langfristige Modellkenntnis entfällt |
| OAI-SearchBot | OpenAI | Suchindex für die ChatGPT-Websuche | Ihre Seiten fehlen in den Kandidatenmengen von ChatGPT |
| ChatGPT-User | OpenAI | Live-Abruf während eines laufenden Gesprächs | Keine satzgenauen Zitate aus Ihren Seiten in Echtzeit |
| ClaudeBot | Anthropic | Abruf für Claude | Unsichtbarkeit bei einem B2B-geprägten Publikum |
| PerplexityBot | Perplexity | Echtzeit-Retrieval | Ausschluss aus einer Engine mit 100 % Live-Abruf |
| Google-Extended | Nur Modelltraining | Keine Wirkung auf Indexierung oder AI-Overviews-Zitationen |
Die drei OpenAI-Token werden getrennt in robots.txt konfiguriert: Training, Suchindex und Live-Abruf sind drei verschiedene Entscheidungen. Google-Extended steuert ausschließlich das Training — wer es blockiert, bleibt trotzdem indexiert und zitierfähig; wer es erlaubt, gewinnt keine Sichtbarkeit.
Wie liest man die Logs systematisch aus?
- Logzeilen nach den Crawler-Token filtern (User-Agent enthält GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot).
- Pro Token zählen: Anzahl Anfragen, Zeitraum, verteilte URLs, HTTP-Statuscodes.
- Statusmuster prüfen: Viele 403 oder 503 trotz erlaubtem Token deuten auf WAF- oder CDN-Blockaden; ausschließlich Anfragen an robots.txt ohne Folgeaufrufe deuten auf eine Disallow-Regel.
- Reichweite prüfen: Werden nur Startseite und wenige Seiten gelesen oder auch die Kernseiten mit Ihren Antwort-Assets?
- Monatlich wiederholen und mit der Zitationsrate abgleichen: ein Crawler, der kommt, aber nichts zitiert, signalisiert ein Zitierfähigkeitsproblem, kein technisches.
Für die Auswertung genügen einfache Mittel: eine Suche im Zugriffslog nach den Token, verdichtet pro Woche und Pfad, oder ein kleines Skript, das Token, Statuscodes und Ziel-URLs in eine Tabelle schreibt. Entscheidend ist nicht das Werkzeug, sondern die Regelmäßigkeit — nur die Zeitreihe zeigt, ob eine Änderung an robots.txt, CDN oder WAF das Crawl-Verhalten tatsächlich verändert hat. Archivieren Sie die monatlichen Auszüge mit Datum, genau wie die Screenshots der Antwort-Messung: Sie sind die technische Beweiskette des Kanals.
Wie verifiziert man echte Crawler?
User-Agents lassen sich fälschen: Spam-Bots geben sich gern als GPTBot aus, um großzügige Regeln auszunutzen. Die Betreiber veröffentlichen offizielle IP-Bereiche beziehungsweise Hostnamen; die Praxis ist der Reverse-DNS-Abgleich — die IP muss zum Betreiber auflösen und die Vorwärtsauflösung muss wieder auf die IP zeigen. Wer eine WAF oder Bot-Management einsetzt, sollte diese Verifikation der Plattform überlassen, aber monatlich stichprobenartig prüfen: Es kommt vor, dass Sicherheitsregeln OAI-SearchBot oder PerplexityBot als „unbekannter Bot“ abweisen, obwohl robots.txt sie einlädt. Die häufigste Ursache unsichtbarer Websites ist nicht die robots.txt, sondern die vorgelagerte Schicht.
Was folgt aus den Befunden?
Vier typische Konstellationen und ihre Maßnahmen: Erstens, der Crawler fehlt komplett — robots.txt, CDN, WAF und Hoster-Regeln der Reihe nach prüfen, außerdem Indexierung (Bing für ChatGPT, Google für AI Overviews). Zweitens, der Crawler kommt, erreicht aber nur wenige Seiten — interne Verlinkung, Sitemap und serverseitiges Rendering verbessern; JavaScript-abhängiger Content fällt oft durchs Raster. Drittens, hohe Abrufe, keine Zitationen — der Content ist lesbar, aber nicht zitierfähig: Direktantworten, datierte Fakten und Struktur nachschärfen, siehe Antwort-Engineering. Viertens, ChatGPT-User ruft Seiten live ab — ein sehr gutes Zeichen: Nutzer fragen gerade live nach Ihrem Thema; diese URLs verdienen Priorität bei der Pflege. Ergänzend hilft eine gepflegte llms.txt als Lesekarte für kompatible Crawler.
Typische Fallen
Erste Falle: alle KI-Crawler vorsorglich blockieren — das schließt die Live-Retrieval-Kanäle komplett; Schutzfragen gehören auf die Trainingsebene (GPTBot, Google-Extended), nicht auf den Suchindex. Zweite: die drei OpenAI-Token verwechseln — wer GPTBot sperrt, aber glaubt, damit die ChatGPT-Suche abzuschalten, irrt; das wäre OAI-SearchBot. Dritte: Logs nie lesen und Probleme an der Zitationsrate raten. Vierte: den Log-Befund nicht dokumentieren — ohne Datum und Beleg lässt sich später nicht zuordnen, welche technische Änderung welche Wirkung hatte. Fünfte: Crawler-Volumen als Erfolg feiern; es ist ein Eingangssignal, der Ertrag wird in Nennungen und Zitationen gemessen, siehe Mess-SOP.