为什么要分开识别这些爬虫？

因为它们对应完全不同的管道。以 OpenAI 的三个爬虫为例：GPTBot 抓取训练语料，决定模型对你的长期认知；OAI-SearchBot 建搜索索引，决定联网搜索的候选池；ChatGPT-User 是用户提问触发的实时抓取，决定此刻的答案里有没有你。一条「Disallow: GPTBot」如果误伤了 OAI-SearchBot，等于主动退出 ChatGPT 的实时答案。Anthropic 的 ClaudeBot 与 PerplexityBot 同理，各有独立管道。

日志里怎么认出它们？

服务器访问日志按 User-Agent 过滤即可。重点看四个指标：抓取频次（引擎是否持续关注你）、抓取路径（抓的是产品页还是无关参数页）、响应状态（大量 403/404 说明存在误拦截或死链）、抓取深度（是否触达核心转化页）。AI 爬虫来了但只抓到导航壳、抓不到正文，通常是客户端渲染问题——正文要靠服务端渲染交给爬虫。

robots.txt 怎么配置？

原则：训练与搜索分开决策。想进 ChatGPT 实时答案就放行 OAI-SearchBot 与 ChatGPT-User；是否允许 GPTBot 用于训练是独立的品牌决策。Google 侧的 Google-Extended 只管训练，不影响索引与 AI Overviews 引用——屏蔽它不会把你踢出 AI Overviews，放行它也不等于提升排名。配置示例与逐引擎说明见 llms.txt 与爬虫配置。

操作清单

  • 导出近 90 天日志，按 GPTBot / OAI-SearchBot / ChatGPT-User / ClaudeBot / PerplexityBot 分组统计
  • 核对 robots.txt，确认搜索类爬虫未被误伤
  • 检查 AI 爬虫抓取路径的响应状态与正文可得性（服务端渲染）
  • 把爬虫到访量与 AI 引用实测结果对照，建立「抓取→引用」的因果观察
  • 每月复盘一次，纳入 GEO 监测例行报告

常见坑

  • 安全设备或 CDN 的机器人规则在源站之外拦掉了 AI 爬虫
  • 只看 Google 的抓取日志，从没查过 AI 爬虫
  • 全站一刀切屏蔽所有 AI 爬虫，把搜索管道和训练管道一起关掉

常见问题

日志里完全看不到 AI 爬虫，说明什么？
先查 CDN/WAF 层是否拦截，再查 robots.txt，最后看站点权威度——新站抓取频次低是正常的。用 Bing Webmaster Tools 与 Search Console 的收录状态交叉验证。
允许 GPTBot 抓取会泄露内容吗？
训练抓取与搜索索引是两条管道，风险与收益各自评估。可验收的做法是：明确每类爬虫的放行策略、写进 robots.txt、每月日志复核执行情况。