主流 AI 爬蟲各自管什麼？
| 爬蟲 | 廠商 | 職責 |
|---|---|---|
| GPTBot | OpenAI | 訓練語料抓取，屏蔽它不影響聯網答案 |
| OAI-SearchBot | OpenAI | ChatGPT 搜尋索引，屏蔽等於放棄聯網候選資格 |
| ChatGPT-User | OpenAI | 使用者即時提問觸發的頁面讀取 |
| ClaudeBot | Anthropic | Claude 訓練與檢索語料抓取 |
| PerplexityBot | Perplexity | 即時檢索抓取——Perplexity 100% 即時，這是它唯一的內容通道 |
OpenAI 的三個爬蟲職責不同，要在 robots.txt 裡分開設定，不要一刀切。另注意：Google-Extended 只管訓練資料，不影響 Google 搜尋索引與 AI Overviews 引用。
日誌分析怎麼做？
- 按 User-Agent 過濾：從存取日誌篩出上述爬蟲的請求記錄，統計造訪頻率、抓取頁面、回應狀態碼。
- 對照核心頁面清單：產品頁、規格頁、案例頁是否被抓到？只抓首頁不抓內頁，通常是內鏈或渲染問題。
- 檢查錯誤碼：大量 403、404、5xx 出現在 AI 爬蟲記錄裡，就是能見度問題的第一現場。
- 按月追蹤趨勢：放行設定調整後，造訪量應在數週內上升；PerplexityBot 完全缺席說明即時管道沒打開。
放行策略怎麼定？
預設建議全部放行：訓練爬蟲決定模型的「先天認知」，搜尋爬蟲決定聯網答案的候選資格，ChatGPT-User 決定即時提問時能不能讀到你的頁面。個別版權敏感內容可針對訓練爬蟲單獨屏蔽，但 OAI-SearchBot 與 ChatGPT-User 屏蔽的直接代價是答案缺席。配置後用 llms.txt 給進站的爬蟲指路，並把爬蟲數據納入 月度監測的技術面證據。
常見坑
坑一：照抄網路範本全屏蔽 AI 爬蟲——出於版權焦慮卻連搜尋爬蟲一起擋，主動放棄能見度。坑二：以為放行了就萬事大吉——放行只是許可，頁面渲染不完整、內鏈不通，爬蟲來了也讀不到答案塊。坑三：只看 Google Search Console——AI 爬蟲數據在伺服器日誌裡，GSC 看不到。
常見問題
日誌裡沒有 AI 爬蟲記錄，代表什麼？
通常代表三種情況：robots.txt 誤屏蔽、站點權重太低未被排入抓取佇列、或日誌工具沒記錄 User-Agent。先查 robots.txt，再確認日誌完整性，最後用內容更新與外鏈提升抓取優先級。
小公司沒有日誌分析工具怎麼辦？
最簡方案：每月匯出原始存取日誌，用試算表按 User-Agent 關鍵字（GPTBot、ClaudeBot、PerplexityBot）篩選計數即可。主機商若提供日誌面板，多數已能按爬蟲分類檢視。