なぜログを見る必要があるのか？
GEOの最初の関門は「エンジンがサイトに到達できるか」です。robots.txtで許可したつもりでも、CDNやWAFの設定でブロックされているケースが珍しくありません。サーバーのアクセスログは、AIクローラーが実際に何を・いつ・どの頻度で読みに来たかを示す唯一の一次証拠です。引用率が動かないとき、真っ先に確認すべきはコンテンツではなくこの到達性です。クローラー設定の前提知識はllms.txtと技術実装を参照してください。
各クローラーの役割はどう違うのか？
| User-Agent | 運営 | 役割 | ブロック時の影響 |
|---|---|---|---|
| GPTBot | OpenAI | 学習データ収集 | 長期的な「先天的認知」が削られる |
| OAI-SearchBot | OpenAI | ChatGPT検索のインデックス用 | ChatGPT検索の候補から外れる |
| ChatGPT-User | OpenAI | 会話発のリアルタイム取得 | ライブ回答でサイトを読めない |
| ClaudeBot | Anthropic | 学習・参照用 | Claudeの認知・引用が弱まる |
| PerplexityBot | Perplexity | リアルタイム取得 | Perplexityの回答から事実上排除 |
なおGoogle-Extendedはクローラーではなく、Geminiの学習利用だけを制御するrobots.txtトークンです。検索インデックスやAI Overviewsの引用には影響しません。OpenAIの3系統は個別に制御できるため、「学習は拒否・検索は許可」という方針も技術的に可能です。
実行チェックリスト
- アクセスログ（またはCDNログ）をUser-Agentでフィルタし、上記5系統の訪問有無を確認する
- 自称User-Agentのなりすまし対策として、公式公開のIPリストや逆引きDNSで検証する
- 重要ページ（商品・定義・比較ページ）が実際に取得されているかURL単位で確認する
- 4xx／5xxがAIクローラーに返っていないか調べ、返っていればWAF・CDNのルールを修正する
- 月次でクロール頻度の推移を記録し、コンテンツ更新やIndexNowとの相関を見る——計測SOP
よくある落とし穴
最も多いのは「GPTBotだけ見て判断する」ことです。GPTBotが来ていてもOAI-SearchBotが来ていなければ、ChatGPT検索の候補には入っていません。3系統は別々に記録してください。2つ目はJavaScript依存のレンダリングで、クローラーが空のHTMLだけを持ち帰る状態です。主要コンテンツはサーバーサイドで出力してください。到達性を直した上で、回答への反映は4次元標準の引用率で検証します。
よくある質問
ログにAIクローラーが全く出ない場合は？
まずrobots.txtとCDN／WAFのブロック設定を確認してください。次にBing Webmaster Toolsやsitemap送信で存在を通知し、外部情報源からのリンクを増やします。新規・低権威サイトは訪問まで数週間かかることがあります。
GPTBotを許可しないとChatGPTに載らない？
厳密には別系統です。ChatGPT検索の候補入りはOAI-SearchBotが担います。ただし学習用のGPTBotを拒否すると長期的なモデルの認知が弱まるため、方針はトレードオフを理解した上で決めてください。
User-Agentのなりすましはある？
あります。悪意あるボットが有名クローラーを名乗るケースがあるため、公式のIPレンジ公開情報や逆引きDNSでの検証を推奨します。検証なしにUser-Agent文字列だけで判断しないでください。