Mengapa log penting dalam GEO?
Di SEO klasik, Search Console memberi tahu cara Google merayapi Anda. Di GEO tidak ada konsol setara untuk sebagian besar mesin: bukti bahwa OpenAI, Anthropic, atau Perplexity membaca situs Anda hanya ada di log Anda. Tanpa data itu Anda tidak bisa tahu apakah blok jawaban Anda sampai ke crawler, apakah halaman baru ditemukan, atau apakah pemblokiran tak sengaja menyingkirkan Anda dari jawaban.
Selain itu, log menjawab satu pertanyaan strategis: apakah ekosistem AI memperlakukan Anda sebagai sumber hidup atau mengabaikan Anda? Merek yang menerbitkan dokumentasi orisinal tetapi tidak menerima kunjungan crawler AI punya masalah aksesibilitas; merek yang menerima kunjungan tetapi tidak kutipan punya masalah konten.
Diagnosis dua kutub itu menghemat berminggu-minggu kerja buta: masalah aksesibilitas diselesaikan di lapisan teknis (robots.txt, WAF, rendering), sedangkan masalah konten diselesaikan di lapisan editorial (blok jawaban, cakupan klaster, graf sumber). Tanpa log, kedua masalah tampak identik dari luar — «kami tidak dikutip» — dan tim sering memperbaiki lapisan yang salah.
Agen pengguna apa yang harus saya kenali?
| Agen | Perusahaan | Fungsi |
|---|---|---|
GPTBot | OpenAI | Perayapan untuk data pelatihan |
OAI-SearchBot | OpenAI | Pengindeksan untuk pencarian ChatGPT |
ChatGPT-User | OpenAI | Pembacaan langsung saat pengguna bertanya |
ClaudeBot | Anthropic | Perayapan untuk pelatihan dan pengetahuan |
PerplexityBot | Perplexity | Perayapan indeks real-time-nya |
Google-Extended | Kontrol pelatihan (bukan crawler pengindeksan) |
Trio OpenAI dikonfigurasi secara terpisah di robots.txt, dan pemisahan itu masuk akal: Anda bisa mengizinkan pencarian (OAI-SearchBot) dan pembacaan langsung (ChatGPT-User) sambil memutuskan terpisah soal pelatihan (GPTBot). Ingat bahwa pencarian ChatGPT juga bergantung pada indeks Bing — dari situlah pentingnya IndexNow, dijelaskan dalam analisis ChatGPT — dan bahwa Google-Extended hanya mengontrol pelatihan, bukan pengindeksan maupun kutipan AI Overviews.
Bagaimana menganalisis log langkah demi langkah?
- Ekstrak baris yang agen penggunanya memuat identifikator di atas (plus Bingbot sebagai referensi untuk ChatGPT/Copilot).
- Kelompokkan per crawler dan per bagian situs: apakah mereka membaca halaman produk dan dokumentasi Anda, atau hanya blog dan beranda?
- Silangkan dengan peta konten Anda: halaman dengan blok jawaban langsung seharusnya menerima kunjungan; yang tidak menerimanya punya masalah penemuan.
- Periksa kode respons: rentetan 403, 404, atau 5xx di hadapan crawler AI menandakan pemblokiran WAF, CDN, atau robots.txt yang tidak diingat siapa pun.
- Bandingkan sebelum dan sesudah setiap publikasi penting: IndexNow dan sitemap seharusnya memperpendek waktu hingga kunjungan pertama.
Satu nuansa interpretasi: ChatGPT-User muncul ketika pengguna nyata memicu pembacaan langsung, sehingga lonjakannya berkorelasi dengan permintaan. Jika trafik rujukan AI Anda tumbuh tetapi ChatGPT-User tak pernah muncul di log, ada sesuatu yang memutus pembacaan langsung.
Checklist tata kelola crawler
- robots.txt ditinjau: keputusan eksplisit dan terdokumentasi untuk tiap crawler, bukan warisan.
- Tanpa pemblokiran tak disengaja di WAF/CDN: crawler AI menerima 200, bukan tantangan maupun 403.
- Konten kunci di HTML awal: apa yang tidak dilihat crawler pada respons pertama tidak ada baginya.
- Tinjauan log bulanan terintegrasi dalam SOP pengukuran.
- Kebijakan yang konsisten dengan strategi saluran teknis dan llms.txt.
Jebakan umum
- Memblokir semua «AI» atas dasar prinsip: menyingkirkan Anda dari jawaban, yang tidak sama dengan melindungi konten.
- Salah memahami peran: memblokir OAI-SearchBot dengan mengira hanya memengaruhi pelatihan akan mengeluarkan Anda dari pencarian ChatGPT.
- Tidak pernah melihat log: sebagian besar pemblokiran ditemukan secara kebetulan, berbulan-bulan kemudian, ketika seseorang memeriksa untuk pertama kalinya.