Vì sao log crawler là dữ kiện GEO không thể thiếu?
Mọi phép đo khác — thứ hạng, lưu lượng, thậm chí chạy thử câu hỏi — đều nhìn từ bên ngoài. Chỉ có log máy chủ trả lời được câu hỏi nền tảng: trình thu thập AI có thực sự ghé thăm website của bạn không? Một website chặn OAI-SearchBot trong robots.txt sẽ không bao giờ thấy dấu vết của nó trong log, và đó chính là lời giải cho việc «vắng bóng trên ChatGPT». Đọc log đúng cách biến suy đoán thành dữ kiện và chỉ ra chính xác giai đoạn truy xuất trong pipeline bốn giai đoạn (truy xuất → grounding → tạo sinh → trích dẫn) đang gặp sự cố.
Nhận diện những user-agent nào?
OpenAI vận hành bộ ba trình thu thập tách riêng, có thể cho phép hoặc chặn độc lập trong robots.txt: GPTBot thu thập dữ liệu huấn luyện; OAI-SearchBot lập chỉ mục cho tính năng tìm kiếm; ChatGPT-User truy xuất thời gian thực khi người dùng hỏi. Phía Anthropic có ClaudeBot; Perplexity có PerplexityBot. Riêng Google dùng Google-Extended — token này chỉ kiểm soát việc dùng nội dung để huấn luyện, không ảnh hưởng đến việc Googlebot crawl hay AI Overviews trích dẫn. Khi đọc log, cần xác minh user-agent bằng tra cứu DNS ngược vì bất kỳ ai cũng có thể giả mạo chuỗi user-agent.
Crawl huấn luyện và crawl truy xuất khác nhau thế nào?
Crawler huấn luyện có nhịp đều, quét rộng toàn website, không phân biệt trang quan trọng. Crawler truy xuất thời gian thực có dấu ấn hoàn toàn khác: ghé đột xuất, chỉ đọc một vài URL rất cụ thể, thường là trang trả lời đúng câu hỏi người dùng vừa đặt. Khi thấy ChatGPT-User hoặc PerplexityBot ghé một URL, đó là tín hiệu mạnh rằng trang đó đang được cân nhắc làm nguồn trích dẫn cho một chủ đề nào đó. Theo dõi tương quan giữa «URL được crawl truy xuất» và «câu hỏi được trích dẫn» chính là cách đo sớm tỷ lệ trích dẫn.
Checklist hành động
- Xuất log truy cập 90 ngày gần nhất và lọc theo các user-agent AI nêu trên
- Đối chiếu robots.txt: xác nhận không chặn nhầm OAI-SearchBot hay PerplexityBot nếu mục tiêu là được trích dẫn
- Xác minh IP bằng DNS ngược để loại bỏ crawler giả mạo
- Lập bảng «URL được crawl truy xuất nhiều nhất» và so với danh sách trang trụ cột — lệch pha là tín hiệu cấu trúc website cần sửa
- Theo dõi mã trạng thái trả về cho crawler AI: lỗi 403/5xx đồng nghĩa cơ hội trích dẫn bị bỏ lỡ
- Đặt cảnh báo khi tần suất crawl truy xuất giảm đột ngột — thường do sự cố kỹ thuật hoặc đổi cấu hình
Sai lầm thường gặp
Lỗi phổ biến nhất là chặn trọn OpenAI trong robots.txt vì lo ngại dữ liệu huấn luyện, rồi tự hỏi vì sao ChatGPT không trích dẫn — ba trình thu thập tách riêng chính là để bạn mở OAI-SearchBot và ChatGPT-User trong khi vẫn chặn GPTBot nếu chính sách yêu cầu. Lỗi thứ hai là tin vào chuỗi user-agent mà không tra DNS ngược. Lỗi thứ ba là chỉ nhìn tổng lượt crawl mà không tách riêng crawl huấn luyện và crawl truy xuất — hai loại mang ý nghĩa hoàn toàn khác cho GEO. Liên hệ với cấu hình tổng thể xem tại llms.txt và phân tích ChatGPT.
Biến log thành quy trình vận hành ra sao?
Một quy trình gọn đủ dùng cho đa số doanh nghiệp: mỗi tháng xuất log, lọc user-agent AI, cập nhật ba bảng — tần suất theo crawler, top URL được crawl truy xuất, tỷ lệ mã lỗi — rồi đặt cạnh kết quả đo bốn chiều của tháng đó. Khi tỷ lệ trích dẫn trên ChatGPT tụt, nhìn vào log trước: nếu OAI-SearchBot biến mất, vấn đề ở truy xuất; nếu crawler vẫn ghé đều nhưng trích dẫn giảm, vấn đề ở chất lượng trích được của nội dung. Log vì thế là công cụ chẩn đoán phân rã pipeline, chứ không chỉ là thống kê lưu lượng.