왜 크롤러 로그가 GEO의 첫 관측 지점인가?
AI 답변에서의 인용은 「크롤러가 페이지를 읽었다」는 전제 위에서만 성립합니다. 그런데 많은 사이트가 자신이 AI 크롤러에게 열려 있는지조차 모릅니다——CDN이나 보안 플러그인이 봇을 기본 차단하거나, robots.txt가 Googlebot만 열고 나머지를 막는 사례가 흔합니다. 로그 분석은 이 블랙박스를 여는 작업입니다: 어떤 크롤러가, 어떤 URL을, 얼마나 자주 방문하는지가 「AI 시대의 색인 건강도」입니다.
주요 크롤러는 어떻게 구분하는가?
OpenAI는 역할별로 세 개의 크롤러를 분리해 운영하며, 각각 robots.txt에서 개별 제어할 수 있습니다:
| User-Agent | 주체 | 역할 | 차단 시 영향 |
|---|---|---|---|
| GPTBot | OpenAI | 모델 학습 데이터 수집 | 모델이 브랜드를 「선천적으로」 알 기회 상실 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 색인 구축 | ChatGPT 검색 결과의 후보에서 배제 |
| ChatGPT-User | OpenAI | 사용자 질문 시 실시간 페이지 가져오기 | 실시간 답변에서의 인용 불가 |
| ClaudeBot | Anthropic | 학습 및 검색 지원 수집 | Claude에서의 존재감 장기 약화 |
| PerplexityBot | Perplexity | 실시간 답변용 수집 | Perplexity 인용 후보에서 배제 |
주의할 점은 Google-Extended입니다: 이것은 크롤링이 아니라 학습 데이터 사용만 제어하는 토큰으로, Google 검색·AI Overviews의 수집 자체는 일반 Googlebot이 담당합니다. 즉 AI 대응과 검색 대응의 설정을 혼동하면 안 됩니다.
로그 분석의 실행 절차는?
- 수집: 서버 액세스 로그(또는 CDN 로그)에서 User-Agent에 위 다섯 개 문자열이 포함된 요청을 추출. 최소 30일 구간으로.
- 분류: 크롤러별 방문 빈도, 대상 URL 분포, 응답 코드(200/403/404)를 집계.
- 진단: 403이 섞여 있다면 차단 설정 점검. 핵심 페이지(제품·가격·백과 콘텐츠) 방문이 없다면 내부 링크 구조와 llms.txt 안내를 점검.
- 교정: robots.txt에서 크롤러별 허용 규칙을 명시하고, 차단 장비(WAF·CDN 봇 관리)의 오탐을 해제.
- 재측정: 교정 후 2~4주 뒤 방문 패턴 변화를 확인——월간 측정 루프의 기술 지표로 편입(측정 SOP).
흔한 함정은 무엇인가?
첫째, 「방문 = 인용」이라는 해석. 크롤링은 입장권이지 선정은 아닙니다. 방문이 있어도 인용되지 않는다면 문제는 콘텐츠의 인용 가능성(직접 답변 블록, 데이터 서술)으로 이동합니다(답변 엔지니어링). 둘째, User-Agent 문자열만 보고 판단하는 것——정식 크롤러는 공개된 IP 대역과 역방향 DNS로 검증되며, 위장 UA를 구분하는 습관이 필요합니다. 셋째, robots.txt만 열고 WAF 차단을 방치하는 것——두 층이 따로 놀면 「분명 열었는데 방문이 없는」 상태가 됩니다. 크롤러 정책의 전체 설계는 llms.txt와 크롤러 안내와 함께 검토하세요.