llms.txt는 왜 등장했는가?

AI 크롤러가 사이트를 방문할 때 마주하는 문제는 「수백 개 URL 중 무엇이 핵심인가」입니다. 검색 엔진은 수십 년간 링크 구조로 중요도를 추론해 왔지만, LLM 기반 크롤러는 문맥 창이 제한적이고 탐색 깊이도 얕습니다. llms.txt는 이 간극을 메우는 제안된 규약으로, 사이트 소유자가 핵심 콘텐츠의 지도를 직접 제공합니다. OpenAI·Anthropic 계열 크롤러가 이 파일을 참조하기 시작했습니다.

어떻게 작성하는가?

형식은 단순한 Markdown입니다. 상단에 사이트·브랜드의 한 줄 설명(H1), 이어서 핵심 섹션별 링크 목록을 H2로 묶습니다. 각 링크에는 짧은 설명을 붙여 「이 페이지가 무엇에 대한 것인가」를 명시합니다. 규율은 세 가지입니다:

  • 진짜 핵심만——전체 URL 나열이 아니라 카테고리 대표 페이지 중심으로
  • 실제 콘텐츠와 일치——안내와 본문이 다르면 신뢰 신호가 아니라 잡음이 됩니다
  • 갱신 동기화——핵심 페이지가 바뀌면 llms.txt도 같은 주기로 갱신

robots.txt·사이트맵과의 역할 분담은?

세 파일은 경쟁이 아니라 분업입니다. robots.txt는 접근 권한(누가 크롤할 수 있는가——GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등을 개별 설정), 사이트맵은 URL 목록(무엇이 존재하는가), llms.txt는 우선순위 안내(무엇이 중요한가)입니다. 셋을 함께 정비하되, 어느 하나도 단독으로 인용을 만들어 내지는 못합니다.

흔한 함정은 무엇인가?

가장 위험한 오해는 「llms.txt를 두면 AI가 인용하기 시작한다」는 기대입니다. 이 파일은 해석을 돕는 안내이지 선정 레버가 아닙니다. 인용을 만드는 것은 여전히 직접 답변 블록·구조화 데이터·엔티티 일관성·소스 권위입니다(기술 구현 참조). 두 번째 함정은 「설정 후 방치」——콘텐츠 개편 시 llms.txt가 오래된 지도로 남으면 오히려 크롤러를 엉뚱한 곳으로 안내합니다. 본 사이트의 llms.txt가 참고 구현이며, 기술 감사는 GEO 서비스의 1~2주 차 표준 항목입니다.

자주 묻는 질문

llms.txt는 공식 표준인가요?
제안된 규약(proposed standard) 단계입니다. 주요 AI 크롤러가 참조하기 시작했지만 강제 표준은 아니며, 도입 비용이 낮고 잠재 이익이 있어 선제 도입을 권장합니다.
llms.txt를 두면 순위가 오르나요?
오르지 않습니다. llms.txt는 안내 파일이지 순위 신호가 아닙니다. 「해석 가능성」을 돕는 것이며, 「선택됨」은 콘텐츠의 인용 가능성과 소스 권위가 결정합니다.