Зачем нужен llms.txt?
ИИ-краулер заходит на сайт без карты: он вынужден угадывать, какие страницы важны. llms.txt решает эту задачу простым соглашением: файл /llms.txt в формате Markdown, который представляет сайт в нескольких строках, а затем перечисляет по разделам важные URL с короткими описаниями. Модель, извлекающая ваши страницы вживую (например, ChatGPT-User во время диалога), может так сразу попасть на ваши лучшие материалы вместо блуждания по навигации.
Чем llms.txt отличается от robots.txt и sitemap.xml?
| Файл | Роль | На какой вопрос отвечает |
|---|---|---|
| robots.txt | Контроль доступа | Кому разрешено что обходить? (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended настраиваются раздельно) |
| sitemap.xml | Полная инвентаризация | Какие URL существуют и когда они изменялись? |
| llms.txt | Карта чтения | Оказавшись внутри, что читать в первую очередь и в каком порядке? |
Все три дополняют друг друга, ни один не заменяет остальные. llms.txt — не рычаг ранжирования: это навигационная подсказка, снижающая риск того, что краулер прочитает не те страницы.
Как написать хороший llms.txt?
- Начните с названия сайта в заголовке H1 и фактического резюме в два предложения (кто вы, что покрывает сайт).
- Добавьте блок ключевых фактов: сущность, языки, дата обновления.
- Перечислите разделы заголовками H2 (Документация, Гиды, Справочники) со ссылками Markdown на ключевые страницы, каждая — с описанием в одну строку.
- Завершите разделом Optional для второстепенных страниц.
- Опубликуйте в корне (
https://vashsite.example/llms.txt) в виде простого текста UTF-8 и поддерживайте при каждой смене структуры.
llms.txt этого сайта служит эталонной реализацией: он перечисляет 12 языковых редакций и страницы каждого раздела.
Дисциплина поддержки проста: пересматривайте файл при каждой смене структуры сайта и не реже одного раза в квартал. Каждая перечисленная ссылка должна вести на живую страницу, каждое описание — соответствовать текущему содержимому. Полезная практика — держать llms.txt в том же процессе публикации, что и Sitemap: обновился раздел, обновились оба файла. Так файл остаётся точной картой, а не археологическим слоем.
Наконец, сверьте файл с robots.txt: разделы, закрытые для обхода, не должны рекламироваться в llms.txt, и наоборот — всё, что вы предлагаете прочитать, должно быть открыто. Эта согласованность двух файлов — быстрый самотест технической зрелости сайта.
Честные ограничения
llms.txt — молодая конвенция: не все краулеры его ещё читают, и ни одна система не гарантирует следования ему. Он не разблокирует ни индексацию, ни цитирование. Его стоимость почти нулевая, а польза реальна (ориентация совместимых краулеров) — но он не отменяет ни структурированных данных, ни обходимости, ни качества контента. Рассматривайте llms.txt как дешёвое усиление уже построенного технического канала, а не как замену ему: сначала индексация, разметка и robots.txt, затем карта чтения.
Что положить в раздел Optional?
Второстепенные, но полезные для контекста страницы: юридическая информация с полным наименованием, страница контактов, глоссарий, архивы. Краулер обратится к ним при необходимости уточнений, и эти страницы не размывают приоритет основных разделов. Но не складывайте туда бедные или дублирующиеся страницы: всё перечисленное должно читаться как есть и цитироваться без риска.
Типичные ошибки
Первая ошибка — перечислить сотни URL как в Sitemap: файл снова становится нечитаемым и теряет функцию приоритизации. Вторая — рекламные описания вместо фактических. Третья — опубликовать и забыть: llms.txt, указывающий на мёртвые URL, хуже отсутствия файла. Четвёртая — считать, что он заменяет robots.txt: заблокировать GPTBot в robots.txt и приглашать краулеров в llms.txt — противоречие. Полный контекст — в статье техническая реализация GEO.