它解决什么问题

AI 爬虫抓到你的网站时面对的是 HTML 迷宫：导航、页脚、脚本、弹窗。llms.txt 提供一份"导览图"——一段话交代站点定位与核心事实口径，再按栏目列出关键页面及一句话摘要。爬虫拿到的是浓缩、干净、已排序的内容地图。

格式契约

  • 位置：站点根目录，https://你的域名/llms.txt
  • 格式：Markdown。H1 为站点名；引用块（>）写一段话交代"这是什么站 + 核心事实口径"
  • 正文：按栏目分节（H2），每节列出页面链接 + 一句话摘要
  • 核对纪律：llms.txt 收录的页面数必须等于站点实际页面数——写完做双向核对（文件列表 vs 链接列表），不留死链

诚实预期

llms.txt 是导航辅助，不是抓取邀请函，更不是排名杠杆。它不改变爬虫是否来（取决于域名权重、外链、更新频率），只改变爬虫来了之后能否高效理解你。把它与 robots.txt 放行、结构化数据、新鲜度维护一起做，才构成完整的技术可检索性。

常见问题

llms.txt 和 robots.txt 是什么关系？
互补：robots.txt 管「谁能进」（放行/屏蔽爬虫），llms.txt 管「进来之后看什么」（内容导览）。两者不冲突，建议同时配置。