llms.txt、robots.txt、sitemap.xml 与 llms-full.txt 的区别

TL;DR

它们不能互换。 robots.txt 发布合规客户端可能采用的抓取规则。 sitemap.xml 告诉搜索引擎存在哪些内容。 llms.txt 为兼容客户端提供一份精选资源地图。 llms-full.txt 向它们提供实际内容。

并列对照表

Quick reference. See sections below for the nuances.
标准	robots.txt	sitemap.xml	llms.txt	llms-full.txt
主要用途	供合规爬虫使用的爬取指令	供搜索引擎发现页面	面向 LLM 客户端的策展地图	供 LLM 摄取的内联语料
受众	网络爬虫（Googlebot、Bingbot、GPTBot……）	搜索引擎	兼容代理和 LLM 客户端	需要完整内容的 LLM 客户端
格式	纯文本，自定义 REP 语法	XML	Markdown	Markdown（拼接）
标准？	是，IETF RFC 9309（2022）	是，sitemaps.org	社区提案，llmstxt.org	社区提案，llmstxt.org
必填？	不，但建议这样做	不，但对大型站点建议这样做	否	否
强制访问或索引？	不（allow / disallow 是爬虫指令）	否（仅作为发现提示）	否	否
方法	排除	发现（尽量全面）	策展（保持选择性）	内联（提供完整文本）
文件路径	`/robots.txt`	`/sitemap.xml`（或 robots.txt 中声明的任何 URL）	`/llms.txt` 或一个作用域路径，例如 `/docs/llms.txt`	`/llms-full.txt`

llms.txt 与 robots.txt

robots.txt 是一个 爬虫指令文件 标准化为 IETF RFC 9309。它使用 Robots Exclusion Protocol 语法（User-agent, Disallow, Allow, Sitemap）来表达遵守规则的爬虫应获取或不应获取哪些路径。它不强制实施访问限制，也不是授权层。

llms.txt 的意图是 相反的意图：一份正向推荐清单。它不会阻止任何人，不会授予访问权限，也不会影响抓取工具是否抓取您网站上的其他内容。它只是表示：如果您是 LLM 客户端，这里是高质量内容子集。

实际含义：继续使用 robots.txt 用于抓取偏好和站点地图发现。真实的访问限制请使用认证或网络控制。添加 llms.txt 作为补充，但前提是它拥有持续维护的受众和明确用途。

llms.txt 与 sitemap.xml 的区别

sitemap.xml 追求 完整性：它会列出你希望搜索引擎知晓的每个 URL，并附带元数据（lastmod, priority、其他语言版本）。它采用 XML，仅供机器使用，通常会自动生成。

llms.txt 追求策展：一份由 LLM 应优先阅读的页面组成的小型 Markdown 列表。它不能取代站点地图。它通常只包含几十个以内的 URL，而内容丰富的网站的站点地图可能会列出数十万个 URL。

可以把 sitemap.xml 看作目录，将 llms.txt 看作由图书管理员精选的推荐阅读书架。

llms.txt 与 llms-full.txt

同一族，不同角色：

llms.txt 的意图是映射：一个带标题的链接列表。
llms-full.txt 的意图是范围：这些页面及其他页面的实际内容，以 Markdown 形式拼接到一个文件中。

该 llms-full.txt 约定由 Mintlify 与 Anthropic 合作推广。它可以通过一个网址向开发者或工具提供整合后的文档语料库。必须在这种便利性与新鲜度、大小及提示词注入风险之间权衡。

发布 llms.txt ，前提是精选映射确实能解决实际任务。仅当 llms-full.txt 仅在明确需要批量摄取文本时才添加。

llms.txt 与 schema.org / JSON-LD 对比

Schema.org 是一种用于标记 单个页面 ，格式可以是 JSON-LD 或微数据。搜索引擎和其他软件使用它提取结构化事实，例如产品价格、食谱配料，以及 FAQ 中的问题和答案。

llms.txt 的作用层级更高：它是一个 全站地图，而不是逐页增强。两者是互补的。Schema.org 会告诉 LLM 某个页面是什么。是; llms.txt 告诉它应优先查看哪些页面。

如何将它们结合使用

发布两者 robots.txt 和 sitemap.xml 就像你对 SEO 已经在做的那样。
为明确的兼容客户端添加一个根级或路径范围限定的 llms.txt ，供明确定义的兼容客户端使用。
可选择添加 llms-full.txt 如果你的网站以文档或知识内容为主。
在 robots.txt，保持 /llms.txt 和 /llms-full.txt 可访问（不要 Disallow 它们）。
保留 schema.org 标记保留在适合的各个页面上（Product、FAQ、Article 等）。

`llms.txt` 与 robots.txt、sitemap.xml 和 llms-full.txt 对比