- [ 首页 ](/zh/) / - 对比 # `llms.txt` 与 robots.txt、sitemap.xml 和 llms-full.txt 对比 四个文件，各司其职。以下将准确说明每个文件的作用，以及如何配合使用。 最近更新: 2026年8月12日 本页内容 - [ TL;DR ](#tldr) - [ 并列对照表 ](#matrix) - [ 对比 robots.txt ](#vs-robots) - [ 与 sitemap.xml 对比 ](#vs-sitemap) - [ 与 llms-full.txt 对比 ](#vs-llms-full) - [ 对比 schema.org / JSON-LD ](#vs-schema) - [ 如何将它们结合使用 ](#combine) ## TL;DR 它们不能互换。 **`robots.txt`** 发布合规客户端可能采用的抓取规则。 **`sitemap.xml`** 告诉搜索引擎存在哪些内容。 **`llms.txt`** 为兼容客户端提供一份精选资源地图。 **`llms-full.txt`** 向它们提供实际内容。 备注 将它们配合使用，而不是相互替代 robots.txt 和 sitemap.xml 已具备成熟的抓取和搜索用途。仅在有明确使用场景，需要面向智能体且持续维护的映射时添加 llms.txt 仅在维护良好、面向代理的地图服务于明确用例时使用。 ## 并列对照表 Quick reference. See sections below for the nuances. 标准 robots.txt sitemap.xml llms.txt llms-full.txt 主要用途 供合规爬虫使用的爬取指令 供搜索引擎发现页面 面向 LLM 客户端的策展地图 供 LLM 摄取的内联语料 受众 网络爬虫（Googlebot、Bingbot、GPTBot……） 搜索引擎 兼容代理和 LLM 客户端 需要完整内容的 LLM 客户端 格式 纯文本，自定义 REP 语法 XML Markdown Markdown（拼接） 标准？ 是，IETF RFC 9309（2022） 是，sitemaps.org 社区提案，llmstxt.org 社区提案，llmstxt.org 必填？ 不，但建议这样做 不，但对大型站点建议这样做 否 否 强制访问或索引？ 不（allow / disallow 是爬虫指令） 否（仅作为发现提示） 否 否 方法 排除 发现（尽量全面） 策展（保持选择性） 内联（提供完整文本） 文件路径 /robots.txt /sitemap.xml （或 robots.txt 中声明的任何 URL） /llms.txt 或一个作用域路径，例如 /docs/llms.txt /llms-full.txt ## llms.txt 与 robots.txt `robots.txt` 是一个 **爬虫指令文件** 标准化为 [IETF RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)。它使用 Robots Exclusion Protocol 语法（`User-agent`, `Disallow`, `Allow`, `Sitemap`）来表达遵守规则的爬虫应获取或不应获取哪些路径。它不强制实施访问限制，也不是授权层。 `llms.txt` 的意图是 **相反的意图**：一份正向推荐清单。 它不会阻止任何人，不会授予访问权限，也不会影响抓取工具是否抓取您网站上的其他内容。它只是表示：如果您是 LLM 客户端，这里是高质量内容子集。 实际含义：继续使用 `robots.txt` 用于抓取偏好和站点地图发现。 真实的访问限制请使用认证或网络控制。添加 `llms.txt` 作为补充，但前提是它拥有持续维护的受众和明确用途。 ## llms.txt 与 sitemap.xml 的区别 `sitemap.xml` 追求 **完整性**：它会列出你希望 搜索引擎知晓的每个 URL，并附带元数据（`lastmod`, `priority`、其他语言版本）。它采用 XML，仅供机器使用，通常会自动生成。 `llms.txt` 追求 **策展**：一份由 LLM 应优先阅读的页面组成的小型 Markdown 列表。 它不能取代站点地图。它通常只包含几十个以内的 URL，而内容丰富的网站的站点地图 可能会列出数十万个 URL。 可以把 `sitemap.xml` 看作目录，将 `llms.txt` 看作由图书管理员精选的推荐阅读书架。 ## llms.txt 与 llms-full.txt 同一族，不同角色： - **`llms.txt`** 的意图是 *映射*：一个带标题的链接列表。 - **`llms-full.txt`** 的意图是 *范围*：这些页面及其他页面的实际内容，以 Markdown 形式拼接到一个文件中。 该 `llms-full.txt` 约定由 Mintlify 与 Anthropic 合作推广。 它可以通过一个网址向开发者或工具提供整合后的文档语料库。必须在这种便利性与新鲜度、大小及提示词注入风险之间权衡。 发布 `llms.txt` ，前提是精选映射确实能解决实际任务。仅当 `llms-full.txt` 仅在明确需要批量摄取文本时才添加。 ## llms.txt 与 schema.org / JSON-LD 对比 Schema.org 是一种用于标记 *单个页面* ，格式可以是 JSON-LD 或微数据。 搜索引擎和其他软件使用它提取结构化事实，例如产品价格、食谱配料，以及 FAQ 中的问题和答案。 `llms.txt` 的作用层级更高：它是一个 **全站地图**，而不是逐页增强。两者是互补的。Schema.org 会告诉 LLM 某个页面是什么。 *是*; `llms.txt` 告诉它应优先查看哪些页面。 ## 如何将它们结合使用 - 发布 **两者** `robots.txt` 和 `sitemap.xml` 就像你对 SEO 已经在做的那样。 - 为明确的兼容客户端添加一个根级或路径范围限定的 **`llms.txt`** ，供明确定义的兼容客户端使用。 - 可选择添加 **`llms-full.txt`** 如果你的网站以文档或知识内容为主。 - 在 `robots.txt`，保持 `/llms.txt` 和 `/llms-full.txt` 可访问 （不要 `Disallow` 它们）。 - 保留 **schema.org** 标记保留在适合的各个页面上（Product、FAQ、Article 等）。 警告 常见错误 有些团队尝试 替换 将其站点地图替换为 llms.txt . 不要。请搜索 主要搜索引擎的文档说明的是对 sitemap 的支持，而不是 llms.txt 作为替代方案，而站点地图 协议会提供诸如 lastmod 其 llms.txt 有意省略。 ## 下一步 - [llms.txt 的工作方式](/zh/how-it-works/)，规范详解。 - [最佳实践](/zh/best-practices/). - [常见问题](/zh/faq/). ## 来源 - [ IETF RFC 9309，Robots Exclusion Protocol ](https://www.rfc-editor.org/rfc/rfc9309.html) - [ sitemaps.org，Sitemap 协议 ](https://www.sitemaps.org/protocol.html) - [ llmstxt.org，当前 v2 提案 ](https://llmstxt.org/) - [ Search Engine Land，llms.txt 是 AI 的藏宝图 ](https://searchengineland.com/llms-txt-isnt-robots-txt-its-a-treasure-map-for-ai-456586)