llms.txt 与 robots.txt：有什么区别？
robots.txt 告诉遵守规则的爬虫可以抓取哪些网址。llms.txt 则向兼容的工具提供一份经过筛选的资源清单。 两者的用途不同，也都不能保护私密内容。
最近更新:
发布网站时，很容易混淆这些用途。但抓取、索引和工具读取内容是不同的环节。限制抓取不能可靠地从 Google 中移除一个网址，提供资源清单也不能保证 AI 系统会使用其中的内容。
核心差异一览
| 问题 | robots.txt | llms.txt |
|---|---|---|
| 用途是什么？ | 向遵守规则的爬虫说明哪些网址可以抓取。 | 向兼容的工具推荐值得阅读的资源。 |
| 使用什么格式？ | 包含 User-agent、Allow 和 Disallow 等规则的纯文本。 | 包含标题、说明和链接的 Markdown。 |
| 放在哪里？ | 放在对应协议、主机名和端口的根路径 /robots.txt。 | 通常放在 /llms.txt；提案也规定了子路径下的使用方式。 |
| 是否属于标准？ | 机器人排除协议由 RFC 9309 定义。 | 它是一项提案，不是普遍适用的网络要求。 |
| 能否强制实施访问控制？ | 不能。它依赖爬虫自愿遵守规则。 | 不能。它既不能授予权限，也不能限制访问。 |
如需了解包含站点地图在内的更多文件，请参阅llms.txt、robots.txt、sitemap.xml 与 llms-full.txt 的作用对比。
robots.txt 实际控制什么？
robots.txt 是用于声明抓取规则的文件。RFC 9309 于 2022 年 9 月发布，属于 IETF 的标准轨文档（Standards Track），定义了机器人排除协议。它明确区分了这些规则与访问授权。
例如：
User-agent: Googlebot
Disallow: /archive/
这段规则要求 Googlebot 不要抓取 /archive/ 下的网址。对于这个爬虫，该示例并未限制其他路径。这些是给爬虫的指示，不是阻止访客或其他客户端获取页面的服务器规则。
文件的位置很重要。Google 的robots.txt 介绍说明，该文件应放在站点根目录，并且只适用于相同的协议、主机名和端口。某个主机上的文件不会自动约束其他子域名或不同协议下的网址。
不同爬虫的实现也可能不同。根据 Google 的robots.txt 规范，Google 支持 user-agent、allow、disallow 和 sitemap 等字段，但不支持 crawl-delay。不能仅因为某条指令能写进文件，就假定所有客户端都会执行它。
阻止抓取不等于阻止索引
被 robots.txt 阻止抓取的网址仍可能出现在 Google 搜索结果中。例如，Google 可能通过其他页面的链接发现它，却无法抓取其内容。
对于可以公开访问、但希望从 Google 搜索中排除的页面，Google 提供了noindex 使用说明。爬虫必须能够访问页面，才能读取 HTML 或 HTTP 响应头中的这条指令。把 noindex 写进 robots.txt
不是受支持的实现方式；同时阻止抓取，也可能使 Google 无法看到页面上的指令。相关处理不会立即完成。
私密内容需要服务器端的访问控制，例如身份验证。robots.txt 和 noindex 都不是隐私保护机制。
llms.txt 增加了什么？
llms.txt 提案描述了一种 Markdown 文件，供兼容的工具了解站点并找到有用的资料。在提议的格式中，只有 H1 标题是必需的，其余结构是可选的。
以下是一个示意文件：
# llmtxt.info
> 关于 llms.txt、其格式与局限的指南。
## 指南
- [创建 llms.txt 文件](https://llmtxt.info/zh/how-to-create/): 实用的设置指南。
- [对比网站发现文件](https://llmtxt.info/zh/comparison/): 四种网站文件的不同作用。
这个例子使用 HTML 页面链接。提案建议在有相应资源时，提供更便于智能体读取的内容，例如清晰的 Markdown 版本。
2026 年 8 月 10 日更新的 v2 提案允许在限定作用范围的路径下放置文件：/docs/llms.txt 覆盖
/docs/ 下的页面，并采用适用范围最具体的文件。这是提案规定的行为，不能据此认定某个客户端已经实现了它。
发布文件不能证明某个智能体发现了它、读取了链接指向的页面，或在回答中使用了这些内容。要让实现发挥作用，应明确目标客户端，并测试相应的工作流。文件本身不会授予访问权限，也不会凌驾于 robots.txt 之上。
llms.txt 能提升 Google 排名吗？
Google 的生成式 AI 搜索指南指出，Google 搜索不使用 llms.txt，该文件也不会提升搜索中的可见度或排名，其中包括生成式 AI 功能。
这项说明适用于 Google 搜索，不能据此确定其他每一种 AI 工具如何处理该文件。
AI 搜索、训练与用户请求遵循不同的规则
AI 服务可能使用不同的客户端执行不同任务。因此，“屏蔽 AI”这一笼统说法不够准确。
OpenAI 的爬虫文档区分了用于搜索的 OAI-SearchBot 和与可能用于模型训练的内容收集有关的 GPTBot。站点可以分别设置这两者的抓取规则。
例如，以下规则要求 GPTBot 不要抓取站点：
User-agent: GPTBot
Disallow: /
这只是针对该爬虫的策略示例，不能据此认定所有与 AI 有关的访问都会被阻止。
OpenAI 还介绍了 ChatGPT-User，它用于用户发起的请求。对于这类访问，robots.txt
规则可能不适用。这再次说明，搜索抓取、训练相关抓取和用户主动请求需要分别考虑。
我们的AI 爬虫指南提供了相关背景；决定允许哪些访问时，仍应核对服务商当前的文档。
如何结合使用这两个文件？
先明确需要达到的结果。在 robots.txt 中设置抓取偏好，按照搜索引擎提供的索引控制文档处理搜索排除，并在服务器端保护私密资料。
当存在明确的使用工具或工作流时，再加入 llms.txt。将阅读清单控制在便于维护的规模，链接到准确的公开文档，并验证目标客户端能够访问该文件及其链接的资源。我们的llms.txt 创建指南介绍了准备与部署过程。
修改后，应检查实际响应和客户端行为。语法检查可以帮助审核文件，却不能证明外部服务会使用它，也不能证明回答准确。llmtxt.info 验证器可作为检查的起点；发现、获取和后续使用仍各自需要证据。