llms.txt 常见问题

关于 llms.txt 是什么、谁可能读取它以及如何谨慎使用它的二十一个直接答案。

最近更新:

问题与解答

什么是 llms.txt?

一个发布在根目录或更具体路径下、供兼容代理使用的 Markdown 资源地图。它由 Jeremy Howard(Answer.AI)在 2024年9月 提出;2026年8月 的提案见 llmstxt.org。

llms.txt 是标准吗?

不会。它是一个托管在 llmstxt.org 上的社区提案。其背后没有 IETF、W3C 或 ISO 流程。尽管如此,它已在文档生态中被广泛采用(Anthropic、Cloudflare、Stripe、Mintlify、Vercel、Perplexity)。

是 llms.txt、llmstxt、llms txt、llmtxt 还是 llm.txt?

建议的文件名是 llms.txt。其他形式只是常见的拼写或搜索变体,并非独立格式。请以 /llms.txt 发布并记录该文件。

Google 会使用 llms.txt 吗?

不会。Google Search 表示它不使用 llms.txt 或其他特殊的 AI 文本或 Markdown 文件,包括生成式 Search 功能。发布该文件既不会帮助也不会伤害 Google 排名。

Claude、ChatGPT 或 Perplexity 会读取 llms.txt 吗?

没有任何主要 LLM 提供商公开承诺会自动抓取 llms.txt。请求日志显示一些 agentic 和检索型用户代理确实抓取了文件,但一次抓取并不能证明模型读取或使用了内容。

llms.txt 对 SEO 有帮助吗?

没有公开证据表明它会提高 Google 排名或 AI 引用。请把它当作面向代理的实验性基础设施,只衡量你能观察到的结果。

我应该发布 llms.txt 吗?

在维护良好、经过策展的地图服务于明确的用户或工作流时发布一个。文档站点和 API 站点都是合理候选;不要假定会带来引用或排名收益。

llms.txt 与 robots.txt 有何不同?

robots.txt 会为合规客户端发布爬取指令;它不强制访问。llms.txt 是供兼容代理使用的策展资源地图。它们解决的是不同问题。

llms.txt 与 sitemap.xml 有何不同?

sitemap 追求完整性(每个 URL 及其元数据)。llms.txt 追求策展(对 LLM 最重要的那十几页)。范围不同,文件互补。

什么是 llms-full.txt?

一个由 Mintlify 与 Anthropic 推广开的姊妹约定。它把页面内容整合到一个 Markdown 资源中,供明确支持批量摄取的客户端使用。

文件放在哪里?

通常位于 https://yourdomain.com/llms.txt。V2 也允许将文件放在更具体的路径中,例如 /docs/llms.txt,由最具体且适用的文件描述页面范围。

语法是什么?

纯 Markdown:一个 H1(项目名称)、可选的引用块摘要、可选的自由正文,然后是任意数量由 H2 分隔的章节,其中包含格式为 `- [name](url): notes` 的列表项。请参阅 llmstxt.org/core.html 上的规范。

我应该列出多少个 URL?

没有规范数量。十到三十只是一个起步启发式。让预期任务决定列表,并在真实内容边界使用路径级文件。

我应该使用绝对 URL 还是相对 URL?

绝对。相对 URL 在技术上是允许的,但当文件被复制或脱离上下文获取时会变得含糊不清。大多数验证器(包括我们)会把相对 URL 标记为警告。

我该如何处理多语言?

该提案没有规定唯一的一套 i18n 架构。你可以使用默认语言的根文件和按区域划分的本地化文件,然后在本地化页面上通过 rel=describedby 声明适用的映射。

llms.txt 安全吗?

这是一个公开文件。请将其中的一切都视为广播内容。切勿列出预发布环境 URL、受认证保护的页面,或查询字符串中包含密钥的 URL。

我应该在 robots.txt 中阻止 llms.txt 的机器人吗?

允许你想服务的客户端,阻止你不想服务的客户端。robots.txt 发布的是自愿性的爬取指令;它不是访问控制。将敏感内容放在认证之后,并且不要出现在公开文件中。

我可以自动生成 llms.txt 吗?

是。可在构建时从 CMS 或内容集合生成,或由服务器路由渲染。检查输出并在 CI 中运行验证和链接检查。

llms.txt 可以有多大?

该提案没有字节上限。此站点在 50 KB 以上会发出信息性审查提示,这只是本地策展启发式,而不是有效性阈值。

我该如何衡量 llms.txt 是否有效?

观察服务器日志中对该文件的请求,并谨慎分类用户代理。请求证明的是检索,不是阅读或使用。请单独跟踪下游引荐或引用,不要仅凭任一信号就推断因果关系。

我在哪里可以看到真实示例?

请查看位于 /examples/ 的示例库,其中列出了 Anthropic、Cloudflare、Stripe、Mintlify、Vercel、Perplexity 在生产环境中发布的 llms.txt 文件,并附有每个文件值得关注之处的说明。

下一步

来源