什么是 llms.txt

对拟议的 llms.txt 约定、当前范围、实测采用情况及其局限的简明定义。

最近更新:

定义

llms.txt 是一个发布在网站根目录或特定 路径下的 Markdown 文件。它为兼容代理提供该范围内有用资源的简短精选地图。熟悉的 根 URL 是 https://example.com/llms.txt.

它由 Answer.AI 的 Jeremy Howard 于 2024年9月 作为一项社区约定提出,而非正式标准。规范正文位于 llmstxt.org.

llms.txt、llmstxt、llms txt,还是 llmtxt?

建议的文件名是 llms.txt。人们还会搜索 llmstxt, llms txt, llmtxt,以及 llm.txt ,尤其是当他们省略标点、记错复数形式,或指的是该主题而非具体文件时。

这些拼写方式并不代表不同的格式。请使用 llms.txt 在文档中以及发布的 URL 上。llmtxt.info 是这个参考站点;llmstxt.org 发布当前的 v2 提案。 本页将这些变体归类,而不是创建重复页面。

来源

Howard 最初的论点是:与典型网站相比,大语言模型的上下文窗口很小。每当有人想询问你的产品时,都让模型抓取整个网站既浪费资源,又会造成信息损失。网站已经发布了 robots.txt 供爬虫使用,并发布 sitemap.xml 用于搜索引擎, llms.txt 提出了一种专门面向 LLM 的并行约定。

该格式故意保持极简:

  • Markdown(便于人类阅读和编辑)。
  • 可预测的结构(使解析器能够可靠地提取分节和链接)。
  • 经过筛选,而非面面俱到(目标是提供信号,而非追求覆盖率)。

它解决了什么问题

  1. 上下文窗口限制。 即使模型支持数百万 token,加载整个文档网站仍会产生延迟和成本。一个聚焦的 llms.txt 可以减少不必要的检索,前提是兼容客户端只需要少量规范资源。
  2. 发现噪声。 对 LLM 而言,网站中最有价值的内容很少与访问量最高的内容相同。 llms.txt 允许您明确告诉模型:“这些 页面值得阅读。”
  3. 可审阅的合同。 如果文件受版本控制并在 CI 中检查,其 URL 就会成为一个明确的可测试界面,可在页面移动时进行验证。
  4. 配套文件 llms-full.txt. 一个由多家文档发布者采用的相关约定,会将所链接页面的内容以拼接 Markdown 的形式内联,使 LLM 客户端只需加载一个网址即可获得完整、可直接输入的语料库。

llms.txt 不是什么

实际使用中存在很多混淆。明确来说:

  • 它不是 W3C、IETF 或其他形式的标准化协议。 它是一个社区提案。
  • 任何主要 LLM 提供商都未强制执行它。 没有任何供应商(OpenAI、Anthropic、Google、 Meta)公开承诺会持续抓取该文件。目前的采用大多是机会性的。
  • 这不是排名信号。 发布 llms.txt 不会提高你的网站在传统搜索或 AI Overviews 中的排名。截至 2026年8月,没有公开证据支持这种说法。
  • 它不能取代 robots.txt, sitemap.xml,或 schema.org。 参见专门的 对比页面.
  • 它不是安全机制。 你在 llms.txt 按定义就是公开的。

采用情况(2026 年)

采用确实存在,但并不均衡。大多数早期采用者是 文档平台和开发者工具公司:Anthropic、Cloudflare、Vercel、Stripe、Mintlify、Perplexity。在开发者工具领域之外,覆盖率仍然很低。

我们固定的技术导向样本发现了 122 个有效根目录文件,样本来自 217 个可访问主机,日期为 2026-09-07,速率为 56.2%。这是透明的固定样本测量结果,而不是对整个 Web 采用率的估计。

质疑意见也有记录。Google 的 John Mueller 曾公开表达谨慎态度,Mintlify 自身也曾 正面回应了质疑:该文件作为稳定、机器可读的契约很有用,但 LLM 对它的实际使用情况取决于各家供应商不断变化的选择。

典型用例

  • API 文档。 直接将 LLM 映射到你的端点参考页面和教程。
  • SaaS 营销网站。 帮助助手依据一小组规范页面回答有关你的产品、定价和集成的问题。
  • 开源项目。 引导客户端访问 README、贡献指南、示例和变更日志。
  • 知识库。 应突出少量高质量答案,而不是列出每篇帮助中心文章。

快速 FAQ

是否 llms.txt 是必需的吗? 不。它是自愿的。

它会改善我的 SEO 吗? 并非直接如此。请阅读我们的 优势与局限 页面,以获取谨慎的回答。

如何创建? 请参阅 分步指南,或者使用 生成器 来搭建基线。

继续阅读

来源