什么是 llms-full.txt?

一个将全部文档打包到单一 URL 的配套文件,使 LLM 能通过一次请求加载所有内容。

最近更新:

什么是 llms-full.txt?

llms-full.txtllms.txt 其中包含 实际内容 中所引用页面的 llms.txt,并将它们拼接成一个 Markdown 文档。它位于域名根目录: https://example.com/llms-full.txt.

这是某些文档提供方使用的一种发布约定,而不是当前 llmstxt.org v2 提案定义的格式。客户端必须显式支持或被配置为消费它。

在哪里 llms.txt 是一个经过筛选的 索引 (目录), llms-full.txt完整语料库,即完整的可读内容,只需一次 HTTP 请求即可送入 LLM 上下文窗口。

llms-full.txt 与 llms.txt 对比

这两个文件解决的是不同的问题:

  • llms.txt (索引)。 一个包含分节标题和精选链接的简短 Markdown 文件。体积小(通常为 1–10 KB),易于维护。它会告诉 LLM 客户端 哪些页面 需要读取。随后,客户端必须访问这些链接并分别获取每个页面。
  • llms-full.txt (语料库)。 一个较大的 Markdown 文件,将这些页面的内容内联其中。根据文档规模,大小可为 50 KB 至 5 MB 以上。客户端加载一个网址即可一次性获取全部内容,无需进一步抓取。

对于文档量大且具有明确摄取工作流的网站,同时发布两者可能很合适: llms.txt 用于轻量级发现,以及 llms-full.txt ,供明确配置为加载完整语料库的客户端使用。

文件结构

对于 llms-full.txt ,除此之外只需是有效的 Markdown。主流约定 (由 Mintlify 确立,并得到 Anthropic、Vercel 等采用)是:

  1. 每个被收录的页面都以其 URL 作为二级标题或代码块标题开头。
  2. 页面的完整 Markdown 内容如下。
  3. 水平分隔线(---)或空行用于分隔连续的页面。

两个内联页面的最小示例:

# example.com, full content\n\n## https://example.com/getting-started/\n\n# Getting started\n\nWelcome to Example. To install...\n\n---\n\n## https://example.com/api-reference/\n\n# API reference\n\nBase URL: https://api.example.com/v1...\n

谁来发布它?

llms-full.txt 约定由以下平台推广开来: Mintlify,它会自动生成两者 llms.txtllms-full.txt ,为其托管的每个文档网站生成。 Anthropic 在以下位置发布了一个: docs.anthropic.com/llms-full.txt,它有数兆字节,并以串联的 Markdown 形式包含完整的 API 参考、指南和模型文档。

已验证的 Anthropic 端点表明该约定已用于生产环境,但不能证明某个聊天机器人、抓取工具或搜索引擎会自动使用该文件。

如何创建 llms-full.txt

常见有三种做法:

  1. 构建时静态生成。 编写一个构建脚本,读取网站使用的同一批 Markdown 源文件,移除 HTML 专用元素,然后将其串联到 /public/llms-full.txt (或你所用框架对应的输出目录)。这 正是 Mintlify 和大多数静态站点生成器的做法。
  2. 动态服务器路由。 对于支持服务器端渲染的框架,请在 /llms-full.txt ,在请求时获取您的内容,将其串联, 并返回纯文本响应。每次请求较慢,但内容始终为最新。
  3. 手动维护。 对于小型网站,可以手动维护 llms-full.txt 手动完成:将关键页面的 Markdown 源内容复制到单一文件中,并在内容 发生变化时更新。对于大型文档,这种方式无法扩展,但对于只有 5 个页面的网站完全可行。

何时发布 llms-full.txt

发布 llms-full.txt 如果你的网站符合以下至少一个条件:

  • 你拥有开发者经常向 AI 助手询问的技术文档。
  • 你的内容分散在许多页面上,LLM 客户端逐个抓取会很昂贵。
  • 您希望能够用于需要单一 URL 语料库的 RAG 流水线或 AI 智能体工作流。
  • 你是 SaaS 或 API 提供商,用户可能会向 Cursor、Windsurf 或类似工具咨询编程问题。

如果你的网站有意义的内容不足 10 页,维护良好的 llms.txt 单独使用大概就足够了。额外的暴露面来自 llms-full.txt 在较大规模的文档中才物有所值。

注意事项与权衡

  • 文件大小。 llms-full.txt 可能会变得非常大。一个包含 500 页的文档网站可能会生成 10+ MB 的文件,超过大多数当前 LLM 的上下文窗口。请考虑仅包含信号最强的页面,而不是整个网站。
  • 维护成本。 不同于 llms.txt (仅包含链接), llms-full.txt 会造成内容重复。如果页面发生变化但未触发重新构建,该文件就会过时。请自动执行生成步骤。
  • 没有标准化架构。 不同于 llms.txt,其中有一个 llmstxt.org 上定义的结构, llms-full.txt 格式是一种没有正式规范的社区约定。请清晰地组织 文件,使任何客户端都能解析。
  • 公开暴露。 其中的所有内容 llms-full.txt 按定义是公开的。 请勿包含任何你不会通过公开 URL 发布的内容。

继续阅读

来源