什么是 llms-full.txt?
一个将全部文档打包到单一 URL 的配套文件,使 LLM 能通过一次请求加载所有内容。
最近更新:
什么是 llms-full.txt?
llms-full.txt 是 llms.txt
其中包含 实际内容 中所引用页面的 llms.txt,并将它们拼接成一个 Markdown
文档。它位于域名根目录:
https://example.com/llms-full.txt.
这是某些文档提供方使用的一种发布约定,而不是当前 llmstxt.org v2 提案定义的格式。客户端必须显式支持或被配置为消费它。
在哪里 llms.txt 是一个经过筛选的 索引 (目录), llms-full.txt
是 完整语料库,即完整的可读内容,只需一次 HTTP 请求即可送入 LLM 上下文窗口。
llms-full.txt 与 llms.txt 对比
这两个文件解决的是不同的问题:
-
llms.txt(索引)。 一个包含分节标题和精选链接的简短 Markdown 文件。体积小(通常为 1–10 KB),易于维护。它会告诉 LLM 客户端 哪些页面 需要读取。随后,客户端必须访问这些链接并分别获取每个页面。 -
llms-full.txt(语料库)。 一个较大的 Markdown 文件,将这些页面的内容内联其中。根据文档规模,大小可为 50 KB 至 5 MB 以上。客户端加载一个网址即可一次性获取全部内容,无需进一步抓取。
对于文档量大且具有明确摄取工作流的网站,同时发布两者可能很合适: llms.txt 用于轻量级发现,以及
llms-full.txt ,供明确配置为加载完整语料库的客户端使用。
文件结构
对于 llms-full.txt ,除此之外只需是有效的 Markdown。主流约定 (由 Mintlify 确立,并得到
Anthropic、Vercel 等采用)是:
- 每个被收录的页面都以其 URL 作为二级标题或代码块标题开头。
- 页面的完整 Markdown 内容如下。
- 水平分隔线(
---)或空行用于分隔连续的页面。
两个内联页面的最小示例:
# example.com, full content\n\n## https://example.com/getting-started/\n\n# Getting started\n\nWelcome to Example. To install...\n\n---\n\n## https://example.com/api-reference/\n\n# API reference\n\nBase URL: https://api.example.com/v1...\n 谁来发布它?
该 llms-full.txt 约定由以下平台推广开来: Mintlify,它会自动生成两者 llms.txt 和 llms-full.txt ,为其托管的每个文档网站生成。
Anthropic 在以下位置发布了一个:
docs.anthropic.com/llms-full.txt,它有数兆字节,并以串联的 Markdown 形式包含完整的 API 参考、指南和模型文档。
已验证的 Anthropic 端点表明该约定已用于生产环境,但不能证明某个聊天机器人、抓取工具或搜索引擎会自动使用该文件。
如何创建 llms-full.txt
常见有三种做法:
- 构建时静态生成。 编写一个构建脚本,读取网站使用的同一批 Markdown 源文件,移除 HTML
专用元素,然后将其串联到
/public/llms-full.txt(或你所用框架对应的输出目录)。这 正是 Mintlify 和大多数静态站点生成器的做法。 - 动态服务器路由。 对于支持服务器端渲染的框架,请在
/llms-full.txt,在请求时获取您的内容,将其串联, 并返回纯文本响应。每次请求较慢,但内容始终为最新。 - 手动维护。 对于小型网站,可以手动维护
llms-full.txt手动完成:将关键页面的 Markdown 源内容复制到单一文件中,并在内容 发生变化时更新。对于大型文档,这种方式无法扩展,但对于只有 5 个页面的网站完全可行。
何时发布 llms-full.txt
发布 llms-full.txt 如果你的网站符合以下至少一个条件:
- 你拥有开发者经常向 AI 助手询问的技术文档。
- 你的内容分散在许多页面上,LLM 客户端逐个抓取会很昂贵。
- 您希望能够用于需要单一 URL 语料库的 RAG 流水线或 AI 智能体工作流。
- 你是 SaaS 或 API 提供商,用户可能会向 Cursor、Windsurf 或类似工具咨询编程问题。
如果你的网站有意义的内容不足 10 页,维护良好的 llms.txt
单独使用大概就足够了。额外的暴露面来自 llms-full.txt 在较大规模的文档中才物有所值。
注意事项与权衡
- 文件大小。
llms-full.txt可能会变得非常大。一个包含 500 页的文档网站可能会生成 10+ MB 的文件,超过大多数当前 LLM 的上下文窗口。请考虑仅包含信号最强的页面,而不是整个网站。 - 维护成本。 不同于
llms.txt(仅包含链接),llms-full.txt会造成内容重复。如果页面发生变化但未触发重新构建,该文件就会过时。请自动执行生成步骤。 - 没有标准化架构。 不同于
llms.txt,其中有一个 llmstxt.org 上定义的结构,llms-full.txt格式是一种没有正式规范的社区约定。请清晰地组织 文件,使任何客户端都能解析。 - 公开暴露。 其中的所有内容
llms-full.txt按定义是公开的。 请勿包含任何你不会通过公开 URL 发布的内容。
继续阅读
- 什么是 llms.txt;如果你刚接触这一约定,请从这里开始。
- 如何创建 llms.txt(和 llms-full.txt)、模板和针对不同技术栈的指南。
- 对比:llms.txt vs robots.txt vs sitemap.xml,说明何时使用每种文件。
- 验证器,根据规范检查你的 llms.txt 文件。