llms.txt 子路径:113 个站点的基准测试

路径级文件是 llms.txt v2 的核心。可复现抓取表明它们已经存在,但需要谨慎解读结果。

最近更新:

路径级 llms.txt 可以为代理提供比单一全源文件更小、更相关的地图。我们的首次基准测试发现,在已经提供经过验证的根文件的 113 个主机中,有 21 个在测试过的常见子路径上至少有一个独立文件。

要点

  • 21 个主机至少在一个测试路径上返回了独立的 H1 文件。
  • 测试覆盖了四个常见路径,而不是所有可能的位置。
  • 只有代表真实内容边界时,子路径才有用。

基准测试发现了什么?

在 12 2026年8月,113 个已验证根文件主机中有 21 个还在以下一个或多个位置返回了以 H1 开头的独立文本文件:/docs/llms.txt/documentation/llms.txt/help/llms.txt/api/llms.txt。测试排除了重定向、HTML 备用页面、不含 H1 的响应以及正文与根文件相同的情况。

这是观测数量,不是全球采用率。分母有意只包含已经出现在已验证目录中的主机,分子只包含四条测试路径。主机可能在其他位置发布文件,因此对本测试不可见。

测试是如何进行的

脚本从固定的目录快照开始,而不是搜索引擎样本。它为每个源请求四条路径,并附带面向文本的 Accept 标头,跟随重定向;只有响应成功且包含 Markdown H1 时才计入结果。

H1 检查可以减少自定义 404 页面和单页应用备用页面造成的假阳性,但不能证明整个文件都正确。使用验证器检查结构,并在依赖它之前手动检查响应。

原始汇总发布于 v2-adoption-stats.json。固定输入样本和目录方法仍然公开,便于后续运行使用相同的分母。

子路径文件何时有用

当某个路径下的内容拥有自己的受众、词汇或发布周期时,单独的文件才有意义。文档、API 参考、支持中心和课程区域都是常见候选。兼容的代理在 /docs/ 中工作时,可以选择 /docs/llms.txt,而不是加载一张无关的全公司地图。

不要仅仅因为提案允许就创建路径文件。重复文件会增加维护成本并产生相互冲突的描述。明确所有权,从同一内容源生成链接,并让根文件保持足够宽泛,以便把代理引向专业地图。

v2 迁移清单说明了安全的发布过程。最佳实践指南介绍了确定范围后的内容整理。

限制与实施检查清单

基准测试无法说明代理是否发现或使用了任何文件。它没有测试每条路径、经过身份验证的区域、所列源之外的子域名,也没有测试返回地图的语义质量。它同样无法将搜索表现归因于路径级文件。

对于实现:

  1. 选择具有稳定信息边界的路径。
  2. 将文件保持在该路径内,只链接相关资源。
  3. 在可行时,将 rel="describedby" 添加到所覆盖的页面。
  4. 针对嵌套路由测试“最具体文件”规则。
  5. 在日志中监控请求,不要假定已经采用。

我可以只发布 /docs/llms.txt 吗?

是的。v2 提案支持位于源根目录以下的文件。客户端能否发现它,取决于客户端的实现和你的发现信号。

子路径文件应该重复根列表吗?

通常不会。重复会消除上下文优势。保留根文件作为路由器,让路径文件保持具体。

路径文件能帮助 Google 将该部分编入索引吗?

Google 表示,搜索不会把 llms.txt 当作特殊信号。对于搜索,应使用站点地图、内部链接、可抓取性和有用内容。

来源