智能体如何发现 llms.txt v2 资源
v2 提案定义了两种用于发现的链接关系。我们的基线衡量了它们在由以 H1 开头的根响应所链接的页面中出现的频率。
最近更新:
alternate 将 HTML 页面指向其简洁的 Markdown 表示。describedby 将该页面指向最具体且适用的 llms.txt。两者共同让 v2 资源无需猜测路径即可被发现，但只有实现了该提案的客户端才会据此行动。
要点
- 286 个可访问样本页面中，有 31 个宣传了 Markdown 替代版本。
- 有 4 个
rel="describedby"在 HTML 或 HTTP Link 标头中被公布。- 发现并不意味着使用、引用或 Google 排名效果。
两个发现信号是什么？
HTML 页面可以添加 <link rel="alternate" type="text/markdown" href="...">，指向包含相同基本信息的 Markdown 表示。它还可以添加 <link rel="describedby" href=".../llms.txt">，指向覆盖该页面的地图。
提案还允许使用等效的 HTTP Link 标头。标头适用于非 HTML 资源，而 HTML 更容易检查，也更容易从共享布局生成。使用绝对 URL 或能正确解析的 URL，让两种资源都保持可访问，不要宣传过时的转换。
294 个页面公开了什么？
我们在 8 月 12 日的基准测试中，从 113 个满足 H1 优先纳入规则的根响应中各抽取最多三个链接页面。它请求了 294 个页面，访问到 286 个。31 个可访问页面公布了 Markdown 替代版本，4 个公布了 rel="describedby"。检测器检查了 HTML 和 HTTP Link 标头。
该结果为这一特定样本建立了一个有日期的基线。它没有说明剩余页面在未公开的 URL 上没有 Markdown，也没有覆盖每个主机上的所有页面。汇总和方法发布于 v2-adoption-stats.json。
如何安全实现这些关系
从与 HTML 相同的源生成 Markdown。对于以斜杠结尾的路由，v2 建议使用 index.md 或 index.html.md 表示。让 HTML 页面在搜索中保持规范地位，把 Markdown 作为替代表示，而不是相互竞争的编辑页面。
按范围解析 describedby。英文产品页面可以使用 /llms.txt，文档页面可以使用 /docs/llms.txt，本地化部分可以使用自己的路径专属文件。测试最终构建的 HTML，不要只测试模板变量。
为缺少替代版本、资源非 200、MIME 类型错误以及指向预期范围之外的关系添加 CI 检查。验证器检查文件语法，v2 迁移清单则涵盖发布顺序。
这些关系无法做到什么
它们无法强迫抓取器获取资源、绕过 robots 控制、以安全方式公开私人信息，也无法改善搜索排名。Google 明确表示，搜索不会将特殊 AI 文本文件用于其生成式功能。
实际结果更有限：兼容的代理可以通过标准 Web 链接发现更简洁的表示和经过整理的地图。在声称更多之前，先在日志中测量请求。
作为背景，请从什么是 llms.txt开始，并将这些关系与真实生产示例比较。
必须有 rel="describedby" 吗？
不。它是 v2 提案发现机制的一部分，而不是文件语法的最低要求。
可以使用 HTTP 标头而不是 HTML 吗？
是的。该提案描述了两者。选择你能够可靠生成和测试的那一层。
Markdown 应该自行成为规范版本吗？
对于搜索，应让 HTML 页面保持为规范的公共文档。Markdown 资源应清楚标明其来源，并保持内容等价。