llms.txt 链接健康状况:已测试 294 个网址
语法有效的资源图仍可能把智能体引向失效资源。此基准测量可访问性,而不将其与内容质量混为一谈。
最近更新:
有效的 Markdown 列表还不够。如果链接页面超时、意外重定向或返回错误,文件就不再是进入网站的可靠路径。我们的基线在本次运行中访问了 294 个样本 URL 中的 286 个,观测成功率为 97.3%。
要点
- 294 个样本 URL 中有 286 个在 12 2026年8月 可以访问。
- 可访问性并不等同于相关性、新鲜度或代理使用。
- 外部失败应在阻止发布之前重试。
样本链接的健康状况如何?
v2 研究抓取从 113 个满足 H1 优先纳入规则的根响应中各选择最多三个列表链接。它请求了 294 个 URL,并从其中 286 个收到成功响应。八个 URL 在测试条件下无法访问。
这是样本,不是对每个已列出链接的完整审计。经过验证的文件中位数包含 76 个列表链接,因此每个文件检查三个链接,偏向于覆盖更多主机,而不是深入一张大型地图。
可访问性测试衡量什么
脚本会跟随重定向,应用七秒超时,并记录最终响应是否成功。它不会登录、运行浏览器会话、评判文本质量,也不会断言目标与链接描述相符。
成功仍可能掩盖软 404 或通用应用外壳。失败可能是暂时的、受到速率限制、受地理位置限制,或由机器人防护造成。因此,结果会带着日期和方法作为观察结果发布。
使用已验证目录作为固定输入,使用验证器检查文件级语法。两者都不能替代对高价值目标的人工审查。
适用于 CI 的安全链接检查策略
由于你控制内部链接的两端,所以每次构建都检查它们。对于外部链接,运行定时任务,重试失败项,并且只把持续存在的 404 或 410 响应视为移除的有力证据。不要让每次生产发布都依赖数百个第三方主机。
记录源 URL、最终 URL、状态和时间戳。将重定向链与错误分开标记。当规范页面移动时,更新文件,不要无限期依赖重定向。
对于较大的文件,可在每次运行时抽样并轮换样本,或者降低频率进行完整抓取。最佳实践指南解释了为什么较小且经过整理的列表通常维护成本更低。
HTTP 结果的局限
HTTP 200 只表示服务器作出了响应,并不表示页面是最新、完整、安全或对代理有用的。反过来,一次超时也不能证明链接已失效。在自动删除条目之前,保留原始结果足够长的时间,以便比较多次运行。
该基准测试也无法说明 Google 排名。链接维护会提高文件对读取它的客户端的可靠性;搜索使用自己的抓取和排名系统。
查看llms.txt 的工作方式,并让范围与v2 迁移指南保持一致。
一个损坏的外部链接应该导致生产失败吗?
通常不会。在定时检查中重试,并且只在你控制的策略下失败,例如持续出现 404 或 410 响应。
llms.txt 中的重定向无效吗?
不,但直接的规范目标可以减少延迟和歧义。维护期间更新稳定的重定向。
应该多久检查一次链接?
要匹配内容的变化速度。活跃目录适合每周检查;稳定文档可以降低完整扫描的频率。