llms.txt 博客
关于 llms.txt 规范、AI 爬虫、生成式引擎优化,以及 面向开发者和站点所有者的实用实施指南的深度文章。
-
真实的 llms.txt 文件有多大?
一项涵盖 113 个文件的基准测量了真实 llms.txt 的大小、分节和链接:中位数为 14,347 字节、7 个分节和 76 个链接,差异范围很大。
阅读文章 -
llms.txt 链接健康状况:已测试 294 个网址
对经验证的 llms.txt 文件所链接的 294 个 URL 进行的可复现健康检查发现,其中 286 个页面可访问。了解应测试什么,以及结果无法证明什么。
阅读文章 -
智能体如何发现 llms.txt v2 资源
一项针对 294 个页面的 Markdown 替代方案和 rel=describedby 的基准测试,涵盖 HTML 和 HTTP Link 标头,并附带部署建议和限制。
阅读文章 -
llms.txt 子路径:113 个站点的基准测试
我们在 113 个已验证主机上测试了四种常见的 llms.txt 子路径。排除重定向、HTML 回退页面和与根文件重复的内容后,有 21 个主机提供了内容不同的路径文件。
阅读文章 -
对 llms.txt 提示注入进行威胁建模
Ahrefs 观察到一个名为 prompt-injection-survey 的研究型用户代理。这个标签并不能证明是攻击,但外部代理上下文值得纳入供应链控制。
阅读文章 -
谁在请求 llms.txt?是智能体,而非 AI 搜索爬虫
在 Ahrefs 涵盖 137,210 个域名的日志中,AI 检索机器人占 llms.txt 请求的 1.1%,智能体工具占 10.5%。获取文件仍不能证明实际使用。
阅读文章 -
Chrome 的 Lighthouse llms.txt 审计实际检查什么
Lighthouse 将 4xx 响应视为“不适用”。对于成功响应,它还会检查最小长度、一个 H1 和一个 Markdown 链接,但不会检查是否完全符合 v2。
阅读文章 -
一项研究发现,AI 机器人不会探测缺失的 llms.txt 文件
在 Ahrefs 的 2026年5月 样本中,没有 AI 机器人请求缺失的 /llms.txt。这一结果并非普遍性证明,但它说明了为什么仅仅发布并不等于被发现。
阅读文章