本研究衡量什么
网站可以发布名为 llms.txt 的文本文件，介绍自身内容，并引导基于语言模型的工具访问有用的页面。但发布文件并不保证 AI 系统会发现或使用它。
对 /llms.txt 的请求即使成功，也可能没有返回预期文件。本研究与 Firecrawl 合作，对从 Tranco 选出的 2,000 个域名考察这一差别。Tranco 是为研究设计的域名热门程度排名。主要观测于 2026 年 9 月 2 日进行。
结合 Firecrawl 提取与直接 HTTP 检查，在各域名所检查的地址上共识别出 192 个文件，占样本的 9.60%。这衡量的是文件检测情况，并不能说明 AI 是否读取了这些文件，或文件是否改善了搜索可见度和回答。下文所有研究计数均由研究合作伙伴提供；来源与贡献部分说明了双方的职责。
本研究与观测站定期检查的精选固定样本不同，研究总体和识别规则也不同。两组百分比不应合并，也不能作为同一趋势来解读。
2,000 个域名的三类结果
以表格查看图表数值
| 结果 | 数量 | 占比 |
|---|---|---|
| 已识别文件 | 192 | 9.60% |
| 可检查但未识别出文件 | 1,226 | 61.30% |
| 无法检查的地址 | 582 | 29.10% |
在 192 个域名上识别出了文件。另外 1,226 个地址可以检查，但未识别出文件：其中 965 个返回 HTTP 404，表示未找到资源；261 个属于其他类别。
剩余 582 个地址无法检查。访问被阻止或请求超时，并不能证明文件不存在。因此，未识别出文件的 1,808 个域名，不能全部视为已确认没有文件。
只要明确计算基数，就可以用以下两种方式报告结果：
| 计算基数 | 已识别文件 | 比例 |
|---|---|---|
| 所有抽样域名 | 192 / 2,000 | 9.60% |
| 仅可检查地址 | 192 / 1,418 | 13.54% |
第二个比例更高，是因为计算时排除了 582 个无法访问的地址。这些地址可能与可访问地址存在系统性差异，而识别出的文件数量没有改变。计算得到的 95% Wilson 区间为：全部 2,000 个域名 8.39% 至 10.97%，1,418 个可检查地址 11.86% 至 15.42%。这些区间描述二项模型下的统计不确定性，不涵盖分类错误、抽样偏差或访问偏差，也不应被视为对整个互联网的估计。
为什么 HTTP 200 响应还不够
HTTP 200 状态表示服务器成功返回了响应，但不能确认响应内容就是 llms.txt 文件。
在 405 个直接 HTTP 200 响应中，试点识别出 177 个文件。其余 228 个响应，占 56.30%，属于四种不同类别。这个总数仅针对直接 HTTP 检查；整体的 192 个文件来自两种方法的合并结果。
以表格查看图表数值
| 结果 | 数量 | 占比 |
|---|---|---|
| 已识别文件 | 177 | 43.70% |
| 重定向异常 | 154 | 38.02% |
| 软 404 | 60 | 14.81% |
| 通用 HTML 应用外壳 | 7 | 1.73% |
| 无效格式 | 7 | 1.73% |
- **154 个重定向异常：**目标路径不满足试点要求以
.txt、.md或.markdown结尾的规则。这是对地址的分类，本身不能证明目标页面已损坏。 - **60 个软 404：**以成功状态返回的错误页面。
- **7 个通用 HTML 应用外壳：**返回的是应用响应，而非预期的文本文件。
- **7 个无效格式：**一类单独列出的未识别内容。
这些类别需要不同的排查方式。检查最终地址、响应内容及其结构，比只统计成功状态码更有意义。图中各百分比独立四舍五入。
比较两种方法能说明什么
以表格查看图表数值
| 结果 | 数量 | 占比 |
|---|---|---|
| 两个来源 | 176 | 91.67% |
| 仅 Firecrawl | 15 | 7.81% |
| 仅直接 HTTP | 1 | 0.52% |
在 192 个文件中，176 个被两种来源同时识别，15 个仅被 Firecrawl 识别，1 个仅被直接 HTTP 检查识别。此图以 192 个文件为基数，不同于第一张图的 2,000 个域名，也不同于 HTTP 图的 405 个响应。
在仅被一个来源识别的 16 个文件中，15 个涉及另一个来源的访问受阻或不可达。这不是对同一内容的两种相反判断，而是其中一种方法没有得到可供评估的响应。剩余一个案例中，Firecrawl 识别出文件，而直接 HTTP 将其响应归为软 404；试点对该案例进行了人工判定。
超时上限分别为 Firecrawl 30 秒、直接 HTTP 10 秒。这种不对称是本次方法的一项已知局限，其影响方向尚未确定。Firecrawl 表示计划使用相同的超时设置进行复测。
你可以在自己的网站上检查什么
这些结果可以帮助理解自己的检查结果。以下是实用建议，并非本次试点测得的效果。
地址返回 HTTP 200
阅读响应正文，确定其中是预期的文本或 Markdown 文件、应用外壳，还是错误信息。确认内容后，再检查标题和链接，以评估文件本身。
请求发生重定向
检查最终地址及其返回的内容。试点的扩展名规则是一项检测规则，并非判断重定向是否有用或页面是否正常的通用标准。
请求被阻止或超时
将此结果与“文件不存在”区分开。记录访问失败，并在适当时重新检查。后来的响应可能帮助判断可访问性，但不能重建网站的历史状态。
文件被识别
检查内容和链接的实用性与准确性。检测到文件本身不代表智能体使用了它。有关引用、搜索可见度或回答质量的结论，需要单独测量。
可以获取公开文件来检查响应，或验证已有文本。这些网站工具有各自的检查逻辑，并不是对历史试点的重新执行。关于发布与使用的区别，可阅读 发布不等于使用。
方法与局限
样本从包含一百万个域名的 Tranco 列表中按确定性规则选取。同一规则应用于同一列表，可以重现选择结果。每次请求仅检查被选中的确切主机，通过 HTTPS 访问 /llms.txt 路径。不额外搜索 www 变体、HTTP、文档子域名或其他路径。
识别要求成功返回文本或 Markdown 内容，而不是 HTML，并且至少包含一个位于代码块之外的 H1 标题。在 Markdown 中，H1 是形如 # 标题 的一级标题；代码块用于显示代码示例或原样文本。这是本研究的检测标准，并非完整的格式认证。
原始检测器可能将代码块内的 H1 误认为文件标题。Firecrawl 重新检查了相关检测逻辑，并确认 192 个已识别文件均未受到影响。据 Firecrawl 说明，189 个文件可通过已保存的数据验证；其余 3 个重新获取后，使用校验和确认与 9 月 2 日的原始响应逐字节相同，再次分类也未改变结果。据 Firecrawl 说明，以 # Page not found 开头的文本错误页面这一独立情况，也未影响任何阳性结果。
试点还记录到 192 个文件中的 174 个（90.63%）以 H1 开头。这些结构指标对 191 个文件使用 Firecrawl 提取的表示，对 1 个文件使用直接 HTTP 内容。它们不衡量内容质量或对智能体的实用性。
两种来源的超时设置不同，不能据此断言某种工具更优。观测也未证实对搜索可见度、引用或回答质量存在确定的影响。这些问题需要其他测量，可作为未来报告的研究方向。
来源与贡献
**2,000 个域名的 llms.txt 试点结果，2026 年 9 月，由 Firecrawl 提供。**主要观测日期为 9 月 2 日。Firecrawl 作为研究合作伙伴，提供计数、分类及分类检查说明，包括其于 2026 年 9 月 16 日给出的确认。llmtxt.info 负责分析与解释，包括比例计算。标注研究合作伙伴并不表示 Firecrawl 认可每一处表述。
本页提供结果及其计算方法。详细观测保留在合作范围内，不予公开；因此，读者无法仅凭本次发布逐条核验分类。
- Tranco：面向研究的域名排名。此链接介绍抽样框架，不是试点数据集。
如对结果有疑问，请使用网站的更正页面。
**引用本研究：**llmtxt.info，检测 llms.txt 文件：2,000 个域名分析的发现。研究合作伙伴：Firecrawl。观测日期：2026 年 9 月 2 日。引用任何数字时，请保留计算基数及分类局限。