真实的 llms.txt 文件有多大?
该提案没有规定通用的理想长度。生产数据可提供更实用的基准,前提是不要把百分位数变成武断的规则。
最近更新:
在满足 H1 优先纳入规则的 113 个生产响应中,中位数为 14,347 字节,包含 7 个 H2 部分和 76 个 Markdown 列表链接。这些数字描述的是样本,不是推荐限制,因为专注的产品网站和大型文档语料库解决的是不同问题。
要点
- 中间 50% 的范围是 5,765 到 42,850 字节。
- 链接数量从 0 到 3,280 不等,中位数为 76。
- 不能仅凭大小推断整理质量。
典型文件包含什么?
8 月 3 日的目录快照包含 113 个文件。大小从 648 到 741,350 字节不等。第 25 百分位为 5,765 字节,中位数为 14,347,第 75 百分位为 42,850。
部分数量从 0 到 84 不等,中位数为 7。解析出的列表链接从 0 到 3,280 不等,中位数为 76。90 个文件包含引用摘要。
完整汇总位于 directory-insights.json,由已验证目录中列出的相同文件生成。
为何分布范围如此之广
提案可以描述小型企业、个人网站或大型开发者平台。文档发布者通常会自动生成很长的目录;专注的网站可能只整理几个目标。重定向、格式风格、链接注释和生成的导航都会影响字节大小。
类别中位数体现了差异。七个电子商务文件的中位大小为 4,361 字节,中位链接数为 28。八个金融科技文件的中位大小为 93,207 字节,中位链接数为 471。这些样本规模较小且用于描述,不是行业标准。
如何设定一个实用的内容预算
从任务出发,而不是从目标字数出发。列出代理回答预期问题所需的最小页面集合。当边界真实存在时,将专业材料分到路径级文件中。为了编辑清晰度,你可以用 Optional 标记次要资源,但 v2 不会赋予该标题特殊的客户端行为。
检查每条描述是否有助于消除歧义。删除营销用语、重复项、重定向以及仅仅重复其他来源的页面。如果地图随着站点地图中的每个 URL 一起增长,它就不再是经过整理的地图。
生成器可以创建起始草稿,但最佳实践指南说明了为什么人工选择仍然必要。使用验证器验证语法。
大小指标的局限
字节不是 token,而 token 会因分词器和语言而异。小文件可能含义模糊,大文件可能对专业客户端有用。提案没有定义排名阈值或通用的最大值。
把文件大小作为运行信号:监控突然增长、构建延迟、过时链接和重复内容。用基于任务的测试评估有用性,不要只根据长度得出分数。
14 KB 是理想大小吗?
不。这是该样本的中位数,不是建议。
76 个链接太多了吗?
这取决于范围。路径专属的文档地图可以比全公司概览容纳更多链接。
更大的文件会提高 AI 可见性吗?
没有证据支持这一因果说法。较大的文件会消耗更多上下文,也可能增加噪声。