优势与局限

对 llms.txt 的作用、无作用以及是否该发布它的坦诚说明。

最近更新:

优势

1. 已发布的机器可读约定

第一个具体收益是内部的:编写一个 llms.txt 迫使你的团队就哪些页面真正代表你的项目达成一致。大多数团队会发现, 他们发布的文件比导航更短、更清晰,而这个练习本身就很有价值。

2. 为会读取它的助手提供更好的 grounding

可以将兼容的助手或自定义检索流程配置为读取 llms.txt 并访问其中的链接。文件可为这一流程提供经过筛选的页面。仅仅发布文件,并不能证明 Claude、ChatGPT、Perplexity 或其他产品会自动获取它或将其用于回答;应验证具体集成的实际行为。

3. 一个稳定、可引用的语料库

带有 llms-full.txt 配套使用时,助手可以将你的文档作为单个制品摄取,并向用户引用具体 URL。这种引用行为对信任和点击率都很重要。

4. 消除有歧义品牌的歧义

如果你的名称与其他公司、产品或术语冲突,页面顶部的 blockquote 摘要 会 llms.txt 是一次性消歧工具。你可以控制助手读到的关于你的第一句话。

5. “GEO”/“AEO”工作的可靠基线

生成式引擎优化(GEO)和答案引擎优化(AEO)仍属于新兴学科。发布 llms.txt 会为兼容客户端创建具体资源,但本身不能证明或导致引用。

局限

1. 没有主要搜索引擎确认会读取它

Google 搜索明确表示其不使用 llms.txt。没有任何主要 LLM 提供商记录在推理时自动将其用作依据。发布文件并不等于确认接收端实际使用了它。

2. 它不能控制爬虫行为

llms.txt 没有允许或禁止语义。如果你想阻止 GPTBotClaudeBot,你仍然需要 robots.txt. 这两个文件解决的是不同的问题。

3. 接收端的采用情况并不均衡

可以配置兼容客户端或检索工作流来获取 llms.txt。 必须逐个产品验证提供方支持情况,不能从发布本身推断。

4. 规范由社区维护,尚未标准化

该提案位于 llmstxt.org 且尚未经过 IETF 或 W3C 流程。预计会有小幅变化,因此应根据实时规范进行验证,而不是依据冻结的副本。

5. 容易过度优化

这种格式会诱发与 2010 年元标签相同的问题:关键词堆砌、营销文案和隐藏意图。请克制。人类也会读取该文件,而这些做法很快就会显得质量低劣。

有文档依据的审慎态度

存在健康的争论。最常被引用的怀疑声音是 John Mueller(Google 搜索倡导者), 他在 2025 和 2026 年间的 Bluesky 和 Mastodon 帖子中多次质疑其采用和影响。他的总结,转述如下: 发布该文件成本很低;期待 Google 使用它只是一厢情愿。

实际的反驳更为狭窄:如果网站有兼容的客户端或检索工作流可供测试,并且能保持索引最新,那么它就可以合理地使用该文件。

这并不会使 llms.txt 一种通用的 grounding 机制。请根据一个有名称、 可衡量的工作流来决定,而不是基于对提供方行为的假设。

何时值得采用

  • 文档网站。 投资回报率最高:助手已经是开发者的主要发现渠道。
  • 开发者工具和 API。 原因相同。与 llms-full.txt.
  • 面向技术买家的 SaaS。 买家会使用 AI 工具进行研究;清晰的文件能改善这些工具对您的描述。
  • 知识库和参考网站。 Wiki、术语表和分类体系都能从明确的人工筛选中受益。
  • 名称存在冲突的品牌。 引用块摘要是你消除歧义的唯一机会。

何时大概率不该这样做

  • 纯电商目录。 产品列表变化太频繁;结构化数据(Schema.org)是更好的选择。
  • 以视觉或媒体为主的网站。 图库、视频平台和设计作品集从 Markdown 文本文件中获得的收益很少。
  • URL 不稳定的网站。 如果您的网址频繁变动,文件就会失效,而陈旧的网址会损害其声誉。
  • 高度依赖身份验证的网站。 公开列出私有页面既无用又有风险。

如何衡量影响

坦诚来说:衡量很困难。目前没有适用于 LLM 引用的 Google Search Console。可以使用的一套实用工具包括:

  • 服务器日志。 筛选已知的 LLM 用户代理(GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot)请求 /llms.txt/llms-full.txt.
  • 引荐来源分析。 查看来自以下来源的引荐流量: chat.openai.com, claude.ai, perplexity.ai。该处的流量在 2025 年大幅增长。
  • 手动提示词。 定期向 Claude、ChatGPT 和 Perplexity 询问与你的产品有关的问题。记录它们是否引用你的域名,以及选择了哪些 URL。
  • 品牌监测。 Profound、Otterly、Xfunnel 和 AthenaHQ 等工具会跟踪大语言模型对品牌的提及;这些工具尚处于早期阶段,但发展很快。

下一步

来源