llms.txt を取得するのは誰か？ AI 検索クローラーではなく、エージェントである。
多くの llms.txt ファイルは、ChatGPT や Perplexity の回答に表示されることを期待して公開されています。しかし、実際に計測されたリクエストは別の場所を指しており、それによってファイルに含めるべき内容が変わってきます。
最終更新:
測定された内訳
Ahrefs は、137,210 ドメインで /llms.txt をリクエストしたすべてのユーザーエージェントを 2026年5月 の期間について分類し、12 のカテゴリに分けました。受け入れられたおよそ 38,000 ファイルのうち、リクエストを 1 回でも受けたのは 3% だけで、この技術サンプルでは約 1,100 ファイルでした。以下の内訳が示すのはこれらのリクエストであり、母集団全体でも、モデルが最終的に使ったものでもありません。
個々の AI カテゴリを上回る大分類が 4 つあります。
| カテゴリ | リクエストの割合 | | — | — | | SEO 監査ツール | 21.7% | | その他・未特定 | 14.9% | | 一般 Web クローラー | 13.1% | | 技術プロファイリングツール | 11.6% |
名前が付いた AI bot を合わせると、19.5% を占めます。用途別に分けると、状況はかなり明確になります。
| AI bot の種類 | 割合 | | — | — | | AI エージェントとエージェント型インフラ | 10.5% | | AI 学習用クローラー | 5.3% | | AI アシスタント | 2.5% | | AI 検索ボット | 1.1% |
さらに 12% は、規約を消費するのではなく調査している業界から来ています。GEO と AEO の採点ツールが 5.8%、専用の llms.txt スキャナーとディレクトリが 3.6%、研究用クローラーが 2.7% です。
規模を分かりやすくする比較が一つあります。リンクプレビュー bot である Slackbot は、PerplexityBot より頻繁に llms.txt ファイルを取得しました。
測定されたAI取得ではエージェントが最多
2 つ目の表の最下段こそ、じっくり見るべき行です。OAI-SearchBot や PerplexityBot のように、AI 検索プロダクトで現在のユーザーの質問に答えるためページを取得する AI 検索ボットは、測定した全リクエストの 1.1% でした。Ahrefs によると、OAI-SearchBot、PerplexityBot、Claude の検索クローラーを合わせても、取得は数百件にすぎません。
一方、AI エージェントとそれを支えるインフラは 10.5% を占め、データセット内では Claude-Code がすべての検索ボット、すべてのアシスタント、すべての学習用クローラーより多く取得しました。
これは、Google が述べてきたことと矛盾せず一致します。Google は llms.txt を使うかで扱うとおり、John Mueller の公開見解は、AI サービスがこのファイルを使うと述べた例はないというものです。さらにキーワード meta タグにたとえました。つまり、サイト所有者が自分について主張する情報であり、システムはサイトを直接読むほうが低コストで確認できます。
学習用クローラーは 5.3% で、AI の第 2 カテゴリです。検索ボットより llms.txt をほぼ 5 倍多く取得します。ファイルが何かに影響するなら、データは回答を組み立てる瞬間ではなく、コーパスの構築という上流を指しています。
書く内容にとっての意味
想定する利用者が開発者のために働くコーディングエージェントなら、一般的な直感のいくつかは間違っています。
マーケティングページは不適切なエントリです。 エージェントが「この API でどう認証すればよいか」と尋ねられたなら、リファレンスページ、エラーコード、動作する例が必要です。料金ページは役立ちません。ベストプラクティスが一般論を示し、読者データがそれを具体化します。
広さより構造。 仕様はサイトマップではなく、厳選されたインデックスです。40 ページを列挙するファイルは、エージェントの選択を代行しないため、何も節約しません。十分に説明された 12 件のエントリが役割を果たします。
シグナルを担うのは説明です。 各リンクの説明は、取得に時間を使うかどうかを決める前にエージェントが見る唯一の情報です。「API リファレンス」だけではほとんど役に立ちません。「REST エンドポイント、認証ヘッダー、レート制限、エラーコード」なら経路選択になります。
ドキュメント自体がプロダクトなら、llms-full.txt を検討します。 マップではなくコンテンツをエージェントに渡すことが目的なら、それに対応する補助ファイルがあります。llms-full.txt とは何かを参照してください。
AI エージェントはあなたの llms.txt を探しに行かないで扱った発見のとおり、何かがエージェントにファイルの存在を知らせるまでは、どれも意味を持ちません。
ここにある数字はすべて上限です。
Ahrefs はこの点を明確に説明しており、埋もれさせず繰り返すべきです。ログのリクエストが証明するのは、クライアントがバイト列を取得したことだけです。モデルがそれを読んだか、使ったか、破棄したかは何も証明しません。したがって、AI が 19.5% を占めるという数字は、AI による消費を最大限に解釈した場合の値であり、その推定ではありません。
彼らの母集団も、自社の分析顧客から抽出されているため技術寄りです。そのため、28% という導入率を上限として示しています。私たちの導入サンプルはまったく異なる母集団を測定しており、比較できません。