どのクライアントがllms.txtを取得しますか？
リクエストログから取得とクライアント名を確認できます。ただし、モデルがファイルを読んだこと、使用したこと、回答で引用したことまでは証明できません。
最終更新:
短い回答
自動的に検出し、解析し、使用する製品の検証済みの完全なリストは存在しない
llms.txt. 最も有力な公開証拠はリクエストログデータである。これは、特定の
クライアントが定義されたサンプル内のファイルを取得したことを示しているだけで、その後モデルがそのバイトデータをどのように処理したかを示すものではない。
V2では、ルートディレクトリまたはより具体的なパスでのマップの使用を許可し、以下を定義しています。
rel="describedby" を検出に使用します。ページでは、Markdown表現を次の属性で示すこともできます：
rel="alternate" type="text/markdown"。効果を得るには、クライアント側がそれらのrelationを実装する必要があります。
リクエストログで測定したもの
Ahrefsは、次に対するリクエストを分析しました： /llms.txt を2026年5月中に137,210ドメインで調査しました。約38,000ドメインがAhrefsの基準を満たすレスポンスを配信していましたが、そのうち当月にリクエストを1件以上受けたファイルは3%だけでした。このパネルは技術・SEO分野に偏っているため、その比率はWeb全体の推定値ではありません。
名前が特定できたAIボットは、測定したリクエストの19.5%を占めました。SEO監査ツール、汎用クローラー、プロファイリングツール、未特定のクライアントを合わせた割合は、それよりはるかに大きいものでした。このサンプルでは、Slackbotによるファイル取得回数がPerplexityBotを上回りました。
どの種類のクライアントがファイルを取得したか
| 名称が明示された AI カテゴリ | 測定した全リクエストに占める割合 |
|---|---|
| エージェントとエージェント型インフラ | 10.5% |
| 学習用クローラー | 5.3% |
| AIアシスタント | 2.5% |
| ライブAI検索用の取得ボット | 1.1% |
エージェント型クライアントが名称の判明した AI カテゴリで最大を占め、データセットでは Claude-Code が検索ボット、アシスタント、学習用クローラーのいずれよりも多くのリクエストを生成しました。このため、開発者が開始するワークフローは有力な利用者候補ですが、自動発見や製品全体での対応を立証するものではありません。
検索、トレーニング、ユーザー訪問はそれぞれ異なるものである
OpenAIのクローラーに関するドキュメントでは、以下のように区別されています。 OAI-SearchBot をChatGPT Search向けに、
GPTBot は基盤モデルの学習に使用される可能性のあるコンテンツ向けで、
ChatGPT-User ユーザーが開始した特定のアクションについて。OpenAIは次のように述べている。
ChatGPT-User 自動 Web クロールには使われず、コンテンツを検索に表示するかどうかの判断にも使われません。
この区別はログ分類に役立ちます。ただし、いずれかのユーザーエージェントが自動的に llms.txt：公開ドキュメントにはそのような記述はありません。
リクエストからは証明できないこと
- リクエストから分かるのは、クライアントがレスポンスを取得したことだけであり、モデルがそれを読んだ、または保持したことではありません。
- ユーザーエージェント文字列は申告されたラベルであり、発信元を検証しない限り偽装できます。
- ファイルが回答、引用、ランキング、学習コーパスに影響したことを示すものではありません。
- 明示的なURLへの手動リクエストは、自動検出とは異なります。
- 1つの技術系固定サンプルと1か月の観測だけでは、ウェブ全体の挙動を立証できません。
自分のファイルを測定する方法
- すべてのルートおよびパス単位の
llms.txtURL。 - ステータス、タイムスタンプ、リクエストされたURL、最終URL、ユーザーエージェント文字列を記録します。
- 出典の明示が重要な場合は、プロバイダーが文書化している方法に従って、既知のボットを確認すること。
- 人間によるトラフィック、監査トラフィック、一般的なクローラートラフィック、エージェントによるトラフィック、トレーニング用トラフィック、アシスタントによるトラフィック、および検索トラフィックを区別すること。
- リクエストは、参照、引用、下流のコンバージョンとは分けて報告してください。
[監視方法](/blog/how-to-monitor-llms-txt/)では、分母とレスポンス状態を説明しています。測定対象カテゴリー別の内訳については、 llms.txtを取得している主体.
よくある質問
ChatGPT は llms.txt を読みますか？
OpenAIの文書には、 llms.txt 発見や特別扱いを確立するものではありません。OpenAI は OAI-SearchBot をSearch向けに、 ChatGPT-User が、ユーザー主導の特定のアクセスに使用されます。これらの役割を混同してはならず、明示的なURLへの取得があっても、製品全体での対応を証明するものではありません。
Claudeはllms.txtを読み込むのか？
公開されているプロバイダーのドキュメントには、Claude全体での自動的な llms.txt によるClaude全体での発見。ログ項目から、クライアントがレスポンスを取得したことは分かりますが、ファイルが解析、保持、または回答に使用されたことは分かりません。
llms.txtクローラーのuser agentは何ですか？
単一のユーザーエージェントは存在しません。 llms.txt クローラーです。各AIシステムは独自のクローラー識別子（PerplexityBot、GPTBot、ClaudeBotなど）を使用します。 llms.txt は受動的なファイルであり、クローラーが明示的に取得する必要があります。
関連ページ
- llms.txt を使うのは誰か、実際の普及状況を示す証拠。
- llms.txt フォーマットリファレンス、仕様の詳細。
- llms.txtの作成方法、あらゆるスタックに対応したステップバイステップの手順。
- バリデータ · ジェネレーター.