llms.txt ファイルの検出：2,000 ドメインの分析結果

この調査で測定したこと

ウェブサイトは、コンテンツを紹介し、言語モデルを利用するツールを有用なページへ案内するために、llms.txt というテキストファイルを公開できます。ただし、公開しても AI システムがそのファイルを発見したり利用したりする保証はありません。

/llms.txt へのリクエストが成功しても、期待するファイルが返るとは限りません。Firecrawl と共同で行った本調査は、Tranco から選んだ 2,000 ドメインで、この違いを検証しました。Tranco は研究向けに設計されたドメインの人気度ランキングです。主な観測日は 2026 年 9 月 2 日です。

Firecrawl による抽出と直接 HTTP 検査を組み合わせた結果、各ドメインの検査対象アドレスで 192 ファイル、標本の 9.60% を認識しました。測定したのはファイルの検出であり、AI による読み取りや、検索での可視性・回答への効果ではありません。以下の件数はすべて研究パートナーから提供されたものです。出典と役割は末尾に記載しています。

本調査は、観測所が定期的に調べる選定済みの固定パネルとは別のものです。対象集団と認識ルールが異なるため、両者の割合を合算したり、一連の推移として扱ったりすることはできません。

2,000 ドメインにおける三つの結果

グラフの数値を表で読む

分母: 2,000 ドメイン.

結果	件数	割合
認識されたファイル	192	9.60%
検査可能だが未認識	1,226	61.30%
検査できなかったアドレス	582	29.10%

192 ドメインでファイルを認識しました。別の 1,226 アドレスは検査できましたが、ファイルは認識されませんでした。そのうち 965 はリソースが見つからないことを示す HTTP 404 を返し、261 はその他の分類に該当しました。

残りの 582 アドレスは検査できませんでした。アクセス拒否やタイムアウトは、ファイルが存在しない証拠にはなりません。そのため、ファイルが認識されなかった 1,808 ドメインすべてを「不存在確認済み」とすることはできません。

計算の分母を明記すれば、結果は次の二通りで示せます。

計算の分母	認識ファイル数	割合
標本の全ドメイン	192 / 2,000	9.60%
検査可能なアドレスのみ	192 / 1,418	13.54%

二つ目の割合が高いのは、アクセスできなかった 582 アドレスを計算から除いているためです。それらはアクセス可能なアドレスと系統的に異なる可能性がありますが、認識ファイル数は変わりません。計算した 95% Wilson 区間は、全 2,000 ドメインで 8.39%～10.97%、検査可能な 1,418 アドレスで 11.86%～15.42% でした。これらは二項モデルの下での統計的不確実性を示します。分類誤り、抽出やアクセスの偏りは含まず、ウェブ全体の推定値として解釈すべきではありません。

HTTP 200 だけでは不十分な理由

HTTP 200 は、サーバーが成功を示す応答を返したことを意味します。内容が llms.txt ファイルであることまでは示しません。

直接 HTTP 200 応答 405 件のうち、パイロット調査では 177 ファイルを認識しました。残りの 228 件、56.30% は四つの分類に分かれます。この件数は直接 HTTP 検査に限ったもので、全体の 192 ファイルは両手法を組み合わせた結果です。

グラフの数値を表で読む

分母: 直接 HTTP 200 応答 405 件.

結果	件数	割合
認識されたファイル	177	43.70%
リダイレクトの異常	154	38.02%
ソフト 404	60	14.81%
汎用 HTML シェル	7	1.73%
無効な形式	7	1.73%

• **リダイレクトの異常 154 件：**転送先パスが .txt、.md、.markdown のいずれかで終わるという調査ルールを満たしていません。これはアドレスの分類であり、転送先が壊れていることを単独で証明するものではありません。
• **ソフト 404 が 60 件：**成功ステータスで返されたエラーページです。
• **汎用 HTML アプリケーションシェルが 7 件：**期待するテキストファイルではなく、アプリケーションの応答です。
• **無効な形式が 7 件：**認識されなかった内容の独立した分類です。

分類ごとに必要な確認は異なります。成功コードを数えるだけでなく、最終アドレス、応答内容、構造を調べる方が有益です。グラフの割合は個別に丸めています。

二つの手法の比較から分かること

グラフの数値を表で読む

分母: 認識された 192 ファイル.

結果	件数	割合
両方のソース	176	91.67%
Firecrawl のみ	15	7.81%
直接 HTTP のみ	1	0.52%

192 ファイルのうち、176 は両方のソースで認識され、15 は Firecrawl のみ、1 は直接 HTTP のみで認識されました。このグラフの分母は 192 ファイルであり、最初のグラフの 2,000 ドメインや HTTP グラフの 405 応答とは異なります。

片方のソースだけで認識された 16 ファイルのうち、15 はもう片方でアクセスが拒否されたか到達できなかったケースです。同じ内容への相反する判断ではなく、一方の手法では評価できる応答が得られていません。残る 1 件では Firecrawl がファイルを認識し、直接 HTTP は自身の応答をソフト 404 に分類しました。このケースには手動による判定が含まれています。

タイムアウトの上限は Firecrawl が 30 秒、直接 HTTP が 10 秒でした。この非対称性は実施方法の既知の制約です。その影響がどちらの方向に働くかは確認されていません。Firecrawl は、同じタイムアウト条件で再検証する予定だとしています。

自分のサイトで確認できること

結果を自分の検査の読み解きに役立ててください。以下は実務上の提案であり、パイロット調査で測定した効果ではありません。

アドレスが HTTP 200 を返す

応答本文を読み、期待するテキストや Markdown ファイル、アプリケーションシェル、エラーメッセージのどれかを確認します。その後、見出しとリンクを調べてファイル自体を評価してください。

リクエストがリダイレクトされる

最終アドレスと返された内容を確認します。調査の拡張子ルールは検出基準であり、転送の有用性やページの正常動作を判定する一般的な基準ではありません。

リクエストが拒否される、またはタイムアウトする

「ファイルなし」とは別の結果として記録します。アクセス失敗を残し、必要に応じて再検査してください。後日の応答はアクセス可能性を明らかにできますが、過去のサイトの状態を再現するものではありません。

ファイルが認識される

内容とリンクの有用性、正確性を確認します。検出だけではエージェントによる利用を証明できません。引用、検索での可視性、回答品質に関する主張には別の測定が必要です。

公開ファイルを取得して応答を確認するか、手元のテキストを検証してください。これらのツールは独自の検査を行い、過去のパイロットを再実行するものではありません。公開と利用の違いについては 公開と利用は別のことを参照してください。

方法と制約

標本は 100 万ドメインを含む Tranco リストから決定論的に選びました。同じリストに同じルールを適用すると同じ選択を再現できます。各リクエストは、選ばれたホストそのものの /llms.txt を HTTPS で検査します。www の別形、HTTP、ドキュメント用サブドメイン、その他のパスは追加検索しません。

認識には、HTML ではないテキストまたは Markdown の成功応答と、コードブロックの外に少なくとも一つの H1 見出しが必要です。Markdown の H1 は # 見出し のような最上位の見出しで、コードブロックはコード例や文字列をそのまま表示する領域です。これは研究の検出基準であり、形式全体の適合性認証ではありません。

元の検出器は、コードブロック内の H1 をファイルの見出しと誤認する可能性がありました。Firecrawl は該当ロジックを再検証し、認識された 192 ファイルのいずれも影響を受けていなかったと確認しました。Firecrawl によると、189 ファイルは保存データで確認でき、残る 3 ファイルは再取得してチェックサムで 9 月 2 日の元の応答とバイト単位で同一であることを確認したうえで、結果を変えずに再分類しました。# Page not found で始まるテキストエラーページという別のケースも、Firecrawl によれば陽性結果に影響していません。

また、**192 ファイル中 174（90.63%）**で先頭の H1 を記録しました。これらの構造指標は、191 ファイルでは Firecrawl が抽出した表現、1 ファイルでは直接 HTTP の内容に基づきます。内容の品質やエージェントにとっての有用性を測るものではありません。

異なるタイムアウト条件から、特定ツールの優位性は結論づけられません。観測は、検索での可視性、引用、回答品質に対する確かな効果も示していません。これらには別の測定が必要で、今後の報告の検討対象となります。

出典と役割

**2,000 ドメインを対象とした llms.txt パイロットの結果、2026 年 9 月、Firecrawl 提供。**主な観測日は 9 月 2 日です。Firecrawl は研究パートナーとして、件数、分類、その検証情報を提供しています。これには 2026 年 9 月 16 日の確認も含まれます。llmtxt.info は、割合の計算を含む分析と解釈に責任を負います。研究協力の明記は、Firecrawl がすべての表現を承認したことを意味しません。

このページは結果と計算方法を示しています。詳細な観測記録は協力関係の中で保管され、公開していないため、この公表内容から各分類を個別に検証することはできません。

• Tranco：研究向けのドメインランキング。抽出の枠組みを説明するリンクであり、パイロットのデータセットではありません。

結果への質問は、サイトの訂正ページをご利用ください。

**引用方法：**llmtxt.info、llms.txt ファイルの検出：2,000 ドメインの分析結果。研究パートナー：Firecrawl。観測日：2026 年 9 月 2 日。数値を引用する際は、計算の分母と分類上の制約も併記してください。