llms.txt と robots.txt：何が違う？
robots.txt は、ルールに従うクローラーに取得可能な URL を伝えます。llms.txt は、対応するツールに読むべき資料を選んで提示します。 それぞれ役割が異なり、どちらも非公開コンテンツを保護する仕組みではありません。
最終更新:
サイトを公開する際は、クロール、インデックス登録、ツールによるコンテンツの利用を区別する必要があります。クロールを制限しても、Google から URL を確実に削除できるわけではありません。また、資料一覧を用意しても、AI システムがそれを利用する保証にはなりません。
主な違いを比較
| 確認する点 | robots.txt | llms.txt |
|---|---|---|
| 目的は？ | ルールに従うクローラーに、取得してよい URL を伝える。 | 対応するツールに、読む価値のある資料を案内する。 |
| 形式は？ | User-agent、Allow、Disallow などのルールを記したプレーンテキスト。 | 見出し、説明、リンクを記した Markdown。 |
| 配置場所は？ | 対象のプロトコル、ホスト名、ポートに対応するルートの /robots.txt。 | 通常は /llms.txt。提案ではサブパスでの利用も定められている。 |
| 標準なのか？ | Robots Exclusion Protocol は RFC 9309 で定義されている。 | 提案であり、ウェブ全体に共通する必須要件ではない。 |
| アクセスを強制的に制御できる？ | できない。クローラーがルールを守ることに依存する。 | できない。権限の付与やアクセス制限を行うものではない。 |
サイトマップを含む幅広い比較については、llms.txt、robots.txt、sitemap.xml、llms-full.txt の役割を参照してください。
robots.txt が実際に制御すること
robots.txt はクロールのルールを宣言するファイルです。RFC 9309 は 2022 年 9 月に公開された IETF の標準化過程の文書（Standards Track）で、Robots Exclusion Protocol を定義しています。この文書では、クロールのルールとアクセスの認可を明確に区別しています。
例えば、次のように記述します。
User-agent: Googlebot
Disallow: /archive/
これは Googlebot に対し、/archive/ 配下の URL をクロールしないよう求めるルールです。この例では、Googlebot
に対して他のパスを制限していません。これはクローラーへの指示であり、訪問者や他のクライアントによるページの取得を防ぐサーバーのルールではありません。
ファイルの場所も重要です。Google のrobots.txt の概要では、サイトのルートに配置し、同じプロトコル、ホスト名、ポートにのみ適用されると説明しています。あるホストのファイルが、別のサブドメインや異なるプロトコルの URL に自動的に適用されるわけではありません。
クローラーによって実装も異なります。Google のrobots.txt の仕様によると、Google は user-agent、allow、disallow、sitemap などをサポートしていますが、crawl-delay はサポートしていません。ファイルに書けるからといって、どのクライアントもその指示に従うとは限りません。
クロールのブロックとインデックス登録の防止は別のこと
robots.txt でクロールをブロックした URL も、Google 検索に表示される場合があります。例えば、Google が他のページからのリンクで URL を発見しても、その内容は取得できないことがあります。
公開ページを Google 検索から除外したい場合は、Google のnoindex の手順を確認してください。クローラーはページにアクセスできなければ、HTML や HTTP
レスポンスヘッダーにある指示を読み取れません。robots.txt に noindex を記載する方法はサポートされていません。同時にクロールもブロックすると、ページ上の指示を
Google が確認できなくなる可能性があります。処理は即時ではありません。
非公開コンテンツには、認証などのサーバー側のアクセス制御が必要です。robots.txt も noindex も、プライバシーを保護する仕組みではありません。
llms.txt が加えるもの
llms.txt の提案は、対応するツールがサイトを理解し、有用な資料を見つけるための Markdown ファイルを説明しています。提案されている形式で必須なのは H1 見出しだけで、残りの構成は任意です。
次は説明用の例です。
# llmtxt.info
> llms.txt の形式と限界についてのガイド。
## ガイド
- [llms.txt ファイルを作成する](https://llmtxt.info/ja/how-to-create/): 実用的な設定ガイド。
- [資料を案内するファイルを比較する](https://llmtxt.info/ja/comparison/): 4 種類のウェブファイルの役割。
この例では HTML ページへのリンクを使っています。提案では、利用可能であれば、読みやすい Markdown 版など、エージェントが扱いやすい資料を案内することを勧めています。
2026 年 8 月 10 日に更新された v2 の提案では、対象範囲を限定したパスにファイルを配置できます。/docs/llms.txt は /docs/ 配下のページを対象とし、該当する中で最も具体的な範囲のファイルを適用するとしています。これは提案上の動作であり、特定のクライアントが実装済みである証拠にはなりません。
ファイルを公開しても、あるエージェントがそれを発見し、リンク先のページを読み、回答に利用したことは証明できません。有用な実装にするには、対象のクライアントを特定し、そのワークフローでテストしてください。ファイル自体がアクセスを許可したり、robots.txt より優先されたりすることはありません。
llms.txt は Google の順位を上げる？
Google の生成 AI 検索に関するガイドでは、Google 検索は llms.txt を利用せず、このファイルは表示機会や順位を改善しないと説明しています。これには生成 AI を使った検索機能も含まれます。
これは Google 検索についての説明であり、他の個々の AI ツールがファイルをどう扱うかを示すものではありません。
AI 検索、学習、ユーザーのリクエストでは方針が異なる
AI サービスは、目的ごとに異なるクライアントを使うことがあります。そのため、「AI をブロックする」という大まかな表現では不十分です。
OpenAI のクローラーに関する文書は、検索用の OAI-SearchBot と、モデルの学習に使われる可能性のあるコンテンツの収集に関係する
GPTBot を区別しています。サイト側では、それぞれのクロール設定を個別に指定できます。
例えば、次のルールは GPTBot にサイトをクロールしないよう求めます。
User-agent: GPTBot
Disallow: /
これは、そのクローラーに対する方針の一例です。AI に関連するすべてのアクセスをブロックできることを意味しません。
OpenAI は、ユーザーが開始したリクエストに使う ChatGPT-User も説明しています。この種類のアクセスには、robots.txt
のルールが適用されない場合があります。検索のクロール、学習に関連するクロール、ユーザーが直接求めたアクセスは、それぞれ分けて考える必要があります。
背景については、当サイトのAI クローラーガイドも参照できます。どのアクセスを許可するか決める際は、サービス提供元の最新の文書を確認してください。
2 つのファイルをどう使い分ける？
まず、必要な結果を明確にします。クロールの希望は robots.txt に設定し、検索からの除外には検索エンジンが文書で説明しているインデックス制御を使い、非公開の資料はサーバー側で保護します。
llms.txt を追加するのは、利用するツールやワークフローが明確な場合です。資料一覧を管理できる規模に保ち、正確な公開ドキュメントにリンクして、対象のクライアントがファイルとリンク先の資料の両方にアクセスできることを確認してください。当サイトのllms.txt 作成ガイドでは、準備と公開の手順を説明しています。
変更後は、実際のレスポンスとクライアントの動作を確認します。構文チェックはファイルの確認に役立ちますが、外部サービスが利用していることや、回答が正確であることは証明できません。llmtxt.info のバリデーターは確認を始める手段の一つです。発見、取得、その後の利用には、それぞれ別の証拠が必要です。