llms.txt と robots.txt の違いは？
2つのファイルには、それぞれ異なる役割があります。一方は勧告的なクロール規則を公開し、もう一方はキュレーションされたマップを提供します。どちらもアクセス制御の仕組みではありません。
最終更新:
短い回答
robots.txt は、GooglebotやBingbotなどの準拠クライアント向けにクロールルールを公開します。 取得すべきURLと取得すべきでないURLを伝えますが、認証や技術的な アクセス制御ではありません。
llms.txt はコンテキスト層です。サイト上のどのページが、何をしているかを理解するうえで最も役立つかをAI言語モデルに伝えます。アクセス制御の仕組みではなく、クロールを許可したり拒否したりするものでもありません。Markdownで書かれた厳選済みの推薦ページ一覧で、2024年9月にAnswer.AIのJeremy Howardが提案しました。
どちらのファイルももう一方を置き換えるものではありません。Web スタックの異なる層で動作し、異なる読者に役立ちます。
robots.txtの役割
robots.txt ファイルはドメインのルート（/robots.txt）に配置され、Robots
Exclusion Protocol（REP）を使用してクロール許可を伝えます。一般的な記述例は次のとおりです：
User-agent: Googlebot
Disallow: /private/
Allow: /robots.txt の主な特徴：
- 対象読者： あらゆる種類の Web クローラー、検索エンジン bot、AI 学習用クローラー、リンクチェッカー、アーカイブ bot。
- 形式: プレーンテキスト。定義済みの構文（User-agent、Allow、Disallow、Crawl-delay、Sitemap）を使用するキーと値の組です。
- 目的： クロールポリシー。準拠クローラーが取得すべきもの、取得すべきでないものを示します。
- 効果: 準拠したクローラーは、Disallowed URL をリクエストしません。非準拠のクローラーは これを無視する場合があります。
- 標準の状態: 広く採用された業界慣行であり、IETF の情報 RFC（RFC 9309）が 2022 年に公開されています。
- 行わないこと： robots.txtは、コンテンツの意味、最も重要なページ、またはクローラーがあなたに関する質問へ答える際に使うべき文脈を伝えるものではありません。
llms.txt の機能
A llms.txt ファイルはドメインルート、またはより具体的なパス（例：
/docs/llms.txt。これはMarkdown文書であり、キーと値からなる設定ファイルではありません。最小限の有効なファイルは次のようになります。
# My Product
> A short, factual description of what this site is about.
## Documentation
- [Getting started](https://example.com/docs/start/): first steps for new users.
- [API reference](https://example.com/docs/api/): complete endpoint documentation.
## Optional
- [Blog](https://example.com/blog/): articles and updates.llms.txtの主な特徴：
- 対象読者： この慣例に明示的に対応するエージェント、RAGパイプライン、開発者ツール。
- 形式: Markdown。必須のタイトル（H1）、任意の引用文による説明、そして Markdownリンク一覧を含むH2セクション。
- 目的： コンテキストとキュレーション。互換性のあるクライアントを選定されたリソースへ案内しますが、回答の正確性や下流での利用を保証するものではありません。
- 効果: llms.txtを読み込むツールは、これをコンテンツを取得するための出発点として利用します。 アクセスを許可したり制限したりするものではありません。
- 標準の状態: コミュニティ提案です。IETF や W3C の標準ではありません。Jeremy Howard が llmstxt.org で管理しています。
- 行わないこと： llms.txt は、誰があなたのサイトをクロールできるかを制御するものではありません。また、 Google の検索順位を向上させるものでもありません。robots.txt の代替となるものでもありません。
並列比較
| 属性 | robots.txt | llms.txt |
|---|---|---|
| 場所 | /robots.txt | /llms.txt または対象範囲を限定したパス |
| 形式 | プレーンテキスト、キーと値のペア | Markdown |
| 主な対象読者 | すべてのWebクローラー | AI/LLM クライアントとエージェントフレームワーク |
| 機能 | 助言的なクロール規則 | コンテキストとキュレーション（読むべきもの） |
| クロールアクセスを強制するか？ | いいえ | いいえ |
| Googleのランキングに影響するか？ | 間接的に影響（クロールをブロックするとインデックス登録を妨げる） | いいえ |
| 正式な標準？ | IETF RFC 9309 | コミュニティ提案（llmstxt.org） |
| 導入年 | 1994 | 2024 |
| 必須セクション | User-agent + Disallow/Allow | H1タイトル（それ以外はすべて任意） |
なぜ補完関係にあるのか
クロールポリシー層と任意のリソースマップ層は、競合せずに共存できます。慎重なデプロイは次のようになります：
- robots.txt でクロールの優先事項を示します。 互換性のあるAIシステムにコンテンツを読ませたい場合は、robots.txtでAIクローラーのユーザーエージェントを誤ってブロックしていないことを確認してください。多くのサイトでは、2023～2024年のAI学習データをめぐる論争の際に包括的なボットブロックを追加しました。正当な取得クローラーが公開ページにアクセスできるよう、規則を見直してください。必要であれば、学習用クローラーとは区別できます。
- 明確に定義された互換クライアント向けにllms.txtを使用してください。 このマップはキュレーションされた近道を提供できますが、 公開しただけでは、クライアントがそれを発見、読解、またはリンク先へ移動することは証明されません。
- llms.txt自体がブロックされていないことを確認してください。 robots.txt でボットが
ルートディレクトリへのアクセスを禁止されている場合、ボットはページを取得できない可能性があります
/llms.txtも同様です。AIシステムに読ませたいファイルへのアクセスをrobots.txtが妨げていないことを確認してください。
よくある質問
llms.txtはrobots.txtに取って代わるものですか？
いいえ。robots.txt は、従うクライアント向けの助言的なクロールルールを公開します。llms.txt は、 互換性のあるエージェントへのキュレーション済みの案内図を提供します。それぞれ、実際に解決する問題にだけ使ってください。
llms.txt で AI クローラーをブロックできますか？
いいえ。llms.txtにはアクセス制御機能がありません。特定のAIクローラーをブロックするには、ユーザーエージェント 文字列をrobots.txtのDisallowルールに追加します。たとえばGPTBotをブロックするには：
User-agent: GPTBot
Disallow: /llms.txt は権限文書として読み取られません。公開しても、クローラーが元から持っていない追加のアクセス権が与えられることはありません。
AIクローラーはrobots.txtに従いますか？
各プロバイダーはクローラー別のrobots.txtガイダンスを公開していますが、REPは依然として勧告的なものです。
Disallow 規則は、準拠するクライアントに意図を伝えます。コンテンツを取得させてはならない場合は、認証、ネットワークポリシー、またはサーバー側の認可で保護してください。
続きを読む
- llms.txt、robots.txt、sitemap.xml の比較、完全な 3 者比較。
- AIクローラーの解説、GPTBot、ClaudeBot、PerplexityBotの仕組み。
- llms.txtの作成方法、テンプレート付きで手順を追って説明します。
- バリデータ、既存の llms.txt ファイルを確認します。