- [ ホーム ](/ja/) / - [ ブログ ](/ja/blog/) / - llms.txt 対 robots.txt # `llms.txt` と robots.txt の違いは？ 2つのファイルには、それぞれ異なる役割があります。一方は勧告的なクロール規則を公開し、もう一方はキュレーションされたマップを提供します。どちらもアクセス制御の仕組みではありません。 最終更新: 2026年8月12日 このページの内容 - [ 短い回答 ](#overview) - [ robots.txtの役割 ](#robots-txt) - [ llms.txt の機能 ](#llms-txt) - [ 並列比較 ](#comparison) - [ なぜ補完関係にあるのか ](#complementary) - [ よくある質問 ](#faq) ## 短い回答 **robots.txt** は、GooglebotやBingbotなどの準拠クライアント向けにクロールルールを公開します。 取得すべきURLと取得すべきでないURLを伝えますが、認証や技術的な アクセス制御ではありません。 **llms.txt** はコンテキスト層です。サイト上のどのページが、何をしているかを理解するうえで最も役立つかをAI言語モデルに伝えます。アクセス制御の仕組みではなく、クロールを許可したり拒否したりするものでもありません。Markdownで書かれた厳選済みの推薦ページ一覧で、2024年9月にAnswer.AIのJeremy Howardが提案しました。 どちらのファイルももう一方を置き換えるものではありません。Web スタックの異なる層で動作し、異なる読者に役立ちます。 ## robots.txtの役割 `robots.txt` ファイルはドメインのルート（`/robots.txt`）に配置され、Robots Exclusion Protocol（REP）を使用してクロール許可を伝えます。一般的な記述例は次のとおりです： ``` User-agent: Googlebot Disallow: /private/ Allow: / ``` robots.txt の主な特徴： - **対象読者：** あらゆる種類の Web クローラー、検索エンジン bot、AI 学習用クローラー、リンクチェッカー、アーカイブ bot。 - **形式:** プレーンテキスト。定義済みの構文（User-agent、Allow、Disallow、Crawl-delay、Sitemap）を使用するキーと値の組です。 - **目的：** クロールポリシー。準拠クローラーが取得すべきもの、取得すべきでないものを示します。 - **効果:** 準拠したクローラーは、Disallowed URL をリクエストしません。非準拠のクローラーは これを無視する場合があります。 - **標準の状態:** 広く採用された業界慣行であり、IETF の情報 RFC（RFC 9309）が 2022 年に公開されています。 - **行わないこと：** robots.txtは、コンテンツの意味、最も重要なページ、またはクローラーがあなたに関する質問へ答える際に使うべき文脈を伝えるものではありません。 注記 robots.txt は助言であり、強制ではありません 準拠するクローラーが robots.txt を尊重するのは慣例によるもので、技術的に強制されるからではありません。許可されていないボットを自動的に遮断するサーバー側の仕組みはありません。実際のアクセス制御が必要なら、認証、IP 許可リスト、サーバー側ルールを使用してください。 ## llms.txt の機能 A `llms.txt` ファイルはドメインルート、またはより具体的なパス（例： `/docs/llms.txt`。これはMarkdown文書であり、キーと値からなる設定ファイルではありません。最小限の有効なファイルは次のようになります。 ``` # My Product > A short, factual description of what this site is about. ## Documentation - [Getting started](https://example.com/docs/start/): first steps for new users. - [API reference](https://example.com/docs/api/): complete endpoint documentation. ## Optional - [Blog](https://example.com/blog/): articles and updates. ``` llms.txtの主な特徴： - **対象読者：** この慣例に明示的に対応するエージェント、RAGパイプライン、開発者ツール。 - **形式:** Markdown。必須のタイトル（H1）、任意の引用文による説明、そして Markdownリンク一覧を含むH2セクション。 - **目的：** コンテキストとキュレーション。互換性のあるクライアントを選定されたリソースへ案内しますが、回答の正確性や下流での利用を保証するものではありません。 - **効果:** llms.txtを読み込むツールは、これをコンテンツを取得するための出発点として利用します。 アクセスを許可したり制限したりするものではありません。 - **標準の状態:** コミュニティ提案です。IETF や W3C の標準ではありません。Jeremy Howard が llmstxt.org で管理しています。 - **行わないこと：** llms.txt は、誰があなたのサイトをクロールできるかを制御するものではありません。また、 Google の検索順位を向上させるものでもありません。robots.txt の代替となるものでもありません。 ## 並列比較 属性 robots.txt llms.txt 場所 /robots.txt /llms.txt または対象範囲を限定したパス 形式 プレーンテキスト、キーと値のペア Markdown 主な対象読者 すべてのWebクローラー AI/LLM クライアントとエージェントフレームワーク 機能 助言的なクロール規則 コンテキストとキュレーション（読むべきもの） クロールアクセスを強制するか？ いいえ いいえ Googleのランキングに影響するか？ 間接的に影響（クロールをブロックするとインデックス登録を妨げる） いいえ 正式な標準？ IETF RFC 9309 コミュニティ提案（llmstxt.org） 導入年 1994 2024 必須セクション User-agent + Disallow/Allow H1タイトル（それ以外はすべて任意） ## なぜ補完関係にあるのか クロールポリシー層と任意のリソースマップ層は、競合せずに共存できます。慎重なデプロイは次のようになります： - **robots.txt でクロールの優先事項を示します。** 互換性のあるAIシステムにコンテンツを読ませたい場合は、robots.txtでAIクローラーのユーザーエージェントを誤ってブロックしていないことを確認してください。多くのサイトでは、2023～2024年のAI学習データをめぐる論争の際に包括的なボットブロックを追加しました。正当な取得クローラーが公開ページにアクセスできるよう、規則を見直してください。必要であれば、学習用クローラーとは区別できます。 - **明確に定義された互換クライアント向けにllms.txtを使用してください。** このマップはキュレーションされた近道を提供できますが、 公開しただけでは、クライアントがそれを発見、読解、またはリンク先へ移動することは証明されません。 - **llms.txt自体がブロックされていないことを確認してください。** robots.txt でボットが ルートディレクトリへのアクセスを禁止されている場合、ボットはページを取得できない可能性があります `/llms.txt` も同様です。AIシステムに読ませたいファイルへのアクセスをrobots.txtが妨げていないことを確認してください。 例 簡易チェック llmtxt.infoバリデーター で llms.txt を検証し、次に お客様のドメインの llms.txt のステータス 到達可能であることを確認します。AI クローラーがブロックされていないことを確認するため、robots.txt と相互参照します。 ## よくある質問 ### llms.txtはrobots.txtに取って代わるものですか？ いいえ。robots.txt は、従うクライアント向けの助言的なクロールルールを公開します。llms.txt は、 互換性のあるエージェントへのキュレーション済みの案内図を提供します。それぞれ、実際に解決する問題にだけ使ってください。 ### llms.txt で AI クローラーをブロックできますか？ いいえ。llms.txtにはアクセス制御機能がありません。特定のAIクローラーをブロックするには、ユーザーエージェント 文字列をrobots.txtのDisallowルールに追加します。たとえばGPTBotをブロックするには： ``` User-agent: GPTBot Disallow: / ``` llms.txt は権限文書として読み取られません。公開しても、クローラーが元から持っていない追加のアクセス権が与えられることはありません。 ### AIクローラーはrobots.txtに従いますか？ 各プロバイダーはクローラー別のrobots.txtガイダンスを公開していますが、REPは依然として勧告的なものです。 `Disallow` 規則は、準拠するクライアントに意図を伝えます。コンテンツを取得させてはならない場合は、認証、ネットワークポリシー、またはサーバー側の認可で保護してください。 ## 続きを読む - [llms.txt、robots.txt、sitemap.xml の比較](/ja/comparison/)、完全な 3 者比較。 - [AIクローラーの解説](/ja/blog/ai-crawlers-explained/)、GPTBot、ClaudeBot、PerplexityBotの仕組み。 - [llms.txtの作成方法](/ja/how-to-create/)、テンプレート付きで手順を追って説明します。 - [バリデータ](/ja/validator/)、既存の llms.txt ファイルを確認します。 ## ソース - [ llmstxt.org、コミュニティによる提案 ](https://llmstxt.org/) - [ Google、robots.txtリファレンス ](https://developers.google.com/search/docs/crawling-indexing/robots/intro) - [ Jeremy Howardによるllms.txt提案（Answer.AI） ](https://www.answer.ai/posts/2024-09-03-llmstxt.html)