llms.txtとrobots.txt、sitemap.xml、llms-full.txtの比較

要約

両者を置き換えることはできません。 robots.txt 準拠するクライアントが適用できるクロールルールを公開する。 sitemap.xml 検索エンジンに存在するものを伝える。 llms.txt 互換性のあるクライアント向けに、厳選されたリソースマップを提供します。 llms-full.txt は実際のコンテンツを提供します。

比較表

Quick reference. See sections below for the nuances.
基準	robots.txt	sitemap.xml	llms.txt	llms-full.txt
主な目的	準拠するクローラー向けのクロール指示	検索エンジンによるページの発見	LLMクライアント向けに整理されたマップ	LLM取り込み用のインラインコーパス
対象読者	Webクローラー（Googlebot、Bingbot、GPTBot…）	検索エンジン	互換性のあるエージェントおよびLLMクライアント	全文を必要とするLLMクライアント
形式	プレーンテキスト、独自 REP 文法	XML	Markdown	Markdown（連結済み）
標準規格？	はい、IETF RFC 9309（2022年）	はい、sitemaps.org	コミュニティ提案、llmstxt.org	コミュニティ提案、llmstxt.org
必須？	いいえ、ただし推奨	いいえ、ただし大規模なサイトには推奨されます	いいえ	いいえ
アクセスやインデックス登録を強制するか？	いいえ（allow / disallow はクローラーへの指示です）	いいえ（単なる発見のヒント）	いいえ	いいえ
アプローチ	除外	発見（網羅的に行う）	選別（厳選する）	インライン化（全文を提供）
ファイルパス	`/robots.txt`	`/sitemap.xml` （または robots.txt で指定されている URL）	`/llms.txt`、または `/docs/llms.txt` のような対象範囲を限定したパス	`/llms-full.txt`

llms.txt 対 robots.txt

robots.txt です。robots.txt は、クローラーへの指示ファイルで、 クローラー指示ファイル 次のように標準化された IETF RFC 9309。これはRobots Exclusion Protocolの文法（User-agent, Disallow, Allow, Sitemap) は、準拠するクローラーが取得すべきパス、または取得すべきでないパスを表現するためのものです。アクセスを強制するものではなく、認証レイヤーでもありません。

llms.txt は 正反対の意図: 肯定的な推奨リストです。誰かをブロックせず、アクセスを許可せず、サイト上の他のものをクローラーが取得するかどうかにも影響しません。ただ、「LLM クライアントなら、ここが品質の高い部分です」と伝えるだけです。

実務上は、引き続き robots.txt をクロール設定とサイトマップの発見に使用します。実際のアクセス制限には、認証またはネットワーク制御を使用してください。さらに llms.txt 継続的な読者層と目的がある場合に限り、補足として扱うこと。

llms.txtとsitemap.xmlの比較

sitemap.xml は 完全性: 検索エンジンに知らせたいすべてのURLと、メタデータ（lastmod, priority、代替言語）も含みます。XML形式で機械専用、多くの場合は自動生成されます。

llms.txt は キュレーション：LLMが最初に読むべきページをまとめた小さなMarkdownリストです。サイトマップを置き換えるものではありません。通常は数十件を超えるURLを含みませんが、コンテンツ量の多いサイトのサイトマップには数十万件が掲載されることがあります。

を sitemap.xml をディレクトリ、 llms.txt 図書館員が厳選した「推奨読書リスト」として。

llms.txtとllms-full.txtの比較

同じ系列、異なる役割：

llms.txt は map: タイトル付きリンクの一覧。
llms-full.txt は領域: それらの（およびその他の）ページの実際のコンテンツを、Markdown形式で1つのファイルに結合したもの。

llms-full.txt Mintlify と Anthropic の協業によってこの慣行が広まりました。開発者やツールに、統合されたドキュメントコーパスへの 1 つの URL を渡せます。この便利さは、鮮度、サイズ、プロンプトインジェクションへの露出と照らして検討する必要があります。

公開 llms.txt 、厳選したマップが実際のタスクを解決する場合。追加します llms-full.txt テキストの一括取り込みが明示的な要件である場合に限る。

llms.txt 対 schema.org / JSON-LD

Schema.org は、 個々のページ JSON-LDまたはマイクロデータ形式で。検索エンジンやその他のソフトウェアは、これを用いて構造化された事実（製品の価格、レシピの材料、FAQの質問と回答など）を抽出します。

llms.txt は1段上のレベルで機能します。これは サイト全体のマップであり、ページ単位の情報補強ではありません。両者は補完関係にあります。Schema.orgはLLMにページが何であるかを伝えます 何であるか; llms.txt どのページを最初に確認すべきかを指定します。

組み合わせ方

公開するのは両方 robots.txt および sitemap.xml SEO のために従来どおり行います。
ルートまたはパス単位の llms.txt を、明確に定義された互換クライアント向けに追加します。
任意で追加します llms-full.txt 。サイトがドキュメントや知識コンテンツ中心の場合に適しています。
robots.txtでは、 /llms.txt および /llms-full.txt にアクセスできるようにしてください（ Disallow それら).
維持します schema.org マークアップは、適切な個別ページ（Product、FAQ、 Articleなど）に残します。

`llms.txt`とrobots.txt、sitemap.xml、llms-full.txtの違い

要約

比較表