エージェントがllms.txt v2リソースを発見する仕組み

alternate は HTML ページからクリーンな Markdown 表現へ案内します。describedby は、そのページから最も具体的に適用できる llms.txt へ案内します。両者を合わせると、パスを推測せずに V2 のリソースを発見できますが、それを実装したクライアントだけが動作します。

重要なポイント

• 到達可能だったサンプルページ 286 件のうち 31 件が Markdown を示していました。
• 4 件が HTML または HTTP の Link ヘッダーで rel="describedby" を示していました。
• 発見されたことは、利用、引用、Google のランキング効果を意味しません。

2 つの発見シグナルとは何ですか？

HTML ページには、同じ主要情報を含む Markdown 表現への <link rel="alternate" type="text/markdown" href="..."> を追加できます。そのページを対象とするマップへの <link rel="describedby" href=".../llms.txt"> も追加できます。

提案では、同等の HTTP Link ヘッダーも認めています。ヘッダーは HTML 以外のリソースに便利ですが、HTML のほうが共有レイアウトから確認・生成しやすいものです。絶対 URL または正しく解決される URL を使い、両方のリソースに到達できるようにし、古い変換を宣伝しないでください。

294 ページでは何が公開されていましたか？

8月12日のベンチマークでは、H1 を先頭に持つ 113 件のルートレスポンスから、リンクされたページを各 3 件まで抽出しました。294 ページをリクエストし、286 ページに到達しました。到達可能だったページのうち 31 件が Markdown の別表現を示し、4 件が rel="describedby" を示しました。検出器は HTML と HTTP Link ヘッダーの両方を確認しました。

この結果は、この特定のサンプルについて日付付きの基準値を確立します。残りのページに宣伝されていない URL で Markdown がないことを示すものではなく、各ホストのすべてのページを対象にもしていません。集計と方法論は v2-adoption-stats.json で公開されています。

関係を安全に実装する方法

HTML と同じソースから Markdown を生成します。末尾スラッシュのルートでは、V2 は index.md または index.html.md の表現を提案しています。検索向けの正規ページは HTML のままにし、Markdown は競合する編集ページではなく別表現として扱います。

describedby を範囲に応じて解決します。英語のプロダクトページなら /llms.txt、ドキュメントページなら /docs/llms.txt、ローカライズされたセクションなら固有のパス別ファイルを使えます。テンプレート変数だけでなく、最終的にビルドされた HTML をテストします。

CI に、別表現の欠落、200 以外のリソース、誤った MIME タイプ、意図した範囲外を指す関係のチェックを追加します。バリデーターはファイル構文を確認し、V2 移行チェックリストは展開順序を扱います。

これらの関係ではできないこと

クローラーにリソースの取得を強制したり、robots の制御を上書きしたり、非公開情報を安全に公開したり、検索順位を改善したりすることはできません。Google は、生成機能のために特別な AI テキストファイルを検索で使わないと明言しています。

実際の効果は、もっと限定的です。互換エージェントは、標準 Web リンクを使って、よりクリーンな表現と厳選されたマップを発見できます。それ以上を主張する前に、ログでリクエストを測定してください。

背景を知るには、llms.txt とは何かから始め、関係を本番の実例と比較します。

rel="describedby" は必須ですか？

いいえ。これは V2 提案の発見メカニズムの一部であり、ファイル構文の最低要件ではありません。

HTML の代わりに HTTP ヘッダーを使えますか？

はい。提案では両方を説明しています。確実に生成してテストできる層を選んでください。

Markdown は自分自身を正規 URL にすべきですか？

検索向けには、HTML ページを正規の公開ドキュメントとして維持します。Markdown リソースはソースを明確に示し、内容が同等であるべきです。