llms-full.txtとは何か、いつ使うか、どのように作成するか
llms-full.txtは、ページの全文をインライン化するllms.txtの関連ファイルです。ここでは、その概要、解決する問題、導入する価値がある場合を説明します。
最終更新:
llms-full.txt とは何ですか？
llms-full.txt は一部のドキュメント提供元が使用する関連規約です。現在のllmstxt.org v2提案では定義されていません。一方、
llms.txt
は最も重要なページへの厳選されたリンク一覧を提供しますが、 llms-full.txt はさらに踏み込み、
それらのページの実際のコンテンツをファイルへ直接インライン化します。
目的は、リンクをたどって各ページを取得する追加の HTTP リクエストなしに、AI 検索システムへドキュメントコーパスの全文を 1 つのファイルで渡すことです。大規模なドキュメントサイトでは、AI コンテキストとしてコンテンツを読み込むために必要なネットワークリクエスト数を大幅に減らせます。
llms-full.txt は以下で公開されています /llms-full.txt をドメインのルートに、通常の
/llms.txt ファイル。
llms-full.txtとllms.txtの比較
| 属性 | llms.txt | llms-full.txt |
|---|---|---|
| コンテンツ | 簡単な説明が記載されたページへのリンク | ページへのリンク＋インライン化されたページ全文 |
| ファイルサイズ | 小さい（通常は 50 KB 未満） | 大きくなる場合がある（数百 KB から数 MB） |
| ユースケース | 発見とキュレーション | 検索用コーパス全文の提供 |
| 陳腐化のリスク | 低い、リンクだけです | 上位版の全文は、ページ変更時に再生成する必要があります |
| クローラの挙動 | クローラーはリンクをたどってページを取得する | クローラーは 1 つのファイルから完全な内容を読めます |
| 仕様ステータス | llmstxt.orgのv2提案で説明されています | v2では定義されていない、別個の公開慣例 |
形式と構造
これに関する単一の標準化されたスキーマは存在しない。 llms-full.txt.
一般的な実装ではページ内容を Markdown
として連結しますが、見出し、区切り、メタデータは実装ごとに異なる場合があります。
構造を示す簡略化された例：
# Acme Documentation
> Acme is a REST API for inventory management.
## Documentation
- [Quickstart](https://docs.acme.example/quickstart/): getting started guide.
## Quickstart content
# Getting started with Acme
Welcome to Acme. This guide walks you through your first API call.
## Prerequisites
You will need an Acme account and an API key. Sign up at acme.example...
[... full page content ...]
- [API reference](https://docs.acme.example/api/): complete endpoint reference.
## API reference content
# API Reference
All endpoints accept JSON and return JSON. Authentication uses the Authorization header...
[... full API reference content ...]
実際には、コンテンツ埋め込みの正確な形式は実装によって異なります。重要な原則は、リンク先ページごとの全文をファイルに含め、これを読むクライアントが
llms-full.txt は追加のリクエストを行う必要がありません。
使用すべき場合
llms-full.txt 以下の場合に理にかなっている：
- 大規模なドキュメントコーパスをお持ちです を、AIシステムが何百ものページをクロールせずに完全に読み込めるようにしたい場合。最も明確な例は、開発者向けツールの技術ドキュメントです。
- AIアシスタントであなたのコンテンツに関する質問が頻繁に行われる があり、それらのアシスタントに、学習データからの推測ではなく、完全で最新の情報を提供したい場合。
- RAGパイプラインを構築しています ドキュメントを取り込む必要がある場合。単一の 大規模なテキストファイルは、多数の個別のURLからHTMLを取得して解析するよりも、処理が容易な場合が多い。
- ドキュメントが自動生成されている また、以下を追加することもできます
llms-full.txtドキュメント自体を生成するビルドステップと同じビルドステップで生成する。
llms-full.txt は、次の用途にはあまり適していません：
-
10–15ページ未満の小規模サイトでは、通常の
llms.txtに直接リンクがあれば十分です。 - コンテンツが非常に頻繁に変わるサイトでは、全文ファイルがより早く古くなり、最新状態を保つのが難しくなります。
- 各ページの正確な文言が技術リファレンス資料ほど重要ではない、マーケティングサイトや編集サイト。
利用者
llms-full.txt という慣例は、開発者向け企業で広く使われているドキュメントプラットフォームのMintlifyによって主に普及しました。Mintlifyは
llms.txt および llms-full.txt ドキュメントサイト向けに提供されています。
ドキュメントサイトをビルドしてデプロイすると、フルテキストファイルは、表示用ドキュメントを支えるのと同じMarkdown
ソースから生成されます。
これは、 llms-full.txt 世の中にある llms-full.txt ファイルのかなりの部分は Mintlify が生成したものです。その他のドキュメントプラットフォームや独自のドキュメントパイプラインもこの慣行を採用しており、特に
API を中心に構築された企業で使われています。
検索パイプラインやコーディングアシスタントは、 llms-full.txt を 単一のコーパスとして提供します。公開しただけでは、特定の製品が自動取得することは示せません。
注意点とトレードオフ
公開する前に llms-full.txt、以下のトレードオフを考慮してください：
- ファイルサイズ。 。完全なドキュメントコーパスは、容易に数MBへ達します。ファイルへ直接アクセスする用途なら問題ありませんが、ファイル全体を言語モデルのコンテキストウィンドウに読み込むクライアントは、コンテキスト長の制限を受けます。非常に大きなファイルは、使用前に分割または要約が必要になる場合があります。
- 古さ。 ドキュメント内のページを更新するたびに、
llms-full.txtは再生成する必要がある。ビルドパイプラインが自動的に 再生成しない場合、ファイルは実際のドキュメントと乖離する。古い全文ファイルは、古い よりも潜在的に有害であるllms.txtAIが逐語的に引用する可能性のある完全なコンテンツが含まれるためです。 - すべてのクローラーが取得するわけではありません。
llms-full.txtは標準ではなく慣例です。すべてのAIクローラーやエージェントフレームワークがこれを明示的に探すわけではありません。通常のファイルとして見つけても、特別なロジックで扱わない場合があります。 - 帯域幅。 サイトにAIクローラーからのトラフィックが大量に流入する場合、クロールごとに数メガバイト規模の ファイルを配信すると、帯域幅のコストが増加します。冗長な取得を減らすために、ヘッダーのキャッシュを検討してください。
作成方法
最も信頼性の高いアプローチは、以下を生成することです。 llms-full.txt を、ドキュメントを生成する同じソースからビルド時に生成します。
一般的な手順：
- 通常の
llms.txtを目次構造として使用します。 -
llms.txtにリンクされた各ページの Markdown ソースを取得または読み込みます。 - ファイル内の対応するリンクの下に、完全なコンテンツを追加します。
- 完全なファイルを出力先
/llms-full.txtパブリックディレクトリ内。
ドキュメントプラットフォームが対応している場合（Mintlify など）、これはすでに自動的に行われている可能性があります。llms.txt の対応について、プラットフォームのドキュメントを確認してください。
独自のジェネレーターを構築する場合は、Markdownソースを簡潔に保ち、不要なHTML、ビルド成果物、出力に含めるべきでないフロントマターを入れないでください。目標は、AIが直接処理できる明快で読みやすい文章です。
続きを読む
- llms-full.txt リファレンス、付随する規約とその トレードオフ。
- API製品向けのllms.txt、ここで llms-full.txt が最大の価値をもたらします。
- ドキュメントサイト向けの llms.txt, ドキュメントプラットフォーム向けの実装ガイドです。
- バリデータ、llms-full.txtを生成する前に、llms.txtを確認してください。