دليل llms-full.txt: ما هو، ومتى يُستخدم، وكيفية إنشائه
llms-full.txt ملف مصاحب لـ llms.txt يضم محتوى صفحتك الكامل. إليك ماهيته والمشكلة التي يحلها ومتى يستحق الجهد.
آخر تحديث:
ما هو llms-full.txt؟
llms-full.txt هي اتفاقية مصاحبة يستخدمها بعض ناشري التوثيق. ولا يحددها مقترح llmstxt.org
V2 الحالي. بينما llms.txt
يقدم قائمة منتقاة من الروابط إلى أهم صفحاتك، llms-full.txt يتقدم خطوة أخرى: فهو يضمّن
المحتوى الفعلي لتلك الصفحات مباشرةً داخل الملف.
الهدف هو منح أنظمة استرجاع الذكاء الاصطناعي النص الكامل لمجموعة وثائقك في ملف واحد، من دون مطالبتها باتباع الروابط وإجراء طلبات HTTP إضافية لجلب كل صفحة. وبالنسبة إلى مواقع التوثيق الكبيرة، يمكن أن يقلل ذلك كثيراً عدد طلبات الشبكة اللازمة لتحميل المحتوى كسياق للذكاء الاصطناعي.
llms-full.txt يُنشر في /llms-full.txt في جذر نطاقك، إلى جانب /llms.txt الملف.
llms-full.txt مقابل llms.txt
| السمة | llms.txt | llms-full.txt |
|---|---|---|
| المحتوى | روابط لصفحات مع أوصاف قصيرة | روابط إلى الصفحات + محتوى الصفحات الكامل مضمّناً |
| حجم الملف | صغير (عادةً أقل من 50 KB) | قد يكون كبيراً (مئات الكيلوبايتات إلى عدة ميغابايتات) |
| حالة الاستخدام | الاكتشاف والتنقيح | تسليم المجموعة الكاملة للاسترجاع |
| خطر التقادم | منخفض، مجرد روابط | أعلى، ويجب إعادة توليد المحتوى الكامل عند تغير الصفحات |
| سلوك الزاحف | يتبع الزاحف الروابط لجلب الصفحات | يمكن للزاحف قراءة المحتوى الكامل من ملف واحد |
| حالة المواصفة | موصوف في اقتراح v2 على llmstxt.org | اتفاقية نشر منفصلة لا يعرّفها الإصدار v2 |
التنسيق والبنية
لا يوجد مخطط موحّد واحد لـ llms-full.txt. غالباً ما تجمع التطبيقات المحتوى من
الصفحات بصيغة Markdown، لكن عناوينها وفواصلها وبياناتها الوصفية قد تختلف.
مثال مبسط يوضح البنية:
# Acme Documentation
> Acme is a REST API for inventory management.
## Documentation
- [Quickstart](https://docs.acme.example/quickstart/): getting started guide.
## Quickstart content
# Getting started with Acme
Welcome to Acme. This guide walks you through your first API call.
## Prerequisites
You will need an Acme account and an API key. Sign up at acme.example...
[... full page content ...]
- [API reference](https://docs.acme.example/api/): complete endpoint reference.
## API reference content
# API Reference
All endpoints accept JSON and return JSON. Authentication uses the Authorization header...
[... full API reference content ...]
عملياً، يختلف التنسيق الدقيق لتضمين المحتوى حسب التنفيذ. والمبدأ الأساسي هو إدراج النص الكامل
لكل صفحة مرتبطة في الملف حتى يتمكن العميل الذي يقرأ llms-full.txt لا يحتاج إلى إجراء
طلبات إضافية.
متى تستخدمه
llms-full.txt يكون منطقياً عندما:
- لديك مجموعة كبيرة من الوثائق الذي تريد أن تتمكن أنظمة الذكاء الاصطناعي من تحميله كاملاً من دون الزحف إلى مئات الصفحات. والتوثيق التقني لأدوات المطورين هو المثال الأوضح.
- يسأل المساعدون بالذكاء الاصطناعي كثيراً عن محتواك وتريد أن يملك أولئك المساعدون معلومات كاملة وحديثة من دون تقريب مستمد من بيانات التدريب.
- أنت تنشئ مسارات RAG التي تحتاج إلى استيعاب وثائقك. وغالباً ما يكون ملف نصي واحد كبير أسهل معالجة من جلب HTML وتحليله من عناوين URL فردية كثيرة.
- توثيقك منشأ تلقائياً ويمكنك إضافة
llms-full.txtالإنشاء في خطوة البناء نفسها التي تنشئ التوثيق ذاته.
llms-full.txt أقل فائدة لـ:
-
المواقع الصغيرة التي تقل صفحاتها عن 10 إلى 15 صفحة، يكون فيها
llms.txtمع الروابط المباشرة كافٍ. - المواقع ذات المحتوى الذي يتغير كثيراً يصبح ملف النص الكامل فيها قديماً بسرعة أكبر ويصعب إبقاؤه محدثاً.
- مواقع التسويق أو التحرير التي تكون فيها الصياغة الدقيقة لكل صفحة أقل أهمية من مواد المرجع التقني.
من يستخدمه
الـ llms-full.txt شاع هذا العرف أساساً بفضل Mintlify، وهي منصة توثيق تستخدمها شركات عديدة
موجهة للمطورين. وتولّد Mintlify تلقائياً كلاً من
llms.txt و llms-full.txt لمواقع التوثيق المستضافة على منصتها. وعند بناء
موقع توثيق ونشره، يُولّد ملف النص الكامل من مصدر Markdown نفسه الذي يشغّل الوثائق المعروضة.
وهذا يعني أن جزءاً مهماً من llms-full.txt ملفات llms.txt الموجودة فعلياً مولّدة بواسطة
Mintlify. وقد اعتمدت منصات توثيق أخرى ومسارات توثيق مخصصة هذه الاتفاقية أيضاً، لا سيما تلك التي تستخدمها
الشركات التي تبدأ من API.
يمكن ضبط مسار استرجاع أو مساعد برمجي لقراءة llms-full.txt كمجموعة واحدة. ولا يبين النشر
وحده أن منتجاً مسمى يجلبه تلقائياً.
التحفظات والمقايضات
قبل النشر llms-full.txt، ضع هذه المفاضلات في الاعتبار:
- حجم الملف. قد يصل مخزون توثيق كامل بسهولة إلى عدة ميغابايتات. وهذا مناسب للوصول المباشر إلى الملف، لكن العملاء الذين يحتاجون إلى تحميل الملف كله في نافذة سياق نموذج لغة سيقيَّدون بحدود طول السياق. وقد تحتاج الملفات الكبيرة جداً إلى التقسيم أو التلخيص قبل الاستخدام.
- التقادم. في كل مرة تحدّث فيها صفحة في توثيقك، فإن
llms-full.txtيحتاج إلى إعادة توليد. وإذا لم تُعدّده مسارات البناء لديك تلقائياً، فسيتباعد الملف عن وثائقك الفعلية. وقد تكون ملفات النص الكامل المتقادمة أكثر ضرراً منllms.txtلأنها تحتوي على محتوى كاملاً قد يقتبس منه الذكاء الاصطناعي حرفياً. - لا تجلبه كل الزواحف.
llms-full.txtهي اتفاقية لا معيار. ولا تبحث كل زواحف الذكاء الاصطناعي أو أطر الوكلاء عنها تحديداً. وسيكتشفها كثير منها كملف عادي، لكنه قد لا يتعامل معها بمنطق خاص. - عرض النطاق الترددي. إذا كان موقعك يتلقى حركة مهمة من زواحف الذكاء الاصطناعي، فإن تقديم ملف متعدد الميغابايت عند كل زحف يضيف تكاليف نطاق ترددي. فكّر في رؤوس التخزين المؤقت لتقليل الجلب المتكرر.
كيفية إنشاء واحد
النهج الأكثر موثوقية هو إنشاء llms-full.txt وقت البناء من المصدر نفسه الذي يولّد وثائقك.
والعملية العامة هي:
- ابدأ بـ
llms.txtبوصفه بنية جدول المحتويات. -
لكل صفحة مرتبطة في
llms.txt, اجلب محتوى مصدر Markdown أو اقرأه. - ألحق المحتوى الكامل أسفل الرابط المقابل في الملف.
- أخرج الملف الكامل إلى
/llms-full.txtفي دليلك العام.
إذا كنت تستخدم منصة توثيق تدعم ذلك (مثل Mintlify)، فقد يحدث هذا تلقائياً بالفعل. راجع توثيق منصتك لمعرفة دعم llms.txt.
إذا كنت تنشئ مولّداً مخصصاً، فأبقِ مصدر Markdown نظيفاً: بلا HTML غير ضروري، ولا آثار بناء، ولا مقدمة ينبغي ألا تظهر في الإخراج. الهدف هو نص واضح سهل القراءة يستطيع نظام ذكاء اصطناعي معالجته مباشرةً.
واصل القراءة
- مرجع llms-full.txt, والاتفاقية المصاحبة ومقايضاتها.
- llms.txt لمنتجات API, حيث يضيف llms-full.txt أكبر قيمة.
- llms.txt لمواقع التوثيق، دليل التنفيذ لمنصات التوثيق.
- المدقّق، تحقّق من llms.txt قبل إنشاء llms-full.txt.