llms.txt مقابل robots.txt وsitemap.xml وllms-full.txt

الخلاصة

لا يمكن استبدال أحدها بالآخر. robots.txt ينشر قواعد زحف يمكن للعملاء المتوافقين تطبيقها. sitemap.xml يخبر محركات البحث بما هو موجود. llms.txt يقدّم للعملاء المتوافقين خريطة موارد منتقاة. llms-full.txt يسلّمها المحتوى الفعلي.

مصفوفة جنباً إلى جنب

llms.txt مقابل robots.txt

robots.txt هو ملف تعليمات الزاحف موحّداً في IETF RFC 9309. فهي تستخدم قواعد بروتوكول استبعاد الروبوتات (User-agent, Disallow, Allow, Sitemap) للتعبير عن المسارات التي ينبغي للزواحف المتوافقة أو لا ينبغي لها جلبها. ولا يفرض الوصول وليس طبقة تفويض.

llms.txt هو النية المعاكسة: قائمة توصيات إيجابية. وهي لا تمنع أحداً ولا تمنح وصولاً ولا تؤثر في جلب زاحف لأي شيء آخر على موقعك. إنها تقول فقط: إذا كنت عميل نموذج لغة كبير، فهذه هي المجموعة عالية الجودة.

الأثر العملي: واصل استخدام robots.txt لتفضيلات الزحف واكتشاف خريطة الموقع. استخدم المصادقة أو ضوابط الشبكة لفرض قيود فعلية على الوصول. أضف llms.txt بوصفه مكملاً فقط عندما يكون له جمهور وغرض تتم صيانتهما.

llms.txt مقابل sitemap.xml

sitemap.xml يهدف إلى الشمول: فهو يسرد كل عنوان URL تريد أن يعرفه محرك البحث، إلى جانب البيانات الوصفية (lastmod, priority, اللغات البديلة). وهو XML مخصص للآلة، وغالباً ما يُنشأ تلقائياً.

llms.txt يهدف إلى التنقيح: قائمة Markdown صغيرة بالصفحات التي ينبغي لنموذج اللغة الكبير قراءتها أولاً. وهي لا تستبدل خريطة موقعك. ونادراً ما تضم أكثر من بضع عشرات من عناوين URL، بينما قد تسرد خريطة موقع في موقع كثيف المحتوى مئات الآلاف.

فكّر في sitemap.xml كدليل و llms.txt كرفّ للقراءة الموصى بها منسّق بواسطة أمين مكتبة.

llms.txt مقابل llms-full.txt

العائلة نفسها، والدور مختلف:

• llms.txt هو خريطة: قائمة روابط معنونة.
• llms-full.txt هو النطاق: المحتوى الفعلي لتلك الصفحات وغيرها، مضمّناً بصيغة Markdown في ملف واحد.

الـ llms-full.txt عمّمت Mintlify الاتفاقية بالتعاون مع Anthropic. ويمكنها منح مطوّر أو أداة عنوان URL واحداً لمجموعة وثائق موحدة. ويجب موازنة هذه الراحة مع الحداثة والحجم والتعرض لحقن المطالبات.

انشر llms.txt عندما تحل خريطة منسّقة مهمة حقيقية. أضف llms-full.txt فقط عندما يكون الاستيعاب النصي الجماعي مطلباً صريحاً.

llms.txt مقابل schema.org / JSON-LD

Schema.org مفردات لوصف معنى الصفحات الفردية في JSON-LD أو microdata. وتستخدم محركات البحث والبرامج الأخرى ذلك لاستخراج حقائق منظمة: سعر المنتج ومكونات الوصفة وأسئلة FAQ وإجاباتها.

llms.txt يعمل على مستوى أعلى بدرجة واحدة: إنه خريطة على مستوى الموقع، وليس إثراءً لكل صفحة. ويكمّل أحدهما الآخر. وتخبر Schema.org نموذج اللغة الكبير بماهية الصفحة هو; llms.txt يخبره بالصفحات التي ينبغي النظر إليها أولاً.

كيفية دمجهما

1. انشر كلاهما robots.txt و sitemap.xml كما تفعل بالفعل لتحسين SEO.
2. أضف ملفاً جذرياً أو محصوراً بالمسار llms.txt لعميل متوافق محدد.
3. أضف اختيارياً llms-full.txt إذا كان موقعك غنياً بالتوثيق أو المعرفة.
4. في robots.txt، واترك /llms.txt و /llms-full.txt متاحاً (لا Disallow لهم).
5. أبقِ schema.org صيغة في صفحات فردية حيث تكون مناسبة (Product وFAQ وArticle…).

Next

• كيف يعمل llms.txt، المواصفة بالتفصيل.
• أفضل الممارسات.
• الأسئلة الشائعة.