llms.txt وrobots.txt: الزحف والفهرسة والسياق

هذا الفرق مهم عند تحديد ما ستنشره، وما ستسمح لبرامج الزحف بجلبه، وما ينبغي أن يظهر في البحث. تقييد الزحف ليس وسيلة موثوقة لإزالة عنوان URL من Google. وقائمة الموارد لا تضمن أن خدمة ذكاء اصطناعي ستكتشف محتواك أو تستخدمه.

الفروق باختصار

السؤال	robots.txt	llms.txt
ما المعلومات التي ينقلها؟	قواعد زحف لوكلاء مستخدم محددين.	موارد منتقاة وسياق للأدوات التي تدعم المقترح.
ما تنسيقه؟	نص عادي يتضمن توجيهات مثل `User-agent` و`Disallow`.	Markdown يتضمن عنوانًا وأقسامًا إضافية اختيارية.
أين يُوضَع؟	في `/robots.txt` عند جذر الأصل المعني.	في `/llms.txt` أو ضمن نطاق مسار مثل `/docs/llms.txt`.
هل يستند إلى معيار؟	بروتوكول استبعاد الروبوتات موصوف في وثيقة IETF RFC 9309.	مقترح مجتمعي منشور على llmstxt.org.
هل يفرض قيود الوصول تقنيًا؟	لا. يجب أن يلتزم برنامج الزحف بالقواعد.	لا. ليس مستندًا لمنح الأذونات.

للمقارنة الأوسع التي تشمل خرائط الموقع، راجع أدوار llms.txt وrobots.txt وsitemap.xml وllms-full.txt.

ما الذي ينظمه robots.txt فعليًا؟

يعبّر robots.txt عن قواعد الزحف. وتحدّد وثيقة RFC 9309، المنشورة في سبتمبر 2022 ضمن مسار المعايير لدى IETF (Standards Track)، هذا البروتوكول وتفصل صراحةً بين قواعده والتفويض بالوصول.

على سبيل المثال، يطلب هذا الملف من Googlebot عدم الزحف إلى عناوين URL الواقعة تحت /archive/:

User-agent: Googlebot
Disallow: /archive/

وتظل المسارات الأخرى بلا قيود لهذا الوكيل. هذه تعليمات لبرنامج الزحف، وليست قواعد على الخادم تمنع الزائر أو أي عميل آخر من جلب الصفحة.

للملف نطاق محدد أيضًا. فملف https://example.com/robots.txt لا يحدّد تلقائيًا قواعد جميع النطاقات الفرعية أو البروتوكولات. وتصف Google النطاق بحسب المضيف والبروتوكول والمنفذ. يدعم محلّلها user-agent وallow وdisallow وsitemap، لكنه لا يدعم crawl-delay. راجع وثائق برنامج الزحف المقصود بدلًا من افتراض أن كل توجيه يعمل في كل مكان. انظر مواصفة robots.txt لدى Google.

منع الزحف لا يساوي منع الفهرسة

يمكن أن تكتشف Google عنوان URL محظورًا من خلال رابط وأن تفهرسه دون الزحف إلى محتواه. لذلك توضّح إرشادات Google حول robots.txt أن منع الزحف ليس وسيلة موثوقة لإبقاء صفحة خارج نتائج البحث.

للصفحة العامة التي ينبغي ألا تظهر في بحث Google، استخدم وسيلة مناسبة للتحكم في الفهرسة، مثل noindex. يجب أن تتمكن Google من الزحف إلى الصفحة حتى ترى قاعدة noindex فيها. وقد يمنع حظر عنوان URL نفسه في robots.txt ذلك. تدعم Google استخدام noindex في HTML الصفحة أو في ترويسة استجابة HTTP، وليس كتوجيه في robots.txt. وتعتمد الإزالة على جلب Google للقاعدة ومعالجتها؛ فإضافتها لا تُحدث تحديثًا فوريًا. راجع تعليمات Google بشأن noindex.

للمحتوى السري، استخدم المصادقة أو آلية أخرى للتحكم في الوصول يفرضها الخادم. لا يجعل robots.txt ولا noindex المستندَ المتاح للعامة خاصًا.

ما الذي يضيفه llms.txt؟

llms.txt خريطة موارد اختيارية للأدوات التي تدعمه. يصف مقترح llms.txt ملف Markdown يتضمن عنوان H1 إلزاميًا؛ أما الوصف والأقسام الأخرى فاختيارية.

على سبيل المثال، يشير هذا الملف التوضيحي إلى دليلين على موقعنا:

# llmtxt.info

> أدلة حول llms.txt وتنسيقه وحدوده.

## الأدلة
- [إنشاء ملف llms.txt](https://llmtxt.info/ar/how-to-create/): دليل عملي للإعداد.
- [مقارنة ملفات اكتشاف الموارد](https://llmtxt.info/ar/comparison/): الأدوار المختلفة لأربعة ملفات ويب.

يوضّح المثال البنية باستخدام صفحات ويب موجودة. ويوصي المقترح بالربط إلى محتوى ملائم للوكلاء، مثل نسخ Markdown النظيفة حين تتوافر.

يسمح نص المقترح v2، المحدّث في 10 أغسطس 2026، بوضع الملفات ضمن نطاقات مسار: يغطي /docs/llms.txt الصفحات داخل /docs/، ويُطبَّق الملف ذو النطاق الأكثر تحديدًا. هذا وصف للسلوك المقترح، وليس دليلًا على أن عميلًا بعينه يطبّقه.

نشر الملف لا يثبت أن وكيلًا عثر عليه أو قرأ الصفحات المرتبطة أو استخدمها في إجابة. لتطبيق مفيد، حدّد العميل المقصود واختبر سير العمل المعني. ولا يمنح الملف نفسه حق الوصول أو يتجاوز robots.txt.

هل يحسّن llms.txt الترتيب في Google؟

تقول Google إنها لا تستخدم llms.txt في البحث، وإن الملف لا يحسّن الظهور أو الترتيب، بما في ذلك ميزات الذكاء الاصطناعي التوليدي. راجع دليل Google لتحسين المواقع لميزات الذكاء الاصطناعي التوليدي. يخص هذا التصريح بحث Google؛ ولا يحدّد كيفية تعامل كل أداة ذكاء اصطناعي أخرى مع الملف.

للبحث والتدريب وطلبات المستخدمين سياسات مختلفة

خذ اسم برنامج الزحف وغرضه في الحسبان عند اتخاذ القرار. تميّز وثائق برامج الزحف لدى OpenAI بين OAI-SearchBot للبحث وGPTBot للتدريب المحتمل للنماذج. وإعداداتهما في robots.txt مستقلة.

تبدو قاعدة robots.txt التي تطلب من GPTBot عدم الزحف إلى الموقع كما يلي:

User-agent: GPTBot
Disallow: /

تستهدف هذه القاعدة GPTBot؛ وليست حظرًا شاملًا لكل تفاعل مع الذكاء الاصطناعي. وتذكر OpenAI أيضًا أن قواعد robots.txt قد لا تنطبق على الطلبات التي يبدأها المستخدم عبر ChatGPT-User. لذلك فإن القول إن robots.txt يمنع كل وصول للذكاء الاصطناعي أوسع مما تدعمه الوثائق. لمزيد من السياق حول قراءة هذه السياسات، راجع شرح برامج زحف الذكاء الاصطناعي.

كيفية استخدام الملفين معًا

ابدأ بالنتيجة التي تحتاجها. حدّد تفضيلات الزحف في robots.txt، وتعامل مع الاستبعاد من البحث باستخدام وسائل التحكم في الفهرسة الموثّقة لدى محرك البحث، واحمِ المواد الخاصة على الخادم.

أضف llms.txt عندما يكون لديك أداة محددة تستخدمه أو سير عمل محدد له. اجعل قائمة القراءة محدودة بما يمكنك صيانته، واربط إلى وثائق عامة دقيقة، وتحقّق من أن العميل المقصود يستطيع الوصول إلى الملف والموارد المرتبطة. يغطّي دليل إنشاء ملف llms.txt الإعداد والنشر.

بعد أي تغيير، افحص الاستجابات الفعلية وسلوك العميل. قد يساعد فحص البنية في مراجعة الملف، لكنه لا يثبت أن خدمة خارجية تستخدمه أو أن الإجابة دقيقة. يمكن البدء بهذه المراجعة عبر أداة التحقق من llmtxt.info؛ أما الاكتشاف والجلب والاستخدام اللاحق، فكل منها يحتاج إلى أدلته الخاصة.

`llms.txt` وrobots.txt: ما الفرق؟