- [ الرئيسية ](/ar/) / - [ المدونة ](/ar/blog/) / - llms.txt مقابل robots.txt # `llms.txt` مقابل robots.txt: ما الفرق؟ ملفان، ووظيفتان مختلفتان. ينشر أحدهما قواعد إرشادية للزحف، بينما يقدّم الآخر خريطة منسّقة. ولا يشكّل أيٌّ منهما آلية للتحكم في الوصول. آخر تحديث: 12 أغسطس 2026 في هذه الصفحة - [ الإجابة القصيرة ](#overview) - [ ما الذي يفعله robots.txt ](#robots-txt) - [ ما الذي يفعله llms.txt ](#llms-txt) - [ مقارنة جنباً إلى جنب ](#comparison) - [ لماذا يتكاملان ](#complementary) - [ الأسئلة الشائعة ](#faq) ## الإجابة القصيرة **robots.txt** ينشر قواعد زحف للعملاء المتوافقين مثل Googlebot أو Bingbot. ويبلّغ عناوين URL التي ينبغي أو لا ينبغي جلبها، لكنه ليس تفويضاً ولا تحكماً تقنياً في الوصول. **llms.txt** إنه طبقة سياق. ويخبر نماذج لغة الذكاء الاصطناعي بالصفحات الأكثر فائدة في موقعك لفهم ما تفعله. ولا يمثل آلية للتحكم في الوصول إطلاقاً، ولا يمنح إذن الزحف ولا يمنعه. إنه قائمة قراءة منتقاة مكتوبة بـ Markdown، اقترحها Jeremy Howard في سبتمبر 2024 لدى Answer.AI. لا يستبدل أي من الملفين الآخر. فهما يعملان على طبقتين مختلفتين من مكدس الويب ويخدمان جمهورين مختلفين. ## ما الذي يفعله robots.txt الـ `robots.txt` يعيش الملف في جذر نطاق (`/robots.txt`) ويستخدم بروتوكول استبعاد الروبوتات (REP) للتواصل بشأن أذونات الزحف. ويبدو الإدخال النموذجي هكذا: ``` User-agent: Googlebot Disallow: /private/ Allow: / ``` الخصائص الأساسية لـ robots.txt: - **الجمهور:** زواحف الويب من جميع الأنواع، وروبوتات محركات البحث، وزواحف تدريب الذكاء الاصطناعي، ومدققات الروابط، وروبوتات الأرشفة. - **التنسيق:** نص عادي. أزواج مفتاح وقيمة تستخدم صياغة محددة (User-agent وAllow وDisallow وCrawl-delay وSitemap). - **الغرض:** سياسة الزحف. فهي تخبر الزواحف المتوافقة بما ينبغي وما لا ينبغي جلبه. - **الأثر:** لن تطلب برامج الزحف المتوافقة عناوين URL المحظورة. وقد تتجاهلها برامج الزحف غير المتوافقة. - **حالة المواصفة:** اتفاقية صناعية معتمدة على نطاق واسع؛ ونُشرت نشرة معلوماتية من IETF (RFC 9309) في 2022. - **ما الذي لا يفعله:** لا يخبر robots.txt الزواحف بمعنى محتواك، أو أهم صفحاتك، أو السياق الذي ينبغي استخدامها عند الإجابة عن أسئلة تخصك. ملاحظة robots.txt إرشادي وليس مفروضاً تحترم الزواحف المتوافقة robots.txt بحكم العرف، لا بفرض تقني. ولا توجد آلية من جهة الخادم تحظر الروبوتات الممنوعة تلقائياً. وإذا احتجت إلى تحكم فعلي في الوصول، فاستخدم المصادقة أو قوائم IP المسموح بها أو قواعد من جهة الخادم. ## ما الذي يفعله llms.txt مثال `llms.txt` يمكن أن يكون الملف في جذر النطاق أو في مسار أكثر تحديداً مثل `/docs/llms.txt`. إنه مستند Markdown، وليس ملف إعدادات على هيئة أزواج مفتاح وقيمة. ويبدو الملف الصالح الأدنى هكذا: ``` # My Product > A short, factual description of what this site is about. ## Documentation - [Getting started](https://example.com/docs/start/): first steps for new users. - [API reference](https://example.com/docs/api/): complete endpoint documentation. ## Optional - [Blog](https://example.com/blog/): articles and updates. ``` الخصائص الأساسية لملف llms.txt: - **الجمهور:** وكلاء متوافقون، ومسارات RAG، وأدوات مطوّرين تدعم الاتفاقية صراحةً. - **التنسيق:** Markdown. عنوان مطلوب (H1)، ووصف اقتباس اختياري، وأقسام H2 تتضمن قوائم روابط Markdown. - **الغرض:** السياق والاختيار التحريري. فهو يوجّه العملاء المتوافقين إلى موارد منتقاة، لكنه لا يضمن دقة الإجابات أو استخدامها لاحقاً. - **الأثر:** تستخدم الأدوات التي تقرأ llms.txt الملف نقطة بداية لجلب محتواك. ولا يمنح الوصول ولا يقيّده. - **حالة المواصفة:** اقتراح مجتمعي، وليس معياراً لـ IETF أو W3C. ويصونه Jeremy Howard على llmstxt.org. - **ما الذي لا يفعله:** لا يتحكم llms.txt في من يمكنه الزحف إلى موقعك. ولا يحسن ترتيبك في Google. وليس بديلاً عن robots.txt. ## مقارنة جنباً إلى جنب السمة robots.txt llms.txt الموقع /robots.txt /llms.txt أو مسار محدد النطاق التنسيق نص عادي، أزواج مفتاح وقيمة Markdown الجمهور الأساسي كل زواحف الويب عملاء الذكاء الاصطناعي/LLM وأطر عمل الوكلاء وظيفة قواعد زحف إرشادية السياق والاختيار التحريري (ما ينبغي قراءته) هل يفرض الوصولَ على برامج الزحف؟ لا لا هل يؤثر في ترتيب Google؟ بصورة غير مباشرة (فمنع الزحف يحول دون الفهرسة) لا معيار رسمي؟ IETF RFC 9309 اقتراح المجتمع (llmstxt.org) سنة التقديم 1994 2024 الأقسام المطلوبة User-agent + Disallow/Allow عنوان H1 (كل شيء آخر اختياري) ## لماذا يتكاملان يمكن أن تتعايش طبقة سياسة الزحف وطبقة خريطة الموارد الاختيارية من دون تعارض. ويبدو النشر المتأني هكذا: - **استخدم robots.txt للتعبير عن تفضيلات الزحف.** إذا أردت أن تقرأ أنظمة الذكاء الاصطناعي المتوافقة محتواك، فتأكد من أنك لم تحظر وكلاء مستخدم زواحف الذكاء الاصطناعي عن طريق الخطأ في robots.txt. أضافت مواقع كثيرة حظراً شاملاً للروبوتات خلال جدل بيانات تدريب الذكاء الاصطناعي في 2023–2024؛ راجع قواعدك للتأكد من قدرة زواحف الاسترجاع المشروعة على الوصول إلى صفحاتك العامة، بخلاف زواحف التدريب إذا أردت التمييز بينها. - **استخدم llms.txt مع عميل متوافق محدد.** يمكن للخريطة أن تقدّم اختصاراً منسّقاً، لكن نشرها لا يثبت أن العميل يكتشفها أو يقرأها أو يتبعها. - **تأكد من أن llms.txt نفسه غير محظور.** إذا كان robots.txt لديك يمنع الروبوتات من جذر موقعك، فقد لا تتمكن من جلب `/llms.txt` كذلك. تحقّق من أن robots.txt لديك لا يمنع الوصول إلى الملف الذي تريد أن تقرأه أنظمة الذكاء الاصطناعي. مثال فحص سريع أجرِ تحققاً من ملف llms.txt باستخدام أداة التحقق في llmtxt.info ، ثم افحص حالة llms.txt لنطاقك للتأكد من إمكانية الوصول إليه. وقارن ذلك مع ## الأسئلة الشائعة ### هل يستبدل llms.txt ملف robots.txt؟ لا. ينشر robots.txt قواعد إرشادية للزحف للعملاء المتوافقين، بينما يقدّم llms.txt خريطة منسّقة للوكلاء المتوافقين. استخدم أي ملف للمشكلة التي يحلها فعلاً فقط. ### هل يمكنني استخدام llms.txt لحجب زواحف الذكاء الاصطناعي؟ لا. لا يملك llms.txt وظيفة للتحكم في الوصول. ولحجب زواحف ذكاء اصطناعي محددة، أضف سلاسل وكلاء المستخدم إليها في قواعد Disallow في robots.txt. مثال لحجب GPTBot: ``` User-agent: GPTBot Disallow: / ``` لا يُقرأ llms.txt بوصفه مستند صلاحيات. ولا يمنح نشره الزواحف أي وصول إضافي لم يكن متاحاً لها من قبل. ### هل تحترم زواحف الذكاء الاصطناعي robots.txt؟ ينشر الموفّرون إرشادات robots.txt الخاصة بالزواحف، لكن REP يظل استشارياً. `Disallow` توضح القاعدة النية للعملاء المتوافقين. وإذا كان يجب ألا يُجلب المحتوى، فاحمه بالمصادقة أو سياسة الشبكة أو التفويض من جهة الخادم. ## واصل القراءة - [llms.txt مقابل robots.txt مقابل sitemap.xml](/ar/comparison/)، مقارنة ثلاثية كاملة. - [شرح زواحف الذكاء الاصطناعي](/ar/blog/ai-crawlers-explained/), وكيف يعمل GPTBot وClaudeBot وPerplexityBot. - [كيفية إنشاء llms.txt](/ar/how-to-create/)، خطوة بخطوة مع قوالب. - [المدقّق](/ar/validator/)، تحقّق من ملف llms.txt الحالي لديك. ## المصادر - [ llmstxt.org، اقتراح المجتمع ](https://llmstxt.org/) - [ Google، مرجع robots.txt ](https://developers.google.com/search/docs/crawling-indexing/robots/intro) - [ Jeremy Howard، اقتراح llms.txt (Answer.AI) ](https://www.answer.ai/posts/2024-09-03-llmstxt.html)