لم تفحص روبوتات الذكاء الاصطناعي ملفات llms.txt المفقودة في إحدى الدراسات

النتيجة

حللت Ahrefs سجلات خوادم 137,210 نطاقًا تلقت زيارات في مايو 2026، ثم صنفت كل وكيل مستخدم طلب مسار /llms.txt. وتبرز نتيجة واحدة عن سواها، وليست النتيجة التي يتصدر بها العنوان.

نظروا منفصلين في الطلبات التي أعادت 404 ، أي إن عميلًا طلب llms.txt غير موجود. وفي عينة مايو 2026، كانت حصة الطلبات الصادرة عن روبوتات ذكاء اصطناعي محددة صفرًا . جلبت الملفات المفقودة 98% من حركة بشرية، بينما جلبت الملفات المقبولة 96% من حركة الروبوتات. ولا تثبت السجلات سبب طلب كل إنسان لعنوان URL.

بعبارة أخرى، لم تلاحظ الدراسة أي روبوت ذكاء اصطناعي يحاول استكشاف ملف جذر مفقود. وهذا دليل يتعلق بهذه العينة وهذا الشهر، وليس دليلاً على أن أي نظام لا يقوم أبداً بعملية الاستكشاف.

تعيد هذه الصياغة عرض النتيجة الرئيسية للدراسة نفسها: لم يتلقَّ 97% من نحو 38,000 ملف llms.txt صالح عثروا عليه أي طلب على الإطلاق خلال ذلك الشهر، من أي عميل أو روبوت أو إنسان.

لماذا يغيّر هذا المهمة

النموذج الضمني لدى معظم الناس هو نموذج robots.txt: ضع الملف في الجذر، وستعرف برامج الزحف التي تطبق بروتوكول استثناء الروبوتات موقعه القياسي. وقد جرى إضفاء الطابع الرسمي على ذلك البروتوكول في RFC 9309, لكنه يظل عرفًا لبرامج الزحف لا وسيلةً للتحكم في الوصول.

ليس افتراضًا آمنًا بالنسبة إلى llms.txt. وكما نوضح في ما الذي يفعله llms.txt فعلًا, اقترح جيريمي هوارد هذا العرف في Answer.AI في سبتمبر 2024، كما يوضح الرابط. وتحدد مواصفة v2 علاقات الاكتشاف والملفات المحددة بالمسار، لكنها لا تلزم كل عميل بجلبها. ولم تلاحظ Ahrefs طلبات ذكاء اصطناعي استكشافية لملفات جذرية مفقودة في عينتها.

لذا فإن نشر الملف يمثل نصف العمل تقريبًا، وهو النصف الذي لا ينتج بحد ذاته أي عملية استرداد. أما النصف الآخر فهو جعل شيئًا ما يُعلم الوكيل بوجود الملف.

كيفية توجيه الوكلاء إلى الملف

ابدأ بآليات الاكتشاف التي حددتها v2، ثم أضف مسارات مرئية للبشر حيثما تكون مفيدة:

أعلن العلاقة. في صفحة HTML، أضف <link rel="describedby" href="/llms.txt"> للملف المنطبق، وأضف <link rel="alternate" type="text/markdown" href="..."> حيث توجد نسخة مقابلة بلغة Markdown. ويمكن إرسال العلاقات نفسها عبر ترويسات HTTP من نوع Link. كما يمكن لملف في مسار فرعي أن يصف ذلك القسم، مع تطبيق المسار الأكثر تحديدًا.

اربطه من HTML لديك. فوضع <a href="/llms.txt"> عادي في تذييل أو تنقل الوثائق يضع عنوان URL في شبكة الروابط المعتادة ويمنح الناس بديلًا مرئيًا.

أشر إليه في وثائقك. إذا كان لمنتجك موقع وثائق، فإن صفحة بعنوان «للمساعدات الذكية» أو «للوكلاء» وتذكر عنوان URL صراحةً تمنح وكيل البرمجة شيئًا يتصرف بناءً عليه عندما يسأل مطوّر عن واجهة API لديك. وجدت Ahrefs أن الوكلاء الذكيين والبنية التحتية الوكيلة أكبر فئة من فئات الذكاء الاصطناعي التي تجلب هذه الملفات، بنسبة 10.5% من الطلبات، متقدمةً بفارق كبير على روبوتات الاسترجاع الذكية البالغة 1.1%. وقد جلب Claude-Code ملفات أكثر من كل روبوتات الاسترجاع وكل المساعدات وكل برامج زحف التدريب في بياناتهم. تلك أدوات يوجّهها المطوّر إلى عنوان URL.

ضعه حيث توجد التعليمات. فأي موضع يسلّم فيه مستخدم أو تكامل وكيلًا سياقًا عن موقعك، مثل README أو صفحة تهيئة أو وصف خادم MCP، يمكن أن يحوّل تسمية عنوان llms.txt إلى مسار يمكن اكتشافه.

لا يتطلب أي من ذلك لمس الملف نفسه. وإذا لم تكن قد كتبته بعد، فتغطي كيفية إنشاء llms.txt الصيغة والنشر لكل مكدس، وتتحقق أداة التحقق منه مقابل المواصفة.

ما لا ينبغي استنتاجه

تحذيران صادقان، كلاهما ذكرتهما Ahrefs نفسها.

يميل مجتمعهم إلى التقنية والوعي بتحسين محركات البحث لأنه مستمد من عملائهم في التحليلات. ويصفون نسبة التبني البالغة 28% بأنها حد أعلى ، لا معدلًا للويب كله. أما لوحة التبني لدينا، فتتتبع قائمة ثابتة من مضيفين بارزين، وهي قياس مختلف لمجتمع مختلف ولا ينبغي مقارنتها مباشرةً.

كما أن «استرجاع» لا يعني «قراءة». فالطلب المسجل في سجل الخادم يثبت أن العميل استرجع البايتات، لكنه لا يثبت شيئًا بشأن ما إذا كان النموذج قد استخدمها بعد ذلك أم لا. ولذلك، فإن كل رقم في تلك الدراسة يمثل الحد الأقصى للاستهلاك الفعلي، وليس تقديرًا له.

تبقى الخلاصة العملية صحيحة رغم التحفظين. إذا نشرت llms.txt دون علاقة معلنة أو رابط أو مسار آخر إليه، فلا تمنح عينة Ahrefs سببًا لافتراض أن وكيلًا سيكتشفه من تلقاء نفسه. وإضافة إشارة اكتشاف قائمة على المعايير إصلاح صغير قابل للاختبار.