من يجلب llms.txt؟ الوكلاء، لا زواحف البحث الذكية

التفصيل المقاس

صنفت Ahrefs كل وكيل مستخدم طلب /llms.txt عبر 137,210 نطاقًا خلال مايو 2026، ووزعتها على اثنتي عشرة فئة. ولم يتلقَّ أي طلب سوى 3% من نحو 38,000 ملف مقبول، أي نحو 1,100 ملف في هذه العينة التقنية. ويصف التفصيل أدناه تلك الطلبات، لا المجتمع الكامل ولا ما استخدمه نموذج في النهاية.

تعلو أربع فئات على كل فئة فردية من فئات الذكاء الاصطناعي:

| الفئة | حصة الطلبات | | ––––––––––– | —————– | | أدوات تدقيق SEO | 21.7% | | أخرى وغير محددة | 14.9% | | برامج زحف الويب العامة | 13.1% | | أدوات تصنيف التقنية | 11.6% |

تمثل روبوتات الذكاء الاصطناعي المسماة مجتمعة 19.5% من الطلبات. وعند تقسيمها بحسب وظيفتها، تصبح الصورة أوضح بكثير:

| نوع روبوت الذكاء الاصطناعي | الحصة | | ———————————— | —– | | الوكلاء الذكيون والبنية التحتية الوكيلة | 10.5% | | برامج زحف تدريب الذكاء الاصطناعي | 5.3% | | المساعدات الذكية | 2.5% | | روبوتات الاسترجاع الذكية | 1.1% |

وتأتي 12% إضافية من قطاع يدرس هذا العرف بدل استهلاكه: أدوات تسجيل GEO وAEO بنسبة 5.8%، وماسحات وأدلة llms.txt المتخصصة بنسبة 3.6%، وبرامج زحف البحث بنسبة 2.7%.

توضح مقارنة واحدة حجم الفرق: جلب Slackbot، وهو روبوت لمعاينة الروابط، ملفات llms.txt بوتيرة أعلى من PerplexityBot.

يتصدر الوكلاء عمليات الجلب المقاسة للذكاء الاصطناعي

الصف الأخير من الجدول الثاني هو ما ينبغي التوقف عنده. فقد شكّلت روبوتات الاسترجاع الذكية، وهي برامج الزحف التي تجلب الصفحات للإجابة عن سؤال مستخدم مباشر في منتج بحث ذكي مثل OAI-SearchBot وPerplexityBot، نسبة 1.1% من جميع الطلبات المقاسة . وتذكر Ahrefs أن OAI-SearchBot وPerplexityBot وبرنامج زحف البحث لدى Claude نفذت مجتمعةً بضع مئات فقط من عمليات الجلب.

في الوقت نفسه، شكل الوكلاء الذكيون والبنية التحتية التي تخدمهم 10.5%، وجلب Claude-Code ملفات أكثر من كل روبوتات الاسترجاع وكل المساعدات وكل برامج زحف التدريب في مجموعة البيانات.

يتوافق هذا مع ما قالته Google ولا يناقضه. وكما نوضح في هل تستخدم Google ملف llms.txt, قال John Mueller علنًا إن أي خدمة ذكاء اصطناعي لم تقل إنها تستخدم الملف، وقارنه بوسم الكلمات المفتاحية الوصفي: إنه ادعاء من مالك الموقع عن موقعه، يستطيع نظام التحقق منه بتكلفة أقل بقراءة الموقع مباشرة.

تأتي برامج زحف التدريب في المرتبة الثانية بين فئات الذكاء الاصطناعي بنسبة 5.3%، وتجلب llms.txt بمعدل يقارب خمسة أضعاف روبوتات الاسترجاع. وإذا كان للملف أي تأثير، فتشير البيانات إلى المنبع، عند بناء المجموعة، لا إلى لحظة إعداد الإجابة.

ما يعنيه ذلك لما تكتبه

إذا كان المستهلك المقصود وكيل برمجة يعمل نيابةً عن مطور، فهناك عدة حدوس معتادة تكون خاطئة.

الصفحات التسويقية هي الإدخالات الخاطئة. فالوكيل الذي يُسأل «كيف أصادق على هذا API؟» يحتاج إلى صفحة المرجع ورموز الأخطاء ومثال عامل. ولن تساعده صفحة الأسعار لديك. وتعرض أفضل ممارساتنا الحالة العامة، بينما تجعلها بيانات القراءة ملموسة.

البنية تتغلب على الاتساع. فـالمواصفة فهرس منظم، وليست خريطة موقع. والملف الذي يسرد أربعين صفحة لا يوفر للوكيل شيئًا، لأنه سيظل مضطرًا إلى الاختيار. أما اثنا عشر إدخالًا موصوفًا جيدًا فتؤدي الغرض.

تحمل الأوصاف الإشارة. وصف كل رابط هو الشيء الوحيد الذي يراه الوكيل قبل أن يقرر إنفاق عملية جلب. وعبارة «مرجع API» تكاد تكون عديمة الفائدة. أما «نقاط نهاية REST وترويسات المصادقة وحدود المعدل ورموز الخطأ» فهي قرار توجيه.

ضع في اعتبارك llms-full.txt إذا كانت وثائقك هي المنتج. عندما يكون الهدف الأساسي تسليم الوكيل المحتوى بدل خريطة، يوجد الملف المرافق لهذا الغرض؛ راجع ما هو llms-full.txt.

وكما في النتيجة التي تناولناها في لا يبحث أي وكيل ذكاء اصطناعي عن llms.txt الخاص بك، لا يهم أي من ذلك حتى يخبر شيء ما الوكيل بوجود الملف.

كل رقم هنا سقف

توضح Ahrefs هذه النقطة صراحةً، وينبغي تكرارها بدل دفنها: يثبت الطلب في السجل أن عميلًا استرجع البايتات، لكنه لا يثبت أن النموذج قرأها أو استخدمها أو تخلص منها. لذلك فإن حصتهم البالغة 19.5% للذكاء الاصطناعي هي القراءة الأكثر سخاءً لاستهلاك الذكاء الاصطناعي، وليست تقديرًا له.

يميل مجتمعهم أيضًا إلى التقنية لأنه مستمد من عملائهم في التحليلات، ولذلك يعرضون نسبة التبني البالغة 28% بوصفها حدًا أعلى. أما لوحة التبني لدينا فتقيس مجتمعًا مختلفًا تمامًا، ولا تجوز مقارنتها بها.