دراسة مشتركة · سبتمبر 2026
اكتشاف ملفات llms.txt: ماذا يبين تحليل 2,000 نطاق؟
تعرفت هذه الدراسة مع Firecrawl على 192 ملفًا ضمن 2,000 نطاق، وتوضح لماذا لا تغني استجابة HTTP الناجحة عن فحص المحتوى.
· llmtxt.info
ما الذي تقيسه الدراسة؟
يمكن للموقع نشر ملف نصي باسم llms.txt للتعريف بمحتواه وتوجيه الأدوات القائمة على النماذج اللغوية إلى صفحات مفيدة. لكن نشر الملف لا يضمن أن يعثر عليه نظام ذكاء اصطناعي أو يستخدمه.
قد ينجح الطلب إلى /llms.txt من دون أن يعيد الملف المتوقع. تبحث هذه الدراسة، المنفذة مع Firecrawl، هذا الفرق في 2,000 نطاق اختيرت من Tranco، وهو ترتيب لشعبية النطاقات صُمم لأغراض البحث. جُمعت الملاحظات الرئيسية في 2 سبتمبر 2026.
أدى الجمع بين الاستخراج باستخدام Firecrawl والفحص المباشر عبر HTTP إلى التعرف على 192 ملفًا، أي 9.60% من العينة، في العنوان المفحوص لكل نطاق. هذا قياس لاكتشاف الملفات، وليس لقراءتها بواسطة أنظمة الذكاء الاصطناعي أو تأثيرها في الظهور في البحث أو جودة الإجابات. جميع الأعداد الواردة أدناه مقدمة من شريك البحث؛ وتوضح فقرة المصادر والمساهمات دور كل طرف.
هذه الدراسة مستقلة عن مجموعة المواقع المنتقاة التي يفحصها المرصد دوريًا. يختلف مجتمع الدراسة وقواعد التعرف على الملفات، لذلك لا يجوز دمج النسب في الدراستين أو اعتبارها اتجاهًا زمنيًا.
ثلاث نتائج لفحص 2,000 نطاق
عرض قيم الرسم في جدول
| النتيجة | العدد | النسبة |
|---|---|---|
| ملفات تم التعرف عليها | 192 | 9.60% |
| قابلة للفحص دون ملف معروف | 1,226 | 61.30% |
| عناوين تعذر فحصها | 582 | 29.10% |
تم التعرف على ملف في 192 نطاقًا. وأمكن فحص 1,226 عنوانًا آخر من دون التعرف على ملف: أعاد 965 منها الحالة HTTP 404، التي تعني عدم العثور على المورد، ووقع 261 ضمن فئات أخرى.
تعذر فحص 582 عنوانًا متبقيًا. الحظر أو انتهاء مهلة الانتظار لا يثبت غياب الملف. لذلك لا يمكن اعتبار النطاقات البالغ عددها 1,808 التي لم يُتعرف فيها على ملف حالات غياب مؤكدة جميعها.
يمكن عرض النتيجة بطريقتين مفيدتين، بشرط توضيح أساس الحساب:
| أساس الحساب | الملفات المكتشفة | النسبة |
|---|---|---|
| جميع نطاقات العينة | 192 / 2,000 | 9.60% |
| العناوين القابلة للفحص فقط | 192 / 1,418 | 13.54% |
النسبة الثانية أعلى لأنها تستبعد العناوين غير المتاحة البالغ عددها 582، والتي قد تختلف منهجيًا عن العناوين المتاحة. أما عدد الملفات المعترف بها فيبقى ثابتًا. فترات ويلسون المحسوبة بمستوى ثقة 95% هي من 8.39% إلى 10.97% لجميع النطاقات البالغ عددها 2,000، ومن 11.86% إلى 15.42% للعناوين القابلة للفحص البالغ عددها 1,418. تصف هذه الفترات عدم اليقين الإحصائي وفق نموذج ذي حدين. وهي لا تشمل أخطاء التصنيف أو انحيازات الاختيار والوصول، ولا تمثل تقديرًا للويب بأكمله.
لماذا لا تكفي استجابة HTTP 200؟
تشير الحالة HTTP 200 إلى أن الخادم أعاد استجابة ناجحة، لكنها لا تثبت أن محتواها ملف llms.txt.
من بين 405 استجابات HTTP 200 مباشرة، تعرفت الدراسة التجريبية على 177 ملفًا. أما 228 استجابة أخرى، أي 56.30%، فتوزعت على أربع فئات. هذه الأعداد تخص الفحص المباشر عبر HTTP؛ بينما يجمع العدد الإجمالي، وهو 192 ملفًا، نتائج الطريقتين.
عرض قيم الرسم في جدول
| النتيجة | العدد | النسبة |
|---|---|---|
| ملفات تم التعرف عليها | 177 | 43.70% |
| حالات شاذة لإعادة التوجيه | 154 | 38.02% |
| أخطاء 404 ناعمة | 60 | 14.81% |
| هياكل HTML عامة | 7 | 1.73% |
| تنسيقات غير صالحة | 7 | 1.73% |
- 154 حالة شاذة لإعادة التوجيه: لا يطابق مسار الوجهة قاعدة الدراسة التي تشترط الانتهاء بـ
.txtأو.mdأو.markdown. هذا تصنيف للعنوان، وليس دليلًا مستقلًا على تعطل الوجهة. - 60 خطأ 404 ناعمًا: صفحات خطأ تُعاد مع حالة نجاح.
- 7 هياكل HTML عامة لتطبيقات: استجابة تطبيق بدلًا من الملف النصي المتوقع.
- 7 تنسيقات غير صالحة: فئة مستقلة من المحتوى الذي لم يُتعرف عليه.
تحتاج هذه الفئات إلى فحوص مختلفة. فحص العنوان النهائي ومحتوى الاستجابة وبنيتها أدق من الاكتفاء بعدّ رموز النجاح. قُرّبت النسب في الرسم كلٌّ على حدة.
ماذا تضيف مقارنة الطريقتين؟
عرض قيم الرسم في جدول
| النتيجة | العدد | النسبة |
|---|---|---|
| المصدران | 176 | 91.67% |
| Firecrawl فقط | 15 | 7.81% |
| HTTP المباشر فقط | 1 | 0.52% |
من أصل 192 ملفًا، تعرف المصدران على 176 ملفًا، وتعرف Firecrawl وحده على 15، وHTTP المباشر وحده على ملف واحد. أساس هذا الرسم هو 192 ملفًا، وليس 2,000 نطاق كما في الرسم الأول، ولا 405 استجابات كما في رسم HTTP.
من بين الملفات الـ16 التي تعرف عليها مصدر واحد فقط، ارتبطت 15 حالة بحظر الوصول أو تعذره للمصدر الآخر. لا يتعلق الأمر بقراءتين متعارضتين للمحتوى نفسه؛ إذ تفتقر إحدى الطريقتين إلى استجابة قابلة للتقييم. في الحالة المتبقية، تعرف Firecrawl على ملف بينما صنف HTTP المباشر استجابته بوصفها خطأ 404 ناعمًا؛ وتشمل الدراسة مراجعة يدوية لهذه الحالة.
بلغت مهلة الانتظار 30 ثانية لـFirecrawl و10 ثوانٍ لـHTTP المباشر. هذا الاختلاف قيد معروف في الطريقة المستخدمة. لم يثبت تأثيره في أيٍّ من الاتجاهين. ويذكر Firecrawl أن إعادة الاختبار بمهل انتظار متساوية مخطط لها.
ما الذي يمكنك فحصه في موقعك؟
استخدم النتائج لتوجيه فحوصك. الإجراءات التالية توصيات عملية وليست آثارًا قاستها الدراسة.
العنوان يعيد HTTP 200
اقرأ محتوى الاستجابة لتحدد ما إذا كان الملف النصي أو ملف Markdown المتوقع، أم هيكل تطبيق، أم رسالة خطأ. ثم افحص العناوين والروابط لتقييم الملف نفسه.
الطلب يُعاد توجيهه
افحص العنوان النهائي والمحتوى المعاد منه. قاعدة امتداد الملف في الدراسة معيار للاكتشاف، وليست اختبارًا عامًا لفائدة إعادة التوجيه أو عمل الصفحة.
الطلب محظور أو تنتهي مهلته
احتفظ بهذه النتيجة منفصلة عن «غياب الملف». سجّل فشل الوصول وأعد الفحص عند الحاجة. قد توضح استجابة لاحقة إمكانية الوصول، لكنها لا تعيد بناء حالة الموقع السابقة.
تم التعرف على الملف
تحقق من فائدة المحتوى والروابط ودقتها. اكتشاف الملف وحده لا يثبت أن وكيلًا يستخدمه. الادعاءات المتعلقة بالاستشهادات أو الظهور في البحث أو جودة الإجابات تحتاج إلى قياسات مستقلة.
اجلب ملفًا عامًا لفحص استجابته، أو تحقق من نص لديك. تجري أدوات الموقع فحوصها الخاصة ولا تعيد تنفيذ الدراسة التاريخية. ولتوضيح الفرق بين النشر والاستخدام، اقرأ النشر لا يعني الاستخدام.
الطريقة والقيود
اختيرت العينة بطريقة حتمية من قائمة Tranco تضم مليون نطاق. تطبيق القواعد نفسها على القائمة نفسها يعيد إنتاج الاختيار. يستهدف كل طلب المضيف المحدد نفسه عبر HTTPS على المسار /llms.txt. لا يشمل البحث الإضافي بدائل www أو HTTP أو نطاقات التوثيق الفرعية أو مسارات أخرى.
يتطلب التعرف استجابة ناجحة بنص أو Markdown، لا HTML، تتضمن عنوان H1 واحدًا على الأقل خارج كتلة برمجية. في Markdown، يكون H1 عنوانًا رئيسيًا مثل # عنوان؛ أما الكتلة البرمجية فتعرض مثالًا برمجيًا أو نصًا حرفيًا. هذا معيار الاكتشاف في الدراسة وليس شهادة مطابقة كاملة للتنسيق.
كان الكاشف الأصلي قد يعدّ H1 داخل كتلة برمجية عنوانًا للملف. أعاد Firecrawl فحص منطق الكشف المعني وأكد أن أيًا من الملفات الـ192 التي تم التعرف عليها لم يتأثر. ووفقًا له، أمكن التحقق من 189 ملفًا باستخدام البيانات المحفوظة. جُلبت الملفات الثلاثة المتبقية مجددًا، وثبت باستخدام المجاميع الاختبارية تطابقها بايتًا ببايت مع الاستجابات الأصلية بتاريخ 2 سبتمبر، ثم أُعيد تصنيفها دون تغير النتائج. ووفقًا لـFirecrawl، لم تؤثر أيضًا حالة صفحة الخطأ النصية التي تبدأ بـ # Page not found في أي نتيجة إيجابية.
تسجل الدراسة كذلك وجود H1 في بداية 174 ملفًا من أصل 192، أي 90.63%. تعتمد مؤشرات البنية على التمثيل المستخرج عبر Firecrawl لـ191 ملفًا وعلى محتوى HTTP المباشر لملف واحد. وهي لا تقيس جودة المحتوى أو فائدته للوكيل.
لا تتيح مهل الانتظار المختلفة استنتاج تفوق أداة على أخرى. كما لا تثبت الملاحظات تأثيرًا مؤكدًا في الظهور في البحث أو الاستشهادات أو جودة الإجابات. تحتاج هذه المسائل إلى قياسات أخرى قد تشكل أساس تقارير لاحقة.
المصادر والمساهمات
نتائج الدراسة التجريبية لـllms.txt على 2,000 نطاق، سبتمبر 2026، مقدمة من Firecrawl. الملاحظات الرئيسية بتاريخ 2 سبتمبر. Firecrawl هو شريك البحث ويقدم الأعداد والتصنيفات ومعلومات التحقق منها، بما فيها تأكيده بتاريخ 16 سبتمبر 2026. تتولى llmtxt.info التحليل والتفسير وتتحمل مسؤوليتهما، بما في ذلك النسب المحسوبة. لا يعني ذكر الشريك أنه يوافق على كل صياغة.
تتيح هذه الصفحة النتائج وطريقة حسابها. تُحفظ الملاحظات التفصيلية في إطار الشراكة ولا تُنشر؛ لذلك لا يمكن التحقق من تصنيف كل ملاحظة على حدة اعتمادًا على هذا المنشور.
- Tranco: ترتيب للنطاقات مخصص للبحث. يوضح الرابط إطار الاختيار ولا يمثل مجموعة بيانات الدراسة.
للاستفسار عن النتائج، استخدم صفحة التصحيحات.
للاستشهاد بالدراسة: llmtxt.info، اكتشاف ملفات llms.txt: ماذا يبين تحليل 2,000 نطاق؟ شريك البحث: Firecrawl. الملاحظات: 2 سبتمبر 2026. احتفظ بأساس الحساب وحدود التصنيف عند اقتباس أي رقم.