شرح زواحف الذكاء الاصطناعي: النية والأدلة وllms.txt
يتطلب تصنيف زاحف ذكاء اصطناعي أكثر من قراءة اسمه. فالغرض المعلن للمشغّل وهويته التقنية وسجلاتك أنت تجيب عن أسئلة مختلفة.
آخر تحديث:
لا يكفي اسم الزاحف لإثبات غرضه
الأسئلة المفيدة هي: ماذا يقول المشغّل إن الروبوت يفعله، وكيف يثبت الروبوت هويته، وماذا تُظهر أدلتك أنت. ويغطي وسم «روبوت AI» عدة أنواع من النشاط.
تُظهر تصنيفات الروبوتات المتحقَّق منها في Cloudflare النطاق: البحث، والوكيل، والتدريب، والمعاملات، وجمع البيانات، واختبار الأمن، وSEO، والتحقق من الإعلانات، والمعاينة الاجتماعية أو معاينة الروابط، وجلب الموجزات، والمراقبة أو العمليات. وقد يعلن الروبوت أكثر من سلوك واحد.
تساعد هذه الفئات في تنظيم سياسة. لكنها لا تثبت أن طلباً واحداً أدى إلى استشهاد، أو درّب نموذجاً، أو أتم معاملة.
ما الذي يمكن لطلب llms.txt إثباته
يثبت الطلب الناجح إلى /llms.txt يمكنه إثبات قائمة قصيرة من الحقائق من جهة الخادم: وصل
الطلب إلى الخادم، وحمل وكيلاً مسجلاً للمستخدم، واستهدف عنوان URL، وأعاد الخادم حالة مسجّلة في وقت
مسجّل.
لا تثبت خانة السجل تلك أن العميل:
- حلّل الملف بصورة صحيحة؛
- اتبع كل رابط؛
- فضّل الملف على HTML أو البيانات المنظمة؛
- استخدم المحتوى للاسترجاع أو التدريب؛
- استشهد بالموقع في إجابة؛
- غيّر ترتيب صفحة أو منتج.
تعامل مع الدليل كسُلّم: fetched, parsed إذا ثبت ذلك بصورة مستقلة،
used إذا ثبت ذلك بصورة مستقلة، فحينها cited أو
converted إذا كان النظام الوجهة يقيسه. فتخطي خطوة يحوّل الملاحظة التقنية إلى ادعاء غير
مدعوم.
لماذا تهم الفروق على مستوى النية
توثّق OpenAI وكلاء مستخدم منفصلين للبحث، وتدريب النماذج، والإجراءات التي يطلقها المستخدم،
ومراجعة الإعلانات. OAI-SearchBot يدعم بحث ChatGPT. GPTBot
يغطي المحتوى الذي قد يُستخدم لتدريب النماذج الأساسية. ChatGPT-User ينفذ إجراءات طلبها
المستخدم، وليس زاحف بحث تلقائياً.
OAI-AdsBot زيارات الصفحات المقدمة كإعلانات فقط. وتقول OpenAI إن البيانات التي يجمعها
هذا الروبوت لا تُستخدم لتدريب النماذج الأساسية. ولذلك فإن مراجعة الإعلانات غرض مختلف عن ظهور البحث
أو التدريب.
لا تثبت هذه الأدوار مع ذلك اعتماد أي روبوت OpenAI على llms.txt. ويفيد الملف فقط حيث
يختار عميل قراءته.
الموضع المناسب لـ llms.txt
llms.txt يمكن أن يقدم خريطة موجزة لصفحات مفيدة يختارها المالك. لكنه لا يستبدل HTML أو
خرائط المواقع أو الخلاصات أو واجهات API أو البيانات المنظّمة أو كتالوجات المنصة أو توجيهات الزحف في
robots.txt. لكل سطح دوره الخاص.
يُعد Shopify مثالاً مفيداً. يمكن لمتاجره نشر ملفات لاكتشاف الوكلاء، بينما يحمل Shopify Catalog حقائق المنتجات المنظمة بصورة منفصلة. ولا يضمن وجود أي من السطحين أن تعرض قناة ما منتجاً أو ترتّبه.
انشر llms.txt للعملاء الذين يدعمون الاتفاقية، ثم تحقّق فقط مما تدعمه أدلتك. فتوافر الملف
ليس دليلاً على الاعتماد، والاعتماد ليس دليلاً على الاقتباس.
واصل القراءة
- زواحف الذكاء الاصطناعي، والمرجع الكامل, المرجع التقني الأساسي لوكلاء المستخدم والضوابط.
- llms.txt مقابل robots.txt، والفرق بين إرشادات الاكتشاف والتحكم في الزحف.
- كيفية قياس أثر llms.txt، وهي طريقة لقراءة سجلات الزحف من دون ادعاء أكثر مما تعرضه.