لماذا تختلف الزواحف رغم أنها لشركة واحدة؟
لأن لكل زاحف وظيفة مختلفة في خط المعالجة. خذ OpenAI مثالاً — زواحفها الثلاثة تُضبط منفصلة في robots.txt:
- GPTBot: يجمع بيانات التدريب. حظره لا يمنع ظهورك في بحث ChatGPT، لكنه يقلل معرفة النموذج الأساسية بك على المدى الطويل.
- OAI-SearchBot: يبني فهرس بحث ChatGPT. حظره يعني الخروج من نتائج بحث ChatGPT عملياً — أخطر قرار عشوائي ممكن.
- ChatGPT-User: يجلب صفحتك لحظياً حين يسأل مستخدم سؤالاً يستدعيها. حظره يمنع الاستشهاد المباشر بصفحاتك حتى لو كنت مفهرساً.
وبالمثل: ClaudeBot قناة معرفة Anthropic، وPerplexityBot يغذي محركاً يجلب مباشرة بنسبة 100% ويستشهد شبه حرفياً، وGoogle-Extended يتحكم في التدريب فقط — لا يؤثر في الفهرسة ولا في استشهادات AI Overviews. خلط هذه الرموز في قاعدة حظر جماعية واحدة هو أكثر أخطاء القناة التقنية شيوعاً وأسوأها أثراً.
كيف تقرأ السجلات عملياً؟
- استخرج طلبات الزواحف: صفِّ سجلات الوصول بأسماء وكلاء المستخدم المعروفة (GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وPerplexityBot وGooglebot وBingbot).
- تحقق من الهوية: وكلاء المستخدم تُزوَّر بسهولة؛ طابق نطاقات IP العكسية مع القوائم الرسمية المنشورة من كل شركة قبل بناء أي استنتاج.
- حلل ثلاثة أبعاد: التكرار (هل يعود الزاحف؟)، والنطاق (هل يقرأ الصفحات الأساسية أم يعلق في صفحات الوسوم؟)، والاستجابة (رموز 200 أم 403/404/5xx؟).
- قارن بالسماح: زاحف تراه في robots.txt مسموحاً ولا تراه في السجلات إشارة مشكلة فهرسة؛ وزاحف تراه محظوراً ويظهر مجدداً في السجلات يعني أنه يلتقي الجدار — تأكد أن هذا مقصود.
ما الذي تكشفه الأنماط؟
أربعة أنماط تشخيصية متكررة. أولاً، غياب OAI-SearchBot مع حضور GPTBot: قرار قديم بحظر «زواحف OpenAI» طبق جزئياً أو robots.txt غير متماسك — النتيجة خروج من بحث ChatGPT. ثانياً، زحف كثيف على صفحات عديمة القيمة: بنية روابط داخلية توجه الزاحف إلى الفلاتر والوسوم بدل صفحات المنتجات والوثائق — أصلح الروابط الداخلية وllms.txt معاً. ثالثاً، رموز 5xx متكررة لزواحف الذكاء الاصطناعي: خادمك يخنق الطلبات الآلية، والجلب اللحظي (ChatGPT-User وPerplexityBot) يتخلى عن الصفحات البطيئة بلا رحمة. رابعاً، غياب تام عن نسخة لغوية: النسخة العربية أو الإنجليزية لم تدخل خريطة الزاحف أصلاً — راجع Sitemap وhreflang (راجع GEO متعدد اللغات).
قائمة تحقق تشغيلية
- مراجعة robots.txt فصلياً: قرار موثق واعٍ لكل زاحف على حدة، معلوم للفريق.
- تحليل سجلات شهري ضمن دورة القياس: الزواحف الخمسة الكبرى حاضرة وتقرأ الصفحات الأساسية.
- رموز استجابة نظيفة للزواحف: 200 للصفحات الأساسية، ولا 403 عشوائية من جدار الحماية.
- سرعة استجابة الخادم تحت السيطرة — الجلب اللحظي لا ينتظر.
- ربط قراءة السجلات ببيانات الفهرسة: Search Console لـ Google وWebmaster Tools لـ Bing.
وتبقى السجلات بُعداً خامساً تفسيرياً إلى جانب الأبعاد الأربعة: حين يتراجع معدل الاستشهاد في ChatGPT دون تغيير في المحتوى، يكون الجواب أحياناً في السجلات — قاعدة حظر جديدة ورثها الفريق عن قالب جاهز، أو جدار حماية بدأ يخنق OAI-SearchBot. من لا يقرأ سجلاته يقيس النتائج ويعجز عن تفسيرها.
الأخطاء الشائعة
- الحظر الجماعي بالقوالب الجاهزة: قوائم robots.txt المنتشرة تحظر OAI-SearchBot مع GPTBot في سلة واحدة فتخرج من بحث ChatGPT بلا قصد.
- الوثوق بأسماء الوكلاء وحدها: دون تحقق من IP لا تفرق بين الزاحف الحقيقي والمخادع.
- قراءة السجلات مرة واحدة: أنماط الزحف تتغير مع كل تحديث موقع أو خادم — تجعلها دورة شهرية لا حدثاً سنوياً.