يُستخدم مصطلح ميزانية الزحف (Crawl Budget) أحيانًا لتفسير أي صفحة لا تظهر في Google. لكن عدم فهرسة الصفحة قد يكون سببه التكرار، أو ضعف المحتوى، أو إشارات متضاربة، أو أن Google لا يصل إليها بسهولة. هذا لا يعني بالضرورة أن Google لم يجد وقتًا كافيًا لزيارتها.
تصبح ميزانية الزحف مهمة أكثر في المتاجر الكبيرة التي تنتج عددًا ضخمًا من روابط الصفحات، وتتغير منتجاتها باستمرار، وتحتوي على فلاتر وبحث داخلي ومعلمات كثيرة قد تشغل Google عن المنتجات والتصنيفات الأهم.
ما المقصود بميزانية الزحف؟
ببساطة، هي مقدار الزحف الذي يخصصه Googlebot لموقعك خلال فترة معينة. ويتأثر ذلك بقدرة الخادم على استقبال الطلبات، وبمدى رغبة Google في إعادة زيارة صفحات الموقع.
لا يوجد رقم ثابت يجب أن تطارده كل يوم. السؤال المهم هو: هل يصل Google إلى الصفحات المهمة بسرعة وانتظام، أم يقضي جزءًا كبيرًا من وقته في صفحات متكررة أو منخفضة القيمة؟
متى لا تكون ميزانية الزحف هي المشكلة الأولى؟
غالبًا ليست الأولوية الأولى في الحالات التالية:
- الموقع صغير أو متوسط، وGoogle يكتشف الصفحات المهمة ويزحف إليها بانتظام.
- Google زحف إلى الصفحة بالفعل، لكنه اختار ألا يفهرسها.
- المشكلة واضحة في محتوى ضعيف أو متكرر، أو في إشارة الصفحة الأساسية (Canonical).
- الصفحة لا تصل إليها روابط داخلية، وتعتمد فقط على خريطة الموقع.
- يوجد حظر في robots.txt أو وسم noindex أو خطأ في استجابة الخادم.
قبل أن تحاول «زيادة ميزانية الزحف»، حدد أين توقفت الصفحة: هل لم يكتشفها Google؟ أم لم يزحف إليها؟ أم زحف إليها ولم يفهرسها؟ أم فهرسها لكنها لا تظهر في النتائج؟
علامات تدل أن الزحف يستحق المراجعة
1. الموقع ينتج عددًا ضخمًا من روابط الصفحات
الفلاتر والترتيب والبحث الداخلي ومعلمات الحملات قد تنتج آلاف التركيبات. إذا كان Google يستطيع الوصول إليها بلا حدود تقريبًا، فقد يستهلك وقتًا كبيرًا في صفحات لا يحتاجها العميل ولا تستحق الظهور في البحث.
2. المنتجات الجديدة أو التعديلات المهمة تتأخر في الظهور
لو المنتجات المهمة الجديدة تتأخر رغم وجود روابط داخلية وخريطة موقع سليمة، أو لو Google لا يعيد زيارة الصفحات التي تغيرت، فهنا يستحق الأمر مراجعة بيانات Search Console وسجلات الخادم وبنية الروابط.
3. Googlebot يزور صفحات منخفضة القيمة أكثر من الصفحات المهمة
سجلات الخادم توضح الصفحات التي طلبها Googlebot فعلًا. صنّف الزيارات حسب نوع الصفحة والاستجابة وعمق الوصول، ثم قارنها بالمنتجات والتصنيفات التي يريد المتجر دعمها.
4. الخادم بطيء أو يعرض أخطاء متكررة
إذا واجه Googlebot أخطاء من نوع 5xx أو استجابة بطيئة، قد يقلل معدل الزحف حتى لا يضغط على الخادم. في هذه الحالة، إصلاح الاستقرار والسرعة أهم من إضافة صفحات أو روابط جديدة.
كيف تراجع الزحف في متجر إلكتروني؟
الخطوة الأولى: صنّف أنواع الصفحات
لا تبدأ بقائمة طويلة من الروابط الفردية. ابدأ بأنواع الصفحات الموجودة في المتجر:
- الصفحة الرئيسية والتصنيفات والمنتجات.
- صفحات الفلاتر والترتيب والبحث الداخلي.
- صفحات الحساب والسلة والمقارنة والمفضلة.
- صفحات التقسيم إلى عدة صفحات، والوسوم، والماركات.
- الصور والملفات واللغات أو الأسواق المختلفة.
لكل نوع، حدد هل يجب أن يظهر في Google، وهل يحتاج Google إلى الزحف إليه، وكيف يصل إليه من داخل الموقع.
الخطوة الثانية: اجمع أكثر من مصدر للبيانات
- Google Search Console: لمراجعة حالات الفهرسة وإحصاءات الزحف وفحص عينات من الصفحات.
- سجلات الخادم: لمعرفة الطلبات الفعلية التي أرسلها Googlebot والصفحات التي زارها.
- أداة زحف الموقع: لفحص الروابط الداخلية وعمق الصفحات والاستجابات وإشارات الفهرسة.
- خرائط الموقع: للتأكد من أنها تحتوي على الصفحات الأساسية القابلة للفهرسة فقط.
لا يعطي مصدر واحد الصورة كاملة. قد تجد صفحة في أداة الزحف، لكن Googlebot لم يزرها. وقد يزور Google رابطًا قديمًا لم يعد موجودًا في الروابط الداخلية الحالية.
الخطوة الثالثة: حدد الهدر الحقيقي
ليس كل رابط غير مفهرس هدرًا. الهدر الذي يستحق التدخل هو نمط ينتج عددًا كبيرًا من الصفحات القابلة للزحف، من غير أن يساعد العميل أو يخدم بحثًا واضحًا أو يضيف قيمة للموقع.
ما الحلول الممكنة؟
الحل يختلف حسب وظيفة كل نوع من الصفحات. من الإجراءات الممكنة:
- إزالة الروابط الداخلية إلى التركيبات التي لا يحتاج العميل أو Google إلى الوصول إليها.
- ضبط الفلاتر حتى لا تنتج عددًا غير محدود من الروابط القابلة للزحف.
- استخدام robots.txt لمنع الزحف إلى مسارات محددة عندما يكون ذلك مناسبًا، مع معرفة أنه لا يضمن إزالة الصفحة من الفهرس.
- استخدام noindex للصفحات التي يمكن أن يزحف إليها Google لكن لا يجب أن تظهر في البحث.
- توحيد النسخ المتشابهة بإشارة الصفحة الأساسية (Canonical) عندما تكون هي الحل الصحيح.
- تقوية الروابط الداخلية إلى المنتجات والتصنيفات المهمة وتقليل عدد النقرات اللازمة للوصول إليها.
- تنظيف خرائط الموقع من الروابط المحولة أو المحظورة أو غير الأساسية.
- إصلاح أخطاء الخادم وتحسين سرعة الاستجابة.
أخطاء شائعة عند معالجة ميزانية الزحف
حظر كل الفلاتر من غير تحليل
بعض صفحات الفلاتر قد تلبي بحثًا حقيقيًا وتستحق صفحة مستقلة، بينما تركيبات أخرى لا تضيف أي قيمة. القرار يجب أن يعتمد على نية البحث ووظيفة الصفحة، وليس على قاعدة واحدة لكل الفلاتر.
الاعتماد على Canonical وحده
إشارة Canonical تساعد Google يختار النسخة الأساسية، لكنها لا تمنعه من اكتشاف وزيارة عدد كبير من الروابط. لو الموقع نفسه ينتج ويربط إلى ملايين التركيبات، يجب إصلاح طريقة إنشاء الروابط أيضًا.
إضافة كل الروابط إلى خريطة الموقع
خريطة الموقع ليست قائمة بكل رابط يستطيع المتجر إنتاجه. الأفضل أن تحتوي على الصفحات الأساسية التي تريد من Google فهرستها ومراقبتها.
قياس النجاح بعدد زيارات Googlebot فقط
قد يقل الزحف غير المفيد من غير أن يزيد إجمالي عدد الطلبات، وهذا قد يكون تحسنًا. راقب هل أصبح Google يصل للصفحات المهمة أسرع، وهل انخفضت الأخطاء وتحسنت الفهرسة.
كيف تربط مشكلة الزحف بأولوية المتجر؟
لا يكفي أن تعرف أن نسبة كبيرة من الزحف تذهب إلى الفلاتر. اسأل: هل تتأخر منتجات أو تصنيفات مهمة؟ هل توجد مواسم أو تغييرات مخزون تحتاج إعادة زحف سريعة؟ وما تكلفة التعديل ومخاطره؟
يساعدك دليل ترتيب أولويات SEO في المتاجر الكبيرة على ربط المشكلة بقيمة الصفحة وقوة الدليل والجهد، ثم تحويلها إلى مهام يمكن تنفيذها على دفعات.
ما الخطوة التالية؟
لو متجرك كبير وتوجد علامات على هدر الزحف أو تأخر فهرسة الصفحات المهمة، راجع خدمة Ecommerce SEO ومشروع الـ90 يومًا. ويمكنك البدء من تقييم ملاءمة المتجر بدل افتراض أن كل متجر يحتاج الحل نفسه.
