يُستخدم مصطلح Crawl Budget أحيانًا لتفسير أي صفحة لا تظهر في Google، لكن هذا التفسير واسع أكثر من اللازم. عدم فهرسة صفحة قد ينتج عن التكرار أو ضعف القيمة أو الإشارات المتضاربة أو صعوبة الاكتشاف، وليس بالضرورة لأن Google «نفد منه الوقت» أثناء الزحف.
في المتاجر الكبيرة، يصبح موضوع الزحف مهمًا عندما ينتج الموقع أعدادًا كبيرة من URLs، وتتغير المنتجات باستمرار، وتوجد فلاتر ومعلمات وصفحات داخلية كثيرة تنافس الصفحات التجارية على الاكتشاف وإعادة الزحف.
ما المقصود بميزانية الزحف؟
تشرح Google ميزانية الزحف للمواقع الكبيرة من خلال عاملين مترابطين: مقدار الزحف الذي يستطيع الموقع تحمله، ومدى رغبة Google في الزحف إلى URLs معينة. النتيجة العملية هي كمية الموارد التي يخصصها Googlebot للموقع خلال فترة ما.
هذا لا يعني وجود رقم ثابت يجب مطاردته يوميًا. الأهم هو: هل يصل Google إلى الصفحات المهمة بالسرعة والانتظام المناسبين، أم يستهلك وقتًا كبيرًا في URLs لا تضيف قيمة؟
متى لا تكون Crawl Budget هي المشكلة الأولى؟
غالبًا لا تكون أولوية مبكرة عندما:
- الموقع صغير أو متوسط، والصفحات المهمة تُكتشف وتُزحف بانتظام.
- الصفحات مزحوفة بالفعل لكن Google اختار عدم فهرستها.
- المشكلة محصورة في محتوى ضعيف أو متكرر أو Canonical غير صحيح.
- الروابط الداخلية لا تقود إلى الصفحة، بينما Sitemap وحدها هي طريق الاكتشاف.
- هناك حظر أو noindex أو خطأ استجابة يمنع الفهرسة بوضوح.
قبل التفكير في «زيادة الميزانية»، افصل بين أربع مراحل: الاكتشاف، الزحف، الفهرسة، ثم الأداء في النتائج.
علامات تجعل فحص الزحف منطقيًا
1. عدد كبير من URLs المتولدة
الفلاتر والترتيب والبحث الداخلي ومعلمات الحملات ونسخ الطباعة أو المشاركة قد تولد مسارات كثيرة. إذا كانت قابلة للزحف وتنتج تركيبات شبه غير محدودة، يمكن أن تستهلك موارد من دون إضافة صفحات يريد المستخدم العثور عليها في البحث.
2. تأخر واضح في اكتشاف المنتجات أو التحديثات
إذا كانت المنتجات المهمة الجديدة تتأخر طويلًا رغم وجود روابط داخلية وSitemap سليمة، أو لا يعاد زحف الصفحات التي تغيرت فعليًا، يستحق الأمر فحص السجلات وتقارير GSC والبنية.
3. Googlebot يزور صفحات منخفضة القيمة أكثر من الصفحات الأساسية
تحليل Logs يمكن أن يكشف أين يذهب الزحف فعليًا. لا يكفي عدّ الزيارات؛ صنّف URLs حسب القالب والقيمة والاستجابة والعمق، ثم قارنها بالصفحات التي يريد المتجر دعمها.
4. أخطاء خادم أو بطء يؤثران في قدرة الزحف
إذا واجه Googlebot استجابات 5xx أو زمن استجابة مرتفعًا، قد يقلل معدل الزحف لحماية الخادم. معالجة الاستقرار والأداء في هذه الحالة أهم من إضافة روابط إلى صفحات جديدة.
كيف تراجع الزحف في متجر إلكتروني؟
الخطوة الأولى: صنّف أنماط URLs
أنشئ قائمة بالقوالب، لا بالصفحات الفردية فقط:
- الصفحة الرئيسية والتصنيفات والمنتجات.
- الفلاتر والمعلمات والترتيب والبحث الداخلي.
- صفحات الحساب والسلة والمقارنة والمفضلة.
- صفحات Pagination والوسوم والمصنعين.
- الصور والملفات واللغات أو الأسواق المختلفة.
لكل نمط، حدّد هل يجب فهرسته، هل يجب السماح بزحفه، وكيف يصل Google إليه.
الخطوة الثانية: افحص مصادر البيانات معًا
- Google Search Console: حالات الفهرسة، إحصاءات الزحف، فحص URLs وعينات الصفحات.
- سجلات الخادم: طلبات Googlebot الفعلية وتوزيعها عبر القوالب والاستجابات.
- زاحف الموقع: الروابط الداخلية، العمق، Canonical، status codes وindexability.
- Sitemaps: هل تحتوي فقط على URLs أساسية قابلة للفهرسة ومحدثة؟
لا يعطي أي مصدر الصورة كاملة وحده. قد يظهر URL في الزاحف لكنه لا يتلقى زيارة من Googlebot، أو يزحف Google إلى URL لا يظهر في الربط الداخلي الحالي لأنه اكتشفه سابقًا.
الخطوة الثالثة: حدّد الهدر الحقيقي
ليس كل URL غير مفهرس هدرًا. الهدر الذي يستحق الأولوية هو نمط قابل للزحف يستهلك مساحة ملحوظة أو يخلق حلقات أو نسخًا كثيرة، بينما لا يخدم بحثًا أو مستخدمًا ولا يساعد Google على فهم الموقع.
ما الإجراءات الممكنة؟
القرار يعتمد على وظيفة النمط. من الإجراءات الشائعة:
- إزالة روابط داخلية إلى تركيبات لا يحتاج المستخدم أو Google إلى اكتشافها.
- ضبط الفلاتر بحيث لا تولد روابط قابلة للزحف بلا نهاية.
- استخدام robots.txt لمنع الزحف إلى مسارات محددة عندما يكون المنع مناسبًا، مع فهم أنه لا يضمن إزالة URL من الفهرس.
- استخدام noindex للصفحات التي يمكن زحفها لكن لا يجب فهرستها، مع عدم حجب الزحف عنها قبل أن يرى Google الإشارة.
- توحيد النسخ المتشابهة بإشارات Canonical متسقة، لا كحل تلقائي لكل مشكلة.
- تحسين الروابط الداخلية إلى المنتجات والتصنيفات المهمة وتقليل عمق الوصول.
- تنظيف Sitemaps من URLs المحولة أو المحظورة أو غير الأساسية.
- إصلاح أخطاء الخادم وتحسين الاستجابة.
أخطاء شائعة
حظر كل الفلاتر بلا تحليل
بعض صفحات الفلاتر قد تمثل طلبًا مفيدًا وتستحق صفحة مستقلة، بينما تركيبات أخرى لا تستحق. القرار يجب أن يكون على مستوى النمط والنية والقيمة، لا قاعدة عامة واحدة.
استخدام Canonical بدل ضبط الاكتشاف
Canonical إشارة للتوحيد، لكنه لا يمنع Google من اكتشاف وزحف URLs كثيرة. إذا كان مصدر الهدر روابط داخلية تولد ملايين التركيبات، يجب معالجة البنية نفسها.
إرسال كل شيء في Sitemap
Sitemap ليست قائمة بكل URL يستطيع الموقع إنتاجه. الأفضل أن تعكس الصفحات الأساسية القابلة للفهرسة التي تريد من Google معرفتها ومراقبتها.
قياس النجاح بعدد طلبات Googlebot فقط
قد ينخفض الزحف غير المفيد من دون زيادة إجمالي الطلبات، وهذا قد يكون تحسنًا. راقب وصول Google إلى الصفحات المهمة، الاستجابات، سرعة اكتشاف التغييرات، وحالات الفهرسة.
كيف ترتبط Crawl Budget بالأولوية التجارية؟
لا يكفي أن تقول إن 70% من الزحف يذهب إلى الفلاتر. اسأل: هل تتأخر تصنيفات أو منتجات ذات قيمة؟ هل توجد مواسم أو تغييرات مخزون تحتاج إعادة زحف؟ وما تكلفة الإصلاح ومخاطره؟
يمكنك استخدام منهج ترتيب أولويات SEO في المتاجر الكبيرة لربط مشكلة الزحف بالدليل والقيمة والجهد، ثم تحويلها إلى دفعات تنفيذ.
الخطوة التالية
إذا كان متجرك كبيرًا وتوجد علامات على هدر الزحف أو تأخر الفهرسة، راجع نطاق خدمة Ecommerce SEO ومشروع الـ90 يومًا. تقييم الحالة يبدأ من نموذج ملاءمة المتجر، وليس من افتراض أن كل متجر يحتاج الحل نفسه.
مصادر رسمية مفيدة
- Google: دليل إدارة ميزانية الزحف للمواقع الكبيرة
- Google: مقدمة إلى robots.txt
- Google: توحيد URLs المكررة
- Google: بناء وإرسال Sitemap
هل تتكرر المشكلة عبر عدد كبير من صفحات متجرك؟
المقال يساعدك على التشخيص الأولي، لكن ترتيب التنفيذ يحتاج بيانات المتجر وبنيته وقدرة الفريق. ابدأ بتقييم الملاءمة قبل اقتراح نطاق العمل.
ابدأ تقييم ملاءمة المتجر