كشف 3 خرافات شائعة وراء الزحف إلى الموقع والفهرسة وخرائط مواقع XML

يعتقد الكثير منا خطأً أن إطلاق موقع ويب مجهزًا بخريطة موقع XML سيؤدي تلقائيًا إلى الزحف إلى جميع صفحاته وفهرستها.

في هذا الصدد ، تتراكم بعض الخرافات والمفاهيم الخاطئة. الأكثر شيوعًا هي:

• يزحف Google تلقائيًا إلى جميع المواقع ويقوم بذلك بسرعة.
• عند الزحف إلى موقع ويب ، يتابع Google جميع الروابط ويزور جميع صفحاته ويدرجها جميعًا في الفهرس على الفور.
• تعد إضافة خريطة موقع XML هي أفضل طريقة للحصول على كل صفحات الموقع التي يتم الزحف إليها وفهرستها.

للأسف ، يعد إدخال موقع الويب الخاص بك إلى فهرس Google مهمة أكثر تعقيدًا بعض الشيء. تابع القراءة للحصول على فكرة أفضل عن كيفية عمل عملية الزحف والفهرسة ، والدور الذي تلعبه خريطة موقع XML فيها.

قبل أن نبدأ في فضح الأساطير المذكورة أعلاه ، دعنا نتعلم بعض مفاهيم تحسين محركات البحث الأساسية:

الزحف هو نشاط يتم تنفيذه بواسطة محركات البحث لتتبع عناوين URL وجمعها من جميع أنحاء الويب.

الفهرسة هي العملية التي تلي الزحف. في الأساس ، يتعلق الأمر بتحليل وتخزين بيانات الويب التي يتم استخدامها لاحقًا عند تقديم نتائج لاستعلامات محرك البحث. فهرس محرك البحث هو المكان الذي يتم فيه تخزين جميع بيانات الويب التي تم جمعها لمزيد من الاستخدام.

تصنيف الزحف هو القيمة التي يعينها Google لموقعك وصفحاته. لا يزال من غير المعروف كيف يتم حساب هذا المقياس بواسطة محرك البحث. أكدت Google عدة مرات أن تكرار الفهرسة لا يتعلق بالترتيب ، لذلك لا توجد علاقة مباشرة بين سلطة تصنيف مواقع الويب وترتيب الزحف الخاص بها.

تتمتع مواقع الويب الإخبارية والمواقع ذات المحتوى القيم والمواقع التي يتم تحديثها بشكل منتظم بفرص أكبر في الزحف إليها بشكل منتظم.

ميزانية الزحف هي مقدار مورد الزحف الذي يخصصه محرك البحث لموقع ويب. عادةً ما تحسب Google هذا المبلغ بناءً على تصنيف الزحف إلى موقعك.

عمق الزحف هو المدى الذي تقوم Google من خلاله بالتنقيب عن مستوى موقع الويب عند استكشافه.

أولوية الزحف هي رقم ترتيبي يتم تعيينه لصفحة الموقع والتي تشير إلى أهميتها فيما يتعلق بالزحف.

الآن ، مع معرفة جميع أساسيات العملية ، دعنا نتخلص من هذه الأساطير الثلاثة وراء خرائط مواقع XML ، وتم ضبط الزحف والفهرسة!

الأسطورة 1. يزحف محرك بحث Google تلقائيًا إلى جميع المواقع ويقوم بذلك بسرعة.

تدعي Google أنه عندما يتعلق الأمر بجمع بيانات الويب ، فهي تتسم بالمرونة والمرونة.

لكن الحقيقة تُقال ، لأنه في الوقت الحالي هناك تريليونات من الصفحات على الويب ، من الناحية الفنية ، لا يستطيع محرك البحث الزحف إليها جميعًا بسرعة.

تحديد مواقع الويب لتخصيص ميزانية الزحف لها

تقوم خوارزمية Google الذكية (المعروفة أيضًا باسم ميزانية الزحف) بتوزيع موارد محرك البحث وتحديد المواقع التي تستحق الزحف وأيها ليست كذلك.

عادةً ما تعطي Google الأولوية لمواقع الويب الموثوقة التي تتوافق مع المتطلبات المحددة وتعمل كأساس لتحديد كيفية قياس المواقع الأخرى.

لذلك ، إذا كان لديك موقع ويب جاهز للتو ، أو موقع ويب به محتوى مكرر أو مكرر أو ضعيف ، فإن فرص الزحف إليه بشكل صحيح تكون صغيرة جدًا.

العوامل المهمة التي قد تؤثر أيضًا على تخصيص ميزانية الزحف هي:

• حجم الموقع ،
• صحتها العامة (يتم تحديد مجموعة المقاييس هذه من خلال عدد الأخطاء التي قد تكون لديك في كل صفحة) ،
• وعدد الروابط الواردة والداخلية.

لزيادة فرصك في الحصول على ميزانية الزحف ، تأكد من أن موقعك يلبي جميع متطلبات Google المذكورة أعلاه ، بالإضافة إلى تحسين كفاءة الزحف (راجع القسم التالي في المقالة).

توقع جدول الزحف

لا تعلن Google عن خططها للزحف إلى عناوين URL على الويب. أيضًا ، من الصعب تخمين الوتيرة التي يزور بها محرك البحث بعض المواقع.

قد يكون ذلك بالنسبة لموقع واحد ، قد يقوم بإجراء عمليات الزحف مرة واحدة على الأقل يوميًا ، بينما تتم زيارة موقع آخر مرة واحدة شهريًا أو حتى أقل من ذلك.

• يعتمد تواتر عمليات الزحف على:
• جودة محتوى الموقع ،
• حداثة وأهمية المعلومات التي يقدمها موقع الويب ،
• وحول مدى أهمية أو شعبية عناوين URL للمواقع التي يعتقدها محرك البحث.

مع أخذ هذه العوامل في الاعتبار ، يمكنك محاولة التنبؤ بعدد المرات التي قد تزور فيها Google موقع الويب الخاص بك.

دور الروابط الخارجية / الداخلية وخرائط مواقع XML

كمسارات ، تستخدم Googlebots الروابط التي تربط صفحات الموقع والموقع الإلكتروني ببعضهما البعض. وبالتالي ، يصل محرك البحث إلى تريليونات الصفحات المترابطة الموجودة على الويب.

يمكن لمحرك البحث البدء في مسح موقع الويب الخاص بك من أي صفحة ، وليس بالضرورة من الصفحة الرئيسية. يعتمد تحديد نقطة دخول الزحف على مصدر الارتباط الوارد. لنفترض أن بعض صفحات منتجك تحتوي على الكثير من الروابط التي تأتي من مواقع الويب المختلفة. يربط Google النقاط ويزور مثل هذه الصفحات الشعبية في أول منعطف.

خريطة موقع XML هي أداة رائعة لبناء بنية موقع مدروسة جيدًا. بالإضافة إلى ذلك ، يمكن أن يجعل عملية الزحف إلى الموقع أكثر استهدافًا وذكاءً.

في الأساس ، تعد خريطة الموقع محورًا يحتوي على جميع روابط الموقع. يمكن تجهيز كل رابط مدرج فيه ببعض المعلومات الإضافية: تاريخ التحديث الأخير ، وتكرار التحديث ، وعلاقته بعناوين URL الأخرى على الموقع ، وما إلى ذلك.

كل ذلك يوفر لـ Googlebots خارطة طريق مفصلة للزحف إلى موقع الويب ويجعل الزحف أكثر استنارة. أيضًا ، تعطي جميع محركات البحث الرئيسية الأولوية لعناوين URL المدرجة في خريطة الموقع.

باختصار ، للحصول على صفحات موقعك على رادار Googlebot ، تحتاج إلى إنشاء موقع ويب بمحتوى رائع وتحسين هيكل الارتباط الداخلي الخاص به.

الوجبات الجاهزة

• لا تقوم Google بالزحف تلقائيًا إلى جميع مواقع الويب الخاصة بك.
• يعتمد تواتر الزحف إلى الموقع على مدى أهمية أو مدى شعبية الموقع وصفحاته.
• يؤدي تحديث المحتوى إلى قيام Google بزيارة موقع الويب بشكل متكرر.
• من غير المحتمل أن يتم الزحف إلى مواقع الويب التي لا تتوافق مع متطلبات محرك البحث بشكل صحيح.
• عادةً ما يتم تجاهل مواقع الويب وصفحات المواقع التي لا تحتوي على روابط داخلية / خارجية بواسطة روبوتات محرك البحث.
• يمكن أن تؤدي إضافة خريطة موقع XML إلى تحسين عملية الزحف إلى موقع الويب وجعلها أكثر ذكاءً.

الأسطورة 2. تعد إضافة خريطة موقع XML هي أفضل طريقة للحصول على كل صفحات الموقع التي يتم الزحف إليها وفهرستها.

يريد كل مالك موقع ويب أن يقوم Googlebot بزيارة جميع صفحات الموقع المهمة (باستثناء الصفحات المخفية من الفهرسة) ، وكذلك استكشاف المحتوى الجديد والمحدث على الفور.

ومع ذلك ، فإن محرك البحث لديه رؤيته الخاصة لأولويات الزحف إلى الموقع.

عندما يتعلق الأمر بفحص موقع الويب ومحتواه ، تستخدم Google مجموعة من الخوارزميات تسمى ميزانية الزحف. في الأساس ، يسمح لمحرك البحث بفحص صفحات الموقع ، بينما يستخدم بذكاء موارده الخاصة.

التحقق من ميزانية الزحف إلى موقع الويب

من السهل جدًا معرفة كيفية الزحف إلى موقعك وما إذا كانت لديك أية مشكلات في ميزانية الزحف.

تحتاج فقط إلى:

• احسب عدد الصفحات على موقعك وفي خريطة موقع XML ،
• قم بزيارة Google Search Console ، وانتقل إلى الزحف -> قسم إحصائيات الزحف ، وتحقق من عدد الصفحات التي يتم الزحف إليها على موقعك يوميًا ،
• اقسم العدد الإجمالي لصفحات موقعك على عدد الصفحات التي يتم الزحف إليها يوميًا.

إذا كان الرقم الذي حصلت عليه أكبر من 10 (هناك 10x صفحات أكثر مما يزحف إليه Google يوميًا) ، فلدينا أخبار سيئة لك: موقع الويب الخاص بك به مشكلات في الزحف.

ولكن قبل أن تتعلم كيفية إصلاحها ، عليك أن تفهم فكرة أخرى ، وهي ...

عمق الزحف

عمق الزحف هو مدى استمرار Google في استكشاف موقع ويب إلى مستوى معين.

بشكل عام ، تعتبر الصفحة الرئيسية على أنها المستوى 1 ، والصفحة التي تبعد نقرة واحدة هي المستوى 2 ، وما إلى ذلك.

تحتوي الصفحات ذات المستوى العميق على Pagerank أقل (أو ليس بها على الإطلاق) ويقل احتمال أن يتم الزحف إليها بواسطة Googlebot. عادة ، لا يحفر محرك البحث أعمق من المستوى 4.

في السيناريو المثالي ، يجب أن تكون الصفحة المحددة على بعد 1-4 نقرات من الصفحة الرئيسية أو فئات الموقع الرئيسية. كلما زاد طول المسار إلى تلك الصفحة ، زادت الموارد التي تحتاجها محركات البحث لتخصيصها للوصول إليها.

إذا كنت على موقع ويب ، تقدر Google أن المسار طويل جدًا ، فإنه يتوقف عن الزحف الإضافي.

تحسين عمق الزحف والميزانية

لمنع Googlebot من التباطؤ ، وتحسين ميزانية الزحف إلى موقع الويب الخاص بك والعمق ، تحتاج إلى:

• إصلاح جميع أخطاء 404 و JS وأخطاء الصفحة الأخرى ؛

يمكن أن يؤدي الكم الهائل من أخطاء الصفحة إلى إبطاء سرعة زاحف Google بشكل ملحوظ. للعثور على جميع أخطاء الموقع الرئيسية ، قم بتسجيل الدخول إلى لوحة أدوات مشرفي المواقع من Google (Bing و Yandex) واتبع جميع الإرشادات الواردة هنا.

• تحسين ترقيم الصفحات

في حالة وجود قوائم ترقيم صفحات طويلة جدًا ، أو إذا كان مخطط ترقيم الصفحات الخاص بك لا يسمح بالنقر فوق أكثر من صفحتين أسفل القائمة ، فمن المحتمل أن يتوقف زاحف محرك البحث عن التنقيب في مثل هذه الكومة من الصفحات.

أيضًا ، إذا كان هناك عدد قليل من العناصر في هذه الصفحة ، فيمكن اعتبارها ذات محتوى ضعيف ، ولن يتم الزحف إليها.

• تحقق من مرشحات التنقل ؛

قد تأتي بعض أنظمة التنقل مع عوامل تصفية متعددة تنشئ صفحات جديدة (على سبيل المثال ، الصفحات التي تمت تصفيتها بواسطة التنقل متعدد الطبقات). على الرغم من أن مثل هذه الصفحات قد تحتوي على حركة مرور عضوية ، إلا أنها يمكن أن تخلق أيضًا حملًا غير مرغوب فيه على برامج الزحف لمحركات البحث.

أفضل طريقة لحل هذه المشكلة هي تقييد الروابط المنتظمة للقوائم المصفاة. من الناحية المثالية ، يجب أن تستخدم 1-2 مرشحات كحد أقصى. على سبيل المثال ، إذا كان لديك متجر به 3 فلاتر LN (اللون / الحجم / الجنس) ، يجب أن تسمح بتركيبة منهجية لمرشحين فقط (على سبيل المثال ، حجم اللون ، وحجم الجنس). إذا كنت بحاجة إلى إضافة مجموعات من المزيد من المرشحات ، فيجب عليك إضافة روابط إليها يدويًا.

• تحسين معلمات التتبع في عناوين URL ؛

يمكن لمعلمات تتبع عناوين URL المختلفة (على سبيل المثال ، "؟ source = thispage") إنشاء اعتراضات لبرامج الزحف ، لأنها تولد قدرًا هائلاً من عناوين URL الجديدة. إذا كانت هذه المشكلة نموذجية بالنسبة للصفحات التي تحتوي على كتل "منتجات مماثلة" أو "قصص ذات صلة" ، حيث يتم استخدام هذه المعلمات لتتبع سلوك المستخدمين.

لتحسين كفاءة الزحف في هذه الحالة ، يُنصح بنقل معلومات التتبع خلف "#" في نهاية عنوان URL. بهذه الطريقة ، سيبقى عنوان URL هذا بدون تغيير. بالإضافة إلى ذلك ، من الممكن أيضًا إعادة توجيه عناوين URL مع معلمات التتبع إلى عناوين URL نفسها ولكن بدون تتبع.

• إزالة عمليات إعادة التوجيه 301 الزائدة ؛

لنفترض أن لديك مجموعة كبيرة من عناوين URL المرتبطة بها بدون شرطة مائلة لاحقة. عندما يزور روبوت محرك البحث هذه الصفحات ، تتم إعادة توجيهه إلى الإصدار بشرطة مائلة.

وبالتالي ، يتعين على الروبوت أن يقوم بضعف ما يفترض أن يفعله ، وفي النهاية يمكنه الاستسلام والتوقف عن الزحف. لتجنب ذلك ، حاول فقط تحديث جميع الروابط داخل موقعك كلما قمت بتغيير عناوين URL.

أولوية الزحف

كما ذكر أعلاه ، تعطي Google الأولوية لمواقع الويب للزحف. لذلك فلا عجب أنه يفعل الشيء نفسه مع الصفحات داخل موقع ويب تم الزحف إليه.

بالنسبة لغالبية مواقع الويب ، الصفحة ذات الأولوية القصوى للزحف هي الصفحة الرئيسية.

ومع ذلك ، كما ذكرنا سابقًا ، في بعض الحالات يمكن أن تكون أيضًا الفئة الأكثر شيوعًا أو صفحة المنتج الأكثر زيارة. للعثور على الصفحات التي تحصل على عدد أكبر من عمليات الزحف بواسطة Googlebot ، ما عليك سوى إلقاء نظرة على سجلات الخادم.

على الرغم من أن Google لا تعلن رسميًا أن العوامل التي من المفترض أن تؤثر على أولوية الزحف لصفحة الموقع هي:

• التضمين في خريطة موقع XML (وإضافة علامات الأولوية * لأهم الصفحات) ،
• عدد الروابط الواردة ،
• عدد الروابط الداخلية ،
• شعبية الصفحة (عدد الزيارات) ،
• رتبة صفحة.

ولكن حتى بعد أن تمهد الطريق أمام روبوتات محرك البحث للزحف إلى موقع الويب الخاص بك ، فقد يستمرون في تجاهله. تابع القراءة لمعرفة السبب.

لفهم كيفية أولوية الزحف بشكل أفضل ، شاهد هذه الكلمة الرئيسية الافتراضية من قبل Gary Illyes.

عند الحديث عن علامات الأولوية في خريطة موقع XML ، يمكن إضافتها يدويًا ، أو بمساعدة الوظائف المضمنة للنظام الأساسي الذي يعتمد عليه موقعك. أيضًا ، تدعم بعض الأنظمة الأساسية ملحقات / تطبيقات خريطة موقع XML التابعة لجهات خارجية التي تبسط العملية.
باستخدام علامة أولوية خريطة موقع XML ، يمكنك تعيين القيم التالية لفئات مختلفة من صفحات الموقع:

• 0.0-0.3 لصفحات المرافق والمحتوى القديم وأي صفحات ذات أهمية ثانوية ،
• 0.4-0.7 لمقالات مدونتك ، والأسئلة الشائعة والصفحات المعرفية ، وصفحات الفئات والفئات الفرعية ذات الأهمية الثانوية ، و
• 0.8-1.0 لفئات موقعك الرئيسية والصفحات المقصودة الرئيسية والصفحة الرئيسية.

الوجبات الجاهزة

• لدى Google رؤيتها الخاصة حول أولويات عملية الزحف.
• يجب أن تكون الصفحة التي من المفترض أن تدخل في فهرس محرك البحث على بعد 1-4 نقرات من الصفحة الرئيسية أو فئات الموقع الرئيسية أو صفحات الموقع الأكثر شيوعًا.
• لمنع Googlebot من التباطؤ وتحسين ميزانية الزحف إلى موقع الويب وعمق الزحف ، يجب عليك العثور على أخطاء 404 و JS وأخطاء الصفحات الأخرى وإصلاحها ، وتحسين ترقيم الصفحات وفلاتر التنقل ، وإزالة عمليات إعادة التوجيه 301 الزائدة وتحسين معلمات التتبع في عناوين URL.
• لتعزيز أولوية الزحف لصفحة الموقع المهمة ، تأكد من تضمينها في خريطة موقع XML (مع علامات الأولوية) ومرتبطة جيدًا بصفحات الموقع الأخرى ، ولها روابط قادمة من مواقع ويب أخرى ذات صلة وموثوقة.

الخرافة الثالثة. يمكن لخريطة موقع XML حل جميع مشكلات الزحف والفهرسة.

على الرغم من كونها أداة اتصال جيدة تنبه Google بشأن عناوين URL الخاصة بموقعك وطرق الوصول إليها ، فإن خريطة موقع XML لا تقدم أي ضمان بأن موقعك ستتم زيارته بواسطة روبوتات محرك البحث (ناهيك عن تضمين جميع صفحات الموقع في الفهرس) .

أيضًا ، يجب أن تفهم أن خرائط المواقع لن تساعدك على تحسين تصنيفات موقعك. حتى إذا تم الزحف إلى الصفحة وإدراجها في فهرس محرك البحث ، فإن أداء ترتيبها يعتمد على العديد من العوامل الأخرى (الروابط الداخلية والخارجية ، والمحتوى ، وجودة الموقع ، وما إلى ذلك).

ومع ذلك ، عند استخدامها بشكل صحيح ، يمكن لخريطة موقع XML تحسين كفاءة الزحف إلى موقعك بشكل كبير. فيما يلي بعض النصائح حول كيفية تعظيم إمكانات تحسين محركات البحث لهذه الأداة.

كن متسقا

عند إنشاء خريطة موقع ، تذكر أنه سيتم استخدامها كخريطة طريق لبرامج الزحف من Google. ومن ثم ، من المهم عدم تضليل محرك البحث من خلال توفير الاتجاهات الخاطئة.

على سبيل المثال ، قد تقوم أحيانًا بتضمين بعض صفحات الأدوات المساعدة في خريطة موقع XML الخاصة بك ( اتصل بنا ، أو صفحات TOS ، وصفحات تسجيل الدخول ، واستعادة صفحة كلمة المرور المفقودة ، وصفحات لمشاركة المحتوى ، وما إلى ذلك).

عادةً ما يتم إخفاء هذه الصفحات من الفهرسة باستخدام العلامات الوصفية noindex robots أو غير مسموح بها في ملف robots.txt.

لذلك ، فإن تضمينها في خريطة موقع XML لن يؤدي إلا إلى إرباك Googlebots ، مما قد يؤثر سلبًا على عملية جمع المعلومات حول موقع الويب الخاص بك.

قم بالتحديث بانتظام

تتغير معظم مواقع الويب كل يوم تقريبًا. موقع خاص للتجارة الإلكترونية يحتوي على منتجات وفئات تتنقل بانتظام داخل وخارج الموقع.

لإبقاء Google على اطلاع جيد ، تحتاج إلى تحديث خريطة موقع XML الخاصة بك.

تحتوي بعض الأنظمة الأساسية (Magento و Shopify) إما على وظائف مدمجة تسمح لك بتحديث خرائط مواقع XML الخاصة بك بشكل دوري ، أو دعم بعض حلول الجهات الخارجية القادرة على القيام بهذه المهمة.

على سبيل المثال ، في Magento 2 ، يمكنك تواتر دورات تحديث خريطة الموقع. عندما تحدده في إعدادات تكوين النظام الأساسي ، فإنك تشير إلى الزاحف بأن صفحات موقعك يتم تحديثها في فترة زمنية معينة (كل ساعة ، أسبوعيًا ، شهريًا) ، ويحتاج موقعك إلى زحف آخر.

انقر هنا لمعرفة المزيد عنها.

لكن تذكر أنه على الرغم من أن تحديد الأولوية والتردد لتحديثات خريطة الموقع يساعد ، فقد لا يلحقون بالتغييرات الحقيقية ولا يقدمون صورة حقيقية في بعض الأحيان.

لهذا السبب تأكد من أن خريطة موقعك تعكس جميع التغييرات التي تم إجراؤها مؤخرًا.

قسّم محتوى الموقع وعيّن أولويات الزحف الصحيحة

تعمل Google جاهدة لقياس جودة الموقع الإجمالية وتعرض فقط أفضل مواقع الويب وأكثرها صلة.

ولكن كما يحدث غالبًا ، لا يتم إنشاء جميع المواقع على قدم المساواة وقادرة على تقديم قيمة حقيقية.

لنفترض أن موقع الويب قد يتكون من 1000 صفحة ، و 50 منها فقط هي بدرجة «أ». أما البرامج الأخرى فهي إما وظيفية بحتة أو بها محتوى قديم أو لا تحتوي على محتوى على الإطلاق.

إذا بدأت Google في استكشاف مثل هذا الموقع ، فمن المحتمل أن تقرر أنه مهمل للغاية بسبب النسبة العالية من الصفحات ذات القيمة المنخفضة أو غير المرغوب فيها أو القديمة.

لهذا السبب عند إنشاء خريطة موقع XML ، يُنصح بتقسيم محتوى موقع الويب وتوجيه روبوتات محرك البحث فقط إلى مناطق الموقع الجديرة بالاهتمام.

وكما قد تتذكر ، فإن علامات الأولوية ، المخصصة لأهم صفحات الموقع في خريطة موقع XML الخاصة بك ، يمكن أن تكون مفيدة أيضًا.

الوجبات الجاهزة

• عند إنشاء ملف sitemap ، تأكد من عدم تضمين الصفحات المخفية من الفهرسة باستخدام العلامات الوصفية noindex robots أو غير مسموح بها في ملف robots.txt.
• قم بتحديث خرائط مواقع XML (يدويًا أو تلقائيًا) بعد إجراء التغييرات في بنية موقع الويب ومحتواه.
• قسّم محتوى موقعك لتضمين صفحات التقدير «أ» فقط في خريطة الموقع.
• تعيين أولوية الزحف لأنواع الصفحات المختلفة.

هذا هو الأساس.

هل لديك ما تقوله حول هذا الموضوع؟ لا تتردد في مشاركة رأيك حول الزحف أو الفهرسة أو خرائط المواقع في قسم التعليقات أدناه.