تحسين ميزانية الزحف: 8 نصائح لوقف إهدار ميزانية الزحف

ما هي ميزانية الزحف؟

تشير ميزانية الزحف إلى عدد صفحات موقعك التي يزحف إليها محرك بحث Google في أي يوم محدد. يعتمد على حد معدل الزحف وطلب الزحف.

حد معدل الزحف الخاص بك هو عدد الصفحات التي يمكن لـ Google الزحف إليها دون التأثير على تجربة المستخدم لموقعك على الويب. بشكل أساسي ، لا تريد Google زيادة تحميل الخادم بالطلبات ، لذا فهي تجد وسيطًا سعيدًا بين ما يمكن لخادمك التعامل معه (موارد الخادم) ومقدار ما "يريده" من الزحف إلى موقعك.

يتم تحديد طلب الزحف الخاص بك من خلال مدى شيوع عنوان URL وحداثته. إذا كان عنوان URL قديمًا وكان عدد قليل من الأشخاص يبحثون عنه ، فسوف يزحف إليه محرك بحث Google بشكل أقل تكرارًا.

بينما لا يمكنك التأثير على معدل الزحف الخاص بك ، يمكنك التأثير على طلب الزحف الخاص بك عن طريق إنشاء محتوى جديد ، وتحسين موقعك باستخدام أفضل ممارسات تحسين محركات البحث ، ومعالجة مشكلات تحسين محركات البحث مثل 404s وعمليات إعادة التوجيه غير الضرورية.

ما هو تحسين ميزانية الزحف؟

تحسين ميزانية الزحف هو عملية تسهيل وصول Googlebot إلى موقعك والزحف إليه وفهرسته عن طريق تحسين قابلية تنقل زاحف البحث وتقليل إهدار ميزانية الزحف. يتضمن ذلك تقليل الأخطاء والروابط المعطلة ، وتحسين الارتباط الداخلي ، ومنع فهرسة المحتوى المكرر ، والمزيد.

يمكن أن تصبح ميزانية الزحف مشكلة عندما لا يزحف محرك بحث Google إلى عدد كافٍ من الصفحات الموجودة على موقعك أو عندما لا يزحف إليها بشكل متكرر بما يكفي.

نظرًا لأنه يحتوي على عدد معين فقط من الموارد للعمل معها ، يمكن لـ Google تخصيص الكثير من عمليات الزحف إلى أي موقع معين في أي يوم محدد. إذا كان لديك موقع كبير ، فهذا يعني أن Google قد تمتلك فقط الموارد اللازمة للزحف إلى جزء صغير من صفحات موقعك يوميًا. يمكن أن يؤثر ذلك على المدة التي تستغرقها صفحاتك ليتم فهرستها أو حتى تنعكس تحديثات المحتوى في تصنيفات Google.

لحسن الحظ ، إذا كنت تعتقد أن موقعك قد يكون يعاني من مشكلات ميزانية الزحف من Google ، فهناك بعض الأشياء التي يمكنك القيام بها لتحسين موقعك وتحقيق أقصى استفادة من ميزانية الزحف الخاصة بك.

كيفية التحقق من تقرير إحصائيات الزحف

يمكنك تحديد مشكلات ميزانية الزحف عن طريق التحقق من إحصائيات الزحف في Google Search Console أو عن طريق تحليل سجلات ملفات الخادم.

يمكن أن يساعدك عرض تقرير إحصائيات الزحف في Google Search Console على فهم كيفية تفاعل Googlebot مع موقعك على الويب بشكل أفضل. وإليك كيف يمكنك استخدامه لمعرفة ما الذي كان يقوم به زاحف Google.

افتح Google Search Console ، وقم بتسجيل الدخول ، واختر موقع الويب الخاص بك. ثم حدد خيار "الإعدادات" من قائمة Search Console.

يمكنك الاطلاع على تقرير الزحف الخاص بك لآخر 90 يومًا ضمن قسم إحصائيات الزحف. افتحه بالنقر فوق "فتح تقرير".

ماذا يعني تقرير إحصائيات الزحف

الآن وبعد أن أصبح بإمكانك رؤية نشاط Googlebot ، فقد حان الوقت لفك تشفير البيانات. فيما يلي تحليل سريع لنوع المعلومات التي يمكنك الحصول عليها من تقرير الزحف الخاص بك.

سيعرض لك مخطط الزحف الرئيسي تمثيلًا مرئيًا لنشاط الزحف لبرنامج Googlebot. يمكنك هنا مشاهدة (1) عدد طلبات الزحف التي قدمتها Google على مدار آخر 90 يومًا و (2) متوسط ​​وقت استجابة خادم موقعك وإجمالي عدد وحدات البايت التي تم تنزيلها أثناء الزحف.

سيتيح لك قسم "حالة المضيف" (3) معرفة ما إذا كان الزاحف قد واجه أية مشكلات تتعلق بالتوافر أثناء الوصول إلى موقع الويب الخاص بك.

تعني الدائرة الخضراء بعلامة اختيار بيضاء أن Googlebot لم يواجه أية مشكلات وتشير إلى أن مضيفك يعمل بسلاسة.

تشير الدائرة البيضاء بعلامة اختيار خضراء إلى أن Googlebot واجه مشكلة منذ أكثر من أسبوع ، ولكن كل شيء يسير على ما يرام الآن.

تشير الدائرة الحمراء بعلامة تعجب بيضاء إلى أن Googlebot قد واجه مشكلة واحدة على الأقل خلال الأسبوع الماضي.

يوفر تصنيف طلبات الزحف بعض المعلومات الأكثر تفصيلاً حول كيفية تفاعل برامج الزحف من Google مع موقعك.

حسب الرد

القسم الأول الذي يجب النظر إليه هو قسم "حسب الرد". يخبرك هذا القسم بنوع الردود التي تلقاها Googlebot عند محاولة الزحف إلى الصفحات الموجودة على موقعك. تعتبر Google الردود التالية جيدة:

• حسنًا (200)
• انتقل بشكل دائم (301)
• انتقل مؤقتا (302)
• تم نقله (أخرى)
• غير معدل (304)

من الناحية المثالية ، يجب أن تكون غالبية الردود 200 (بعض الردود 301 جيدة أيضًا). رموز مثل "لم يتم العثور على (404)" تنبيهات باحتمالية وجود طرق مسدودة على موقع الويب الخاص بك قد تؤثر على ميزانية الزحف الخاصة بك.

نوع الملف

يخبرك قسم "حسب نوع الملف" بنوع الملف الذي واجهه Googlebot أثناء الزحف. تمثل قيم النسبة المئوية التي تراها النسبة المئوية للاستجابات من هذا النوع وليس النسبة المئوية للبايت لكل نوع ملف.

حسب الغرض

يشير قسم "حسب الغرض" إلى ما إذا كانت الصفحة التي تم الزحف إليها قد شاهدها الزاحف من قبل (تحديث) أو صفحة جديدة على الزاحف (اكتشاف).

حسب نوع Googlebot

أخيرًا ، يخبرك قسم "By Googlebot type" بأنواع وكلاء زحف Googlebot المستخدمة لتقديم الطلبات والزحف إلى موقعك. على سبيل المثال ، يشير نوع "الهاتف الذكي" إلى زيارة قام بها زاحف الهواتف الذكية من Google ، بينما يشير النوع "AdsBot" إلى زحف أحد برامج زحف AdsBot من Google. كملاحظة جانبية ، يمكنك دائمًا تعطيل أنواع معينة من Googlebots من الزحف إلى موقع الويب الخاص بك عن طريق تحرير ملف robots.txt.

راجع دليل Google لتقارير الزحف في Search Console إذا كنت تريد معرفة المزيد حول كيفية تفسير البيانات في تقرير الزحف الخاص بك.

كيف تتحقق مما إذا كنت تهدر ميزانية الزحف الخاصة بك

هناك طريقة سريعة لتحديد ما إذا كان تحسين ميزانية الزحف سيساعد Googlebot في الزحف إلى المزيد من صفحاتك من خلال معرفة النسبة المئوية لصفحات موقعك التي يتم الزحف إليها فعليًا يوميًا.

اكتشف بالضبط عدد الصفحات الفريدة التي لديك على موقع الويب الخاص بك وقسمها على "متوسط ​​الزحف في اليوم". إذا كان إجمالي عدد الصفحات لديك يبلغ عشرة أضعاف أو أكثر من عدد الصفحات التي يتم الزحف إليها يوميًا ، فيجب أن تفكر في تحسين ميزانية الزحف.

إذا كنت تعتقد أنك تواجه مشكلات تتعلق بالزحف في الميزانية ، فابدأ بالنظر في قسم "حسب الاستجابة" لمعرفة أنواع الأخطاء التي قد يواجهها الزاحف. ستحتاج على الأرجح إلى إجراء تحليل أعمق لترى بالضبط ما يأكل ميزانيتك. يمكن أن يمنحك إلقاء نظرة على سجلات الخادم مزيدًا من المعلومات حول كيفية تفاعل الزاحف مع موقعك.

تحقق من سجلات الخادم الخاص بك

هناك طريقة أخرى للتحقق مما إذا كنت تهدر ميزانية الزحف وهي إلقاء نظرة على سجلات خادم موقعك. تخزن هذه السجلات كل طلب يتم تقديمه إلى موقع الويب الخاص بك ، بما في ذلك الطلبات التي يقدمها Googlebot عندما يقوم بالزحف إلى موقعك. يمكن أن يخبرك تحليل سجلات الخادم بعدد المرات التي يزحف فيها محرك بحث Google إلى موقع الويب الخاص بك ، والصفحات التي يصل إليها الزاحف في أغلب الأحيان ، ونوع الأخطاء التي واجهها روبوت الزاحف.

يمكنك التحقق من هذه السجلات يدويًا ، على الرغم من أن البحث عن هذه البيانات قد يكون مملاً بعض الشيء. لحسن الحظ ، يمكن أن تساعدك العديد من أدوات تحليل السجلات المختلفة في فرز بيانات السجل الخاصة بك وفهمها ، مثل محلل ملفات سجل SEMRush أو محلل ملفات سجل Screaming Frog SEO.

SEO ميزانية الزحف: 8 طرق لتحسين ميزانية الزحف الخاصة بك

هل اكتشفت ميزانية الزحف الضائعة؟ يمكن أن تساعدك استراتيجيات تحسين SEO لميزانية الزحف على الحد من الهدر. فيما يلي ثماني نصائح لمساعدتك على تحسين ميزانية الزحف إلى تحسين محركات البحث لتحسين الأداء.

1. Finetune Robots.txt وعلامات Meta Robots

تتمثل إحدى طرق الحد من ميزانية الزحف المهدرة في منع زاحف Google من الزحف إلى صفحات معينة في المقام الأول. من خلال إبقاء Googlebot بعيدًا عن الصفحات التي لا تريد فهرستها ، يمكنك تركيز انتباهه على صفحاتك الأكثر أهمية.

يعيّن ملف robots.txt حدودًا لبرامج زحف البحث التي تحدد الصفحات التي تريد الزحف إليها وأيها محظور. ستؤدي إضافة أمر disallow إلى ملف robots.txt إلى منع برامج الزحف من الوصول إلى الدلائل الفرعية المحددة والزحف إليها وفهرستها ، ما لم تكن هناك روابط تشير إلى تلك الصفحات.

على مستوى الصفحة ، يمكنك استخدام علامات برامج الروبوت الوصفية لمنع فهرسة صفحات معينة. تسمح علامة noindex لبرنامج Googlebot بالوصول إلى صفحتك وتتبع الروابط الموجودة عليها ، ولكنها تخبر Googlebot بالامتناع عن فهرسة الصفحة نفسها. تنتقل هذه العلامة مباشرة إلى عنصر <head> في كود HTML الخاص بك وتبدو كالتالي:

 <meta name=”robots” content=”noindex” />

2. تقليم المحتوى

يمكن أن تكون استضافة عناوين URL منخفضة القيمة أو محتوى مكررًا على موقعك عبئًا على ميزانية الزحف. يمكن أن يساعدك الغوص العميق في صفحات موقع الويب الخاص بك على تحديد الصفحات غير الضرورية التي قد تستهلك ميزانية الزحف وتمنع الزحف إلى المحتوى الأكثر قيمة وفهرسته.

ما الذي يمكن اعتباره عنوان URL منخفض القيمة؟ وفقًا لـ Google ، عادةً ما تندرج عناوين URL منخفضة القيمة في واحدة من عدة فئات:

• محتوى مكرر
• معرفات الجلسة
• صفحات الأخطاء اللينة
• الصفحات المخترقة
• جودة منخفضة ومحتوى غير مرغوب فيه

ليس من السهل دائمًا تحديد المحتوى المكرر. إذا كان معظم المحتوى على صفحة ما هو نفسه محتوى صفحة أخرى - حتى إذا أضفت المزيد من المحتوى أو غيرت بعض الكلمات - فستعرضه Google على أنها متشابهة بشكل ملحوظ. استخدم علامات noindex الوصفية والعلامات الأساسية للإشارة إلى الصفحة الأصلية التي يجب فهرستها.

من خلال تحديث المحتوى أو إزالته أو noindexing التي قد تسجل على أنها منخفضة القيمة ، فإنك تمنح Googlebot المزيد من الفرص للزحف إلى صفحات موقعك المهمة حقًا.

3. قم بإزالة أو عرض JavaScript

لا يواجه Googlebot مشكلة في قراءة HTML ، ومع ذلك ، يجب عليه عرض JavaScript قبل أن يتمكن من قراءتها وفهرستها. لذلك بدلاً من الزحف إلى عنصر JavaScript وفهرسته على الصفحة ، يزحف محرك بحث Google إلى محتوى HTML على الصفحة ثم يضع الصفحة في قائمة انتظار العرض. عندما يتوفر الوقت والموارد لتكريسها للعرض ، فإنه سيعرض JavaScript و "يقرأها" ، ثم يفهرسها في النهاية. لا تستغرق هذه الخطوة الإضافية مزيدًا من الوقت فحسب - بل إنها تتطلب مزيدًا من ميزانية الزحف.

يمكن أن تؤثر جافا سكريبت أيضًا على أوقات تحميل صفحتك ، ونظرًا لأن سرعة الموقع وتحميل الخادم يؤثران على ميزانية الزحف الخاصة بك ، فقد يزحف محرك بحث Google إلى موقعك بشكل أقل مما تريد إذا تعثر مع الكثير من جافا سكريبت.

للحفاظ على ميزانية الزحف ، لا يمكنك فهرسة الصفحات باستخدام JavaScript أو إزالة عناصر JavaScript الخاصة بك أو استخدام أداة مثل Prerender التي تعرض محتوى JavaScript الديناميكي على هيئة HTML ثابت وتسهل على Google فهمه والزحف إليه.

4. إزالة 301 سلاسل إعادة التوجيه

تعد عمليات إعادة التوجيه 301 طريقة مفيدة وصديقة لكبار المسئولين الاقتصاديين لنقل حركة المرور وربط حقوق الملكية من عنوان URL تريد إزالته إلى عنوان URL آخر ذي صلة.

ومع ذلك ، من السهل إنشاء سلاسل إعادة توجيه بطريق الخطأ إذا كنت لا تتبع عمليات إعادة التوجيه الخاصة بك. لا يؤدي هذا إلى زيادة أوقات التحميل لزوار موقعك فحسب ، بل قد يتسبب أيضًا في قيام برامج الزحف بالزحف إلى عناوين URL متعددة للوصول إلى صفحة واحدة من المحتوى الفعلي. هذا يعني أن Google ستحتاج إلى الزحف إلى كل عنوان URL في سلسلة إعادة التوجيه للوصول إلى الصفحة المقصودة ، مما يستهلك ميزانية الزحف الخاصة بك في هذه العملية.

لمنع ذلك ، تأكد من أن جميع عمليات إعادة التوجيه تشير إلى وجهتها النهائية. من الجيد دائمًا تجنب استخدام سلاسل إعادة التوجيه كلما أمكن ذلك. ومع ذلك ، تحدث أخطاء ، لذا خذ بعض الوقت لتصفح موقعك يدويًا أو استخدم أداة فحص إعادة التوجيه لاكتشاف أي سلاسل إعادة توجيه 301 وتنظيفها.

5. اتبع أفضل الممارسات لخريطة موقع XML

يشارك ملف Sitemap الخاص بك جميع صفحاتك المهمة مع برامج زحف البحث - أو على الأقل يجب أن يكون كذلك. تزحف محركات البحث إلى خرائط المواقع للعثور على الصفحات بسهولة. بينما تقول Google إنها لا تحتاج إلى صفحة واحدة للعثور على صفحاتك ، لا يزال من الجيد الاحتفاظ بها.

لكي تعمل بشكل جيد ، يجب أن يتضمن ملف Sitemap الخاص بك الصفحات التي تريد فهرستها فقط. يجب عليك إزالة أي عناوين URL تم noindexed أو مُعاد توجيهها من ملف Sitemap الخاص بك. طريقة سهلة للقيام بذلك هي باستخدام خريطة موقع XML التي تم إنشاؤها ديناميكيًا. يتم تحديث خرائط المواقع التي تم إنشاؤها ديناميكيًا بنفسها ، لذلك لا داعي للقلق بشأن تعديل ملفك بعد كل 301 تقوم بتنفيذها.

إذا كان لديك عدة أدلة فرعية على موقعك ، فاستخدم فهرس خريطة الموقع الذي يضم روابط لكل من خرائط مواقع الدلائل الفرعية. يساعد هذا في عرض بنية موقع الويب الخاص بك ويوفر خارطة طريق سهلة لتتبعها برامج زحف البحث.

6. إنشاء استراتيجية ربط داخلية

الروابط الداخلية لا تساعد زوار الموقع فقط ؛ كما أنها تخلق مسار حركة أوضح لروبوتات الزاحف.

يمكن لإستراتيجية الارتباط الداخلية المطورة جيدًا أن توجه برامج الزحف نحو الصفحات التي تريد الزحف إليها. نظرًا لأن برامج الزحف تستخدم الروابط للعثور على صفحات أخرى ، فإن ربط الصفحات الأعمق بمحتوى ذي مستوى أعلى يمكن أن يساعد الزاحف في الوصول إليها بسرعة أكبر. في الوقت نفسه ، قد تساعد إزالة الروابط من الصفحات ذات الأولوية المنخفضة التي لا ترغب في تناولها في ميزانية الزحف في دفعها إلى الجزء الخلفي من قائمة الانتظار والتأكد من الزحف إلى صفحاتك المهمة أولاً.

7. إصلاح أخطاء الموقع

يمكن أن تؤدي أخطاء الموقع إلى تعثر برامج زحف البحث وإهدار ميزانية الزحف القيمة. من الناحية المثالية ، تريد أن يواجه الزاحف صفحة فعلية أو إعادة توجيه واحدة إلى تلك الصفحة. إذا كان يتم تشغيله في سلاسل إعادة التوجيه أو صفحة خطأ 404 ، فأنت تهدر ميزانية الزحف.

استخدم تقرير الزحف في Google Search Console لتحديد مكان وقوع أخطاء الزاحف وأنواع الأخطاء التي تقع فيها. سيؤدي التخلص من أي أخطاء يمكن تحديدها إلى إنشاء تجربة زحف أكثر سلاسة لبرنامج Googlebot.

8. تحقق من الروابط المعطلة

عنوان URL هو في الأساس جسر بين صفحتين. إنه يوفر لزاحف محرك البحث مسارًا للعثور على صفحات جديدة - لكن بعض عناوين URL لا تذهب إلى أي مكان. الرابط المعطل هو طريق مسدود لبرامج زحف محركات البحث وإهدار لميزانية الزحف المحدودة الخاصة بك.

خذ بعض الوقت للتحقق من موقعك بحثًا عن الروابط المعطلة التي قد ترسل برامج زحف البحث إلى الصفحات الميتة وتصحيحها أو إزالتها. بالإضافة إلى تقليل إهدار ميزانية الزحف ، ستعمل أيضًا على تحسين تجربة تصفح الزائر عن طريق إزالة الروابط المعطلة ، لذا فإن إجراء فحص دوري للرابط يعد دائمًا فكرة جيدة.

توقف عن إهدار ميزانية الزحف من خلال تدقيق تحسين محركات البحث

هل تشعر بالارتباك أو عدم التأكد من أين تبدأ بتحسين ميزانية الزحف لموقعك أو تحسين محركات البحث العامة؟ ليست هناك حاجة للذهاب بمفردك. احجز استشارة مع Victorious اليوم واسمح لخبرائنا بمساعدتك خلال عملية إجراء تدقيق SEO ووضع استراتيجية لتحسين مُحسّنات محرّكات البحث لموقعك.