Оптимизация краулингового бюджета: 8 советов, как не тратить краулинговый бюджет

Что такое краулинговый бюджет?

Ваш краулинговый бюджет – это количество страниц вашего сайта, которые Google сканирует в любой день. Он основан на вашем лимите скорости сканирования и спросе на сканирование.

Ограничение скорости сканирования — это количество страниц, которые Google может сканировать, не влияя на работу вашего сайта с пользователями. По сути, Google не хочет перегружать ваш сервер запросами, поэтому он находит золотую середину между тем, что может обработать ваш сервер (ресурсы вашего сервера), и тем, сколько он «хочет» сканировать ваш сайт.

Ваша потребность в сканировании определяется тем, насколько популярен URL-адрес и его актуальность. Если URL-адрес устарел и мало кто его ищет, Google будет сканировать его реже.

Хотя вы не можете повлиять на скорость сканирования, вы можете повлиять на спрос на сканирование, создавая новый контент, оптимизируя свой сайт с помощью передовых методов SEO и решая проблемы SEO, такие как ошибки 404 и ненужные перенаправления.

Что такое оптимизация краулингового бюджета?

Оптимизация краулингового бюджета — это процесс упрощения доступа, сканирования и индексирования вашего сайта роботом Google за счет улучшения навигации поискового робота и сокращения краулингового бюджета. Это включает в себя сокращение количества ошибок и неработающих ссылок, улучшение внутренней перелинковки, запрет на индексирование дублированного контента и многое другое.

Бюджет сканирования может стать проблемой, если Google сканирует недостаточное количество страниц на вашем сайте или сканирует их недостаточно часто.

Поскольку у него есть только определенное количество ресурсов для работы, Google может выделять только определенное количество сканирований для любого сайта в любой день. Если у вас большой сайт, это означает, что у Google могут быть ресурсы для ежедневного сканирования небольшой части страниц вашего сайта. Это может повлиять на то, сколько времени потребуется для индексации ваших страниц или для отражения обновлений контента в рейтинге Google.

К счастью, если вы считаете, что ваш сайт может страдать от проблем с краулинговым бюджетом Google, есть определенные вещи, которые вы можете сделать, чтобы оптимизировать свой сайт и максимально эффективно использовать краулинговый бюджет.

Как проверить отчет о статистике сканирования

Вы можете определить проблемы с бюджетом сканирования, проверив статистику сканирования в Google Search Console или проанализировав журналы файлов вашего сервера.

Просмотр отчета о сканировании в Google Search Console поможет вам лучше понять, как робот Googlebot взаимодействует с вашим сайтом. Вот как вы можете использовать его, чтобы увидеть, чем занимается поисковый робот Google.

Откройте Google Search Console, войдите в систему и выберите свой веб-сайт. Затем выберите опцию «Настройки» в меню Search Console.

Вы можете просмотреть отчет о сканировании за последние 90 дней в разделе статистики сканирования. Откройте его, нажав «Открыть отчет».

Что означает ваш отчет о статистике сканирования

Теперь, когда вы видите активность робота Googlebot, пришло время расшифровать данные. Ниже приведен краткий обзор информации, которую можно получить из отчета о сканировании.

Основная диаграмма сканирования покажет вам визуальное представление активности сканирования Googlebot. Здесь вы можете увидеть (1) сколько запросов на сканирование было отправлено Google за последние 90 дней и (2) среднее время ответа сервера вашего сайта и общее количество байтов, загруженных во время сканирования.

Раздел «Статус хоста» (3) сообщит вам, если сканер столкнулся с какими-либо проблемами доступности при доступе к вашему веб-сайту.

Зеленый кружок с белой галочкой означает, что робот Googlebot не обнаружил проблем и указывает на то, что ваш хост работает без сбоев.

Белый кружок с зеленой галочкой означает, что робот Googlebot столкнулся с проблемой более недели назад, но сейчас все работает нормально.

Красный кружок с белым восклицательным знаком указывает на то, что за последнюю неделю робот Googlebot столкнулся как минимум с одной серьезной проблемой.

Разбивка запросов на сканирование предоставляет более подробную информацию о том, как сканеры Google взаимодействовали с вашим сайтом.

По ответу

Первый раздел, на который следует обратить внимание, — это раздел «По ответам». В этом разделе рассказывается, какие ответы получил робот Googlebot при попытке просканировать страницы вашего сайта. Google считает хорошими следующие ответы:

• ОК (200)
• Переехал навсегда (301)
• Временно переехал (302)
• Переехал (другое)
• Не модифицировано (304)

В идеале, большинство ответов должно быть 200 (некоторые 301 тоже подходят). Такие коды, как «Не найдено (404)», предупреждают о том, что на вашем веб-сайте, вероятно, есть тупики, которые могут повлиять на ваш краулинговый бюджет.

Тип файла

В разделе "По типу файла" указано, с каким типом файла робот Googlebot столкнулся во время сканирования. Процентные значения, которые вы видите, представляют процент ответов этого типа, а не процент байтов каждого типа файла.

По назначению

В разделе «По назначению» указано, была ли просканированная страница той, которую сканер видел раньше (обновление), или новой для сканера (обнаружение).

По типу робота Google

Наконец, в разделе «По типу робота Google» рассказывается о типах агентов сканирования роботов Google, которые используются для выполнения запросов и сканирования вашего сайта. Например, тип «Смартфон» указывает на посещение сайта поисковым роботом Google для смартфонов, а тип «AdsBot» указывает на сканирование одним из поисковых роботов Google AdsBot. В качестве примечания: вы всегда можете отключить определенные типы роботов Google от сканирования вашего веб-сайта, отредактировав файл robots.txt.

Ознакомьтесь с руководством Google по отчетам о сканировании Search Console, если вы хотите узнать больше о том, как интерпретировать данные в отчете о сканировании.

Как понять, что вы тратите впустую свой краулинговый бюджет

Быстрый способ определить, поможет ли оптимизация краулингового бюджета роботу Googlebot сканировать больше ваших страниц, — посмотреть, какой процент страниц вашего сайта фактически сканируется в день.

Узнайте, сколько именно уникальных страниц у вас есть на вашем сайте, и разделите его на число «среднее число просканированных в день». Если общее количество страниц в десять или более раз превышает количество страниц, просканированных за день, вам следует подумать об оптимизации краулингового бюджета.

Если вы считаете, что у вас проблемы с бюджетом сканирования, начните с просмотра раздела "По ответам", чтобы узнать, с какими ошибками может столкнуться сканер. Вам, вероятно, потребуется провести более глубокий анализ, чтобы увидеть, что именно съедает ваш бюджет. Просмотр журналов вашего сервера может дать вам больше информации о том, как сканер взаимодействует с вашим сайтом.

Проверьте журналы вашего сервера

Еще один способ проверить, тратите ли вы краулинговый бюджет впустую, — просмотреть журналы сервера вашего сайта. В этих журналах хранится каждый запрос к вашему веб-сайту, включая запросы, которые робот Googlebot отправляет при сканировании вашего сайта. Анализ журналов вашего сервера может сказать вам, как часто Google сканирует ваш веб-сайт, к каким страницам поисковый робот обращается чаще всего и с какими типами ошибок столкнулся робот-обходчик.

Вы можете проверить эти журналы вручную, хотя поиск этих данных может быть немного утомительным. К счастью, несколько различных инструментов анализа журналов могут помочь вам отсортировать и осмыслить ваши данные журнала, например, анализатор файлов журнала SEMRush или анализатор файлов журнала Screaming Frog SEO.

Оптимизация краулингового бюджета SEO: 8 способов оптимизировать краулинговый бюджет

Вы обнаружили потраченный впустую краулинговый бюджет? Стратегии SEO-оптимизации краулингового бюджета могут помочь вам сократить потери. Вот восемь советов, которые помогут вам оптимизировать краулинговый бюджет SEO для повышения производительности.

1. Finetune Robots.txt и теги Meta Robots

Один из способов сократить краулинговый бюджет впустую — запретить поисковому роботу Google сканировать определенные страницы. Удерживая робота Googlebot от страниц, которые вы не хотите индексировать, вы можете сосредоточить его внимание на более важных страницах.

Файл robots.txt устанавливает границы для поисковых роботов, объявляя, какие страницы вы хотите сканировать, а какие запрещены. Добавление команды disallow в файл robots.txt заблокирует поисковым роботам доступ, сканирование и индексацию указанных подкаталогов, если только на эти страницы нет ссылок.

На уровне страницы вы можете использовать метатеги robots, чтобы не индексировать определенные страницы. Тег noindex позволяет роботу Googlebot получать доступ к вашей странице и переходить по ее ссылкам на нее, но сообщает роботу Googlebot воздержаться от индексации самой страницы. Этот тег входит непосредственно в элемент <head> вашего HTML-кода и выглядит следующим образом:

 <meta name=”robots” content=”noindex” />

2. Сократите содержание

Размещение малоценных URL-адресов или дублирующегося контента на вашем сайте может привести к увеличению вашего краулингового бюджета. Глубокое изучение страниц вашего веб-сайта может помочь вам определить ненужные страницы, которые могут расходовать краулинговый бюджет и препятствовать сканированию и индексированию более ценного контента.

Что квалифицируется как URL-адрес с низким значением? По данным Google, URL-адреса с низким значением обычно попадают в одну из нескольких категорий:

• Дублированный контент
• Идентификаторы сеанса
• Страницы программных ошибок
• Взломанные страницы
• Низкое качество и спам

Дублированный контент не всегда легко идентифицировать. Если большая часть контента на странице такая же, как и на другой странице — даже если вы добавили больше контента или изменили некоторые слова — Google сочтет его заметно похожим. Используйте метатеги noindex и канонические теги, чтобы указать, какая страница является исходной и должна быть проиндексирована.

Обновляя, удаляя или не индексируя контент, который может быть зарегистрирован как малоценный, вы даете роботу Googlebot больше возможностей для сканирования действительно важных страниц вашего сайта.

3. Удалить или визуализировать JavaScript

У робота Googlebot нет проблем с чтением HTML, однако ему необходимо отобразить JavaScript, прежде чем он сможет его прочитать и проиндексировать. Таким образом, вместо того, чтобы сканировать и индексировать элемент JavaScript на странице, Google сканирует содержимое HTML на странице, а затем помещает страницу в очередь рендеринга. Когда у него есть время и ресурсы для рендеринга, он рендерит JavaScript и «читает» его, а затем, наконец, индексирует. Этот дополнительный шаг занимает не только больше времени, но и больше краулингового бюджета.

JavaScript также может влиять на время загрузки вашей страницы, а поскольку скорость сайта и загрузка сервера влияют на ваш краулинговый бюджет, Google может сканировать ваш сайт реже, чем вам хотелось бы, если он перегружен слишком большим количеством JavaScript.

Чтобы сэкономить краулинговый бюджет, вы можете не индексировать страницы с помощью JavaScript, удалять элементы JavaScript или использовать такой инструмент, как Prerender, который отображает динамический контент JavaScript как статический HTML и упрощает его понимание и сканирование Google.

4. Удалите цепочки переадресации 301

301 переадресация — это полезный и оптимизированный для SEO способ передачи трафика и ссылочного веса с URL-адреса, который вы хотите удалить, на другой соответствующий URL-адрес.

Однако легко случайно создать цепочки перенаправлений, если вы не отслеживаете свои перенаправления. Это может не только привести к увеличению времени загрузки для посетителей вашего сайта, но также может привести к тому, что сканеры будут сканировать несколько URL-адресов только для доступа к одной странице фактического контента. Это означает, что Google должен будет сканировать каждый URL-адрес в цепочке перенаправления, чтобы перейти на целевую страницу, расходуя при этом ваш краулинговый бюджет.

Чтобы предотвратить это, убедитесь, что все ваши перенаправления указывают на конечный пункт назначения. Всегда рекомендуется избегать использования цепочек перенаправления, когда это возможно. Тем не менее, ошибки случаются, поэтому найдите время, чтобы просмотреть свой сайт вручную или использовать инструмент проверки перенаправления, чтобы обнаружить и очистить любые цепочки перенаправления 301.

5. Следуйте рекомендациям по XML Sitemap

Ваша карта сайта предоставляет поисковым роботам доступ ко всем важным страницам — или, по крайней мере, должна. Поисковые системы сканируют карты сайта, чтобы легко находить страницы. Хотя Google говорит, что для поиска ваших страниц он не нужен, все же рекомендуется его поддерживать.

Для правильной работы ваша карта сайта должна включать только те страницы, которые вы хотите проиндексировать. Вы должны удалить любые неиндексированные или перенаправленные URL-адреса из вашей карты сайта. Самый простой способ сделать это — создать динамическую карту сайта в формате XML. Динамически генерируемые карты сайта обновляются сами по себе, поэтому вам не нужно беспокоиться о редактировании своей карты после каждого внедрения 301.

Если на вашем сайте есть несколько подкаталогов, используйте индекс карты сайта, в котором размещены ссылки на карты сайта каждого из ваших подкаталогов. Это помогает продемонстрировать архитектуру вашего веб-сайта и обеспечивает простую дорожную карту для поисковых роботов.

6. Создайте стратегию внутренних ссылок

Внутренние ссылки не просто помогают посетителям сайта ориентироваться; они также создают более четкий путь движения для поисковых роботов.

Хорошо разработанная стратегия внутренних ссылок может направить поисковые роботы на страницы, которые вы хотите просканировать. Поскольку поисковые роботы используют ссылки для поиска других страниц, связывание более глубоких страниц с контентом более высокого уровня может помочь поисковому роботу получить к ним доступ быстрее. В то же время удаление ссылок со страниц с низким приоритетом, которые вы не хотите тратить на краулинговый бюджет, может помочь отодвинуть их в конец очереди и гарантировать, что ваши важные страницы будут просканированы первыми.

7. Исправьте ошибки сайта

Ошибки сайта могут сбить с толку поисковых роботов и растратить ценный краулинговый бюджет. В идеале вы хотите, чтобы краулер обнаружил либо фактическую страницу, либо однократное перенаправление на эту страницу. Если он сталкивается с цепочками перенаправлений или страницей с ошибкой 404, значит, вы тратите впустую краулинговый бюджет.

Используйте отчет о сканировании Google Search Console, чтобы определить, где сканер сталкивается с ошибками и какие они бывают. Устранение любых идентифицируемых ошибок упростит сканирование для робота Googlebot.

8. Проверьте наличие неработающих ссылок

URL-адрес — это, по сути, мост между двумя страницами. Он предоставляет сканеру поисковой системы путь для поиска новых страниц, но некоторые URL-адреса никуда не ведут. Неработающая ссылка — это тупик для сканеров поисковых систем и пустая трата вашего ограниченного краулингового бюджета.

Потратьте некоторое время, чтобы проверить свой сайт на наличие неработающих ссылок, которые могут отправлять поисковые роботы на мертвые страницы, и исправить или удалить их. Помимо сокращения краулингового бюджета, вы также улучшите работу посетителей, удалив неработающие ссылки, поэтому периодическая проверка ссылок — всегда хорошая идея.

Остановите потраченный впустую краулинговый бюджет с помощью SEO-аудита

Чувствуете себя подавленным или не знаете, с чего начать оптимизацию краулингового бюджета вашего сайта или общего SEO? Нет необходимости идти в одиночку. Закажите консультацию с Victorious сегодня, и наши специалисты помогут вам провести SEO-аудит и разработать стратегию оптимизации SEO вашего сайта.