Otimização do orçamento de rastreamento: 8 dicas para interromper o orçamento de rastreamento desperdiçado

O que é o orçamento de rastreamento?

Seu orçamento de rastreamento refere-se ao número de páginas do seu site que o Google rastreia em um determinado dia. Ele se baseia no limite da taxa de rastreamento e na demanda de rastreamento.

Seu limite de taxa de rastreamento é o número de páginas que o Google pode rastrear sem afetar a experiência do usuário do seu site. Essencialmente, o Google não quer sobrecarregar seu servidor com solicitações, então ele encontra um meio termo entre o que seu servidor pode manipular (os recursos do servidor) e o quanto ele “quer” rastrear seu site.

Sua demanda de rastreamento é determinada pela popularidade de um URL e sua atualização. Se um URL estiver desatualizado e poucas pessoas estiverem procurando por ele, o Google o rastreará com menos frequência.

Embora você não possa impactar sua taxa de rastreamento, você pode impactar sua demanda de rastreamento criando novos conteúdos, otimizando seu site com as melhores práticas de SEO e resolvendo problemas de SEO como 404s e redirecionamentos desnecessários.

O que é otimização de orçamento de rastreamento?

A otimização do orçamento de rastreamento é o processo de tornar seu site mais fácil para o Googlebot acessar, rastrear e indexar, melhorando a navegabilidade do rastreador de pesquisa e reduzindo o desperdício do orçamento de rastreamento. Isso inclui reduzir erros e links quebrados, melhorar links internos, conteúdo duplicado sem indexação e muito mais.

O orçamento de rastreamento pode se tornar um problema quando o Google não está rastreando o suficiente das páginas do seu site ou não as está rastreando com a frequência necessária.

Como ele tem apenas um certo número de recursos para trabalhar, o Google só pode alocar alguns rastreamentos para um determinado site em um determinado dia. Se você tiver um site grande, isso significa que o Google pode ter apenas os recursos para rastrear diariamente uma pequena fração das páginas do seu site. Isso pode afetar o tempo que leva para que suas páginas sejam indexadas ou que as atualizações de conteúdo sejam refletidas nas classificações do Google.

Felizmente, se você acha que seu site pode estar com problemas de orçamento de rastreamento do Google, há algumas coisas que você pode fazer para otimizar seu site e aproveitar ao máximo seu orçamento de rastreamento.

Como verificar seu relatório de estatísticas de rastreamento

Você pode identificar problemas de orçamento de rastreamento verificando suas estatísticas de rastreamento no Google Search Console ou analisando seus registros de arquivos do servidor.

Visualizar seu relatório de estatísticas de rastreamento no Google Search Console pode ajudar você a entender melhor como o Googlebot está interagindo com seu site. Veja como você pode usá-lo para ver o que o rastreador do Google está fazendo.

Abra o Google Search Console, faça login e escolha seu site. Em seguida, selecione a opção 'Configurações' no menu do Search Console.

Você pode ver seu relatório de rastreamento dos últimos 90 dias na seção de estatísticas de rastreamento. Abra-o clicando em 'Abrir relatório'.

O que significa seu relatório de estatísticas de rastreamento

Agora que você pode ver a atividade do Googlebot, é hora de decodificar os dados. Aqui está um rápido detalhamento do tipo de informação que você pode obter do seu relatório de rastreamento.

O gráfico de rastreamento principal mostrará uma representação visual da atividade de rastreamento do Googlebot. Aqui você pode ver (1) quantas solicitações de rastreamento o Google fez nos últimos 90 dias e (2) o tempo médio de resposta do servidor do seu site e a quantidade total de bytes baixados durante o rastreamento.

A seção 'Status do host' (3) informará se o rastreador encontrou algum problema de disponibilidade ao acessar seu site.

Um círculo verde com uma marca de seleção branca significa que o Googlebot não encontrou problemas e indica que seu host está funcionando sem problemas.

Um círculo branco com uma marca de seleção verde significa que o Googlebot encontrou um problema há mais de uma semana, mas tudo está funcionando bem agora.

Um círculo vermelho com um ponto de exclamação branco indica que o Googlebot encontrou pelo menos um problema significativo na última semana.

O detalhamento das solicitações de rastreamento fornece algumas informações mais detalhadas sobre como os rastreadores do Google estão interagindo com seu site.

Por resposta

A primeira seção a ser observada é a seção 'Por resposta'. Esta seção informa que tipo de respostas o Googlebot recebeu ao tentar rastrear as páginas do seu site. O Google considera as seguintes respostas como boas:

• OK (200)
• Movido permanentemente (301)
• Movido temporariamente (302)
• Movido (outro)
• Não modificado (304)

Idealmente, a maioria das respostas deve ser 200 (algumas 301s também são boas). Códigos como 'Não encontrado (404)' são um aviso de que provavelmente há becos sem saída em seu site, possivelmente afetando seu orçamento de rastreamento.

Tipo de arquivo

A seção "Por tipo de arquivo" informa que tipo de arquivo o Googlebot encontrou durante o rastreamento. Os valores de porcentagem que você vê são representativos da porcentagem de respostas desse tipo e não da porcentagem de bytes de cada tipo de arquivo.

Por Propósito

A seção "Por finalidade" indica se a página rastreada foi uma que o rastreador já viu antes (uma atualização) ou uma nova para o rastreador (uma descoberta).

Por tipo de Googlebot

Por fim, a seção "Por tipo de Googlebot" informa sobre os tipos de agentes de rastreamento do Googlebot usados ​​para fazer solicitações e rastrear seu site. Por exemplo, o tipo 'Smartphone' indica uma visita do rastreador de smartphone do Google, enquanto o tipo 'AdsBot' indica um rastreamento por um dos rastreadores AdsBot do Google. Como observação lateral, você sempre pode impedir que tipos específicos de Googlebots rastreiem seu site editando o arquivo robots.txt.

Confira o guia do Google para relatórios de rastreamento do Search Console se quiser saber mais sobre como interpretar os dados em seu relatório de rastreamento.

Como saber se você está desperdiçando seu orçamento de rastreamento

Uma maneira rápida de determinar se a otimização do orçamento de rastreamento ajudará o Googlebot a rastrear mais páginas é ver qual porcentagem das páginas do seu site está realmente sendo rastreada por dia.

Descubra exatamente quantas páginas exclusivas você tem em seu site e divida pelo número da “média rastreada por dia”. Se você tiver dez ou mais vezes a quantidade total de páginas do que as páginas rastreadas por dia, considere a otimização do orçamento de rastreamento.

Se você acha que está tendo problemas de orçamento de rastreamento, comece analisando a seção "Por resposta" para ver quais tipos de erros o rastreador pode estar enfrentando. Você provavelmente precisará realizar uma análise mais profunda para ver exatamente o que está consumindo seu orçamento. Uma olhada nos logs do servidor pode fornecer mais informações sobre como o rastreador está interagindo com seu site.

Verifique os logs do seu servidor

Outra maneira de verificar se você está desperdiçando o orçamento de rastreamento é examinar os logs do servidor do seu site. Esses registros armazenam todas as solicitações feitas ao seu site, incluindo as solicitações que o Googlebot faz quando rastreia seu site. A análise dos logs do servidor pode informar com que frequência o Google rastreia seu site, quais páginas o rastreador está acessando com mais frequência e que tipo de erros o bot do rastreador encontrou.

Você pode verificar esses logs manualmente, embora pesquisar esses dados possa ser um pouco tedioso. Felizmente, várias ferramentas diferentes de análise de log podem ajudá-lo a classificar e entender seus dados de log, como o analisador de arquivo de log SEMRush ou o analisador de arquivo de log Screaming Frog SEO.

SEO de orçamento de rastreamento: 8 maneiras de otimizar seu orçamento de rastreamento

Você descobriu um orçamento de rastreamento desperdiçado? As estratégias de otimização de SEO do orçamento de rastreamento podem ajudá-lo a reduzir o desperdício. Aqui estão oito dicas para ajudá-lo a otimizar seu orçamento de rastreamento de SEO para um melhor desempenho.

1. Ajustar as tags Robots.txt e Meta Robots

Uma maneira de reduzir o orçamento de rastreamento desperdiçado é impedir que o rastreador do Google rastreie determinadas páginas em primeiro lugar. Ao manter o Googlebot longe das páginas que você não deseja indexar, você pode concentrar sua atenção nas páginas mais importantes.

O arquivo robots.txt define limites para os rastreadores de pesquisa, declarando quais páginas você deseja rastrear e quais estão fora dos limites. Adicionar um comando disallow ao arquivo robots.txt impedirá que os rastreadores acessem, rastreiem e indexem os subdiretórios especificados, a menos que haja links apontando para essas páginas.

No nível da página, você pode usar meta tags de robôs para não indexar páginas específicas. Uma tag noindex permite que o Googlebot acesse sua página e siga seus links nela, mas diz ao Googlebot para abster-se de indexar a própria página. Essa tag vai diretamente para o elemento <head> do seu código HTML e se parece com isso:

 <meta name=”robots” content=”noindex” />

2. Podar Conteúdo

Hospedar URLs de baixo valor ou conteúdo duplicado em seu site pode atrapalhar seu orçamento de rastreamento. Um mergulho profundo nas páginas do seu site pode ajudar você a identificar páginas desnecessárias que podem consumir o orçamento de rastreamento e impedir que conteúdo mais valioso seja rastreado e indexado.

O que se qualifica como um URL de baixo valor? De acordo com o Google, URLs de baixo valor normalmente se enquadram em uma das várias categorias:

• Conteúdo duplicado
• Identificadores de sessão
• Páginas de erro suave
• Páginas invadidas
• Conteúdo de baixa qualidade e spam

Conteúdo duplicado nem sempre é fácil de identificar. Se a maior parte do conteúdo de uma página for igual ao de outra página - mesmo que você tenha adicionado mais conteúdo ou alterado algumas palavras - o Google o verá como sensivelmente semelhante. Faça uso de metatags noindex e tags canônicas para indicar qual página é a original que deve ser indexada.

Ao atualizar, remover ou não indexar conteúdo que pode ser registrado como de baixo valor, você oferece ao Googlebot mais oportunidades de rastrear as páginas do seu site que são realmente importantes.

3. Remova ou renderize JavaScript

O Googlebot não tem problemas para ler HTML, no entanto, ele precisa renderizar o JavaScript antes de poder lê-lo e indexá-lo. Portanto, em vez de rastrear e indexar um elemento JavaScript em uma página, o Google rastreia o conteúdo HTML na página e a coloca em uma fila de renderização. Quando tiver tempo e recursos para dedicar à renderização, ele renderizará o JavaScript e o “lerrá” e, finalmente, o indexará. Essa etapa extra não leva apenas mais tempo - exige mais orçamento de rastreamento.

O JavaScript também pode afetar os tempos de carregamento da página e, como a velocidade do site e o carregamento do servidor afetam seu orçamento de rastreamento, o Google pode rastrear seu site com menos frequência do que você gostaria se ele estiver sobrecarregado com muito JavaScript.

Para conservar o orçamento de rastreamento, você pode não indexar páginas com JavaScript, remover seus elementos JavaScript ou usar uma ferramenta como o Prerender, que renderiza conteúdo JavaScript dinâmico como HTML estático e torna mais fácil para o Google entender e rastrear.

4. Remova as cadeias de redirecionamento 301

Os redirecionamentos 301 são uma maneira útil e amigável para SEO de transferir o tráfego e o valor do link de um URL que você deseja remover para outro URL relevante.

No entanto, é fácil criar acidentalmente cadeias de redirecionamento se você não estiver rastreando seus redirecionamentos. Isso não apenas pode aumentar o tempo de carregamento dos visitantes do seu site, mas também pode fazer com que os rastreadores rastreiem vários URLs apenas para acessar uma página de conteúdo real. Isso significa que o Google precisará rastrear cada URL na cadeia de redirecionamento para chegar à página de destino, consumindo seu orçamento de rastreamento no processo.

Para evitar isso, certifique-se de que todos os seus redirecionamentos apontem para o destino final. É sempre uma boa prática evitar o uso de cadeias de redirecionamento sempre que possível. Ainda assim, erros acontecem, então reserve algum tempo para percorrer seu site manualmente ou use uma ferramenta de verificação de redirecionamento para identificar e limpar quaisquer cadeias de redirecionamento 301.

5. Siga as práticas recomendadas do XML Sitemap

Seu sitemap compartilha todas as suas páginas importantes com rastreadores de pesquisa – ou pelo menos deveria. Os mecanismos de pesquisa rastreiam sitemaps para encontrar páginas facilmente. Embora o Google diga que não precisa de um para encontrar suas páginas, ainda é uma boa ideia manter um.

Para funcionar bem, seu sitemap deve incluir apenas as páginas que você deseja indexar. Você deve remover quaisquer URLs não indexados ou redirecionados do seu sitemap. Uma maneira fácil de fazer isso é com um sitemap XML gerado dinamicamente. Os sitemaps gerados dinamicamente se atualizam sozinhos, para que você não precise se preocupar em editar o seu depois de cada 301 implementado.

Se você tiver vários subdiretórios em seu site, use um índice de sitemaps que contenha links para cada um dos sitemaps de seus subdiretórios. Isso ajuda a mostrar a arquitetura do seu site e fornece um roteiro fácil para os rastreadores de pesquisa seguirem.

6. Crie uma estratégia de links internos

Os links internos não apenas ajudam os visitantes do site a se locomover; eles também criam um caminho mais claro de movimento para bots rastreadores.

Uma estratégia de links internos bem desenvolvida pode direcionar os rastreadores para as páginas que você deseja rastrear. Como os rastreadores usam links para encontrar outras páginas, a interligação de páginas mais profundas com conteúdo de nível superior pode ajudar o rastreador a acessá-las mais rapidamente. Ao mesmo tempo, remover links de páginas de baixa prioridade que você não deseja consumir em seu orçamento de rastreamento pode ajudar a empurrá-los para o final da fila e garantir que suas páginas importantes sejam rastreadas primeiro.

7. Corrija os erros do site

Os erros do site podem atrapalhar os rastreadores de pesquisa e desperdiçar um valioso orçamento de rastreamento. Idealmente, você deseja que o rastreador encontre uma página real ou um único redirecionamento para essa página. Se estiver executando cadeias de redirecionamento ou uma página de erro 404, você está desperdiçando o orçamento de rastreamento.

Use seu relatório de rastreamento do Google Search Console para identificar onde o rastreador está encontrando erros e quais são os tipos de erros. Eliminar quaisquer erros identificáveis ​​criará uma experiência de rastreamento mais suave para o Googlebot.

8. Verifique se há links quebrados

Um URL é basicamente uma ponte entre duas páginas. Ele fornece ao rastreador do mecanismo de pesquisa um caminho para encontrar novas páginas - mas alguns URLs não levam a lugar algum. Um link quebrado é um beco sem saída para os rastreadores de mecanismos de pesquisa e um desperdício do seu orçamento de rastreamento limitado.

Reserve algum tempo para verificar se há links quebrados em seu site que podem estar enviando rastreadores de pesquisa para páginas mortas e corrija ou remova-os. Além de reduzir o desperdício do orçamento de rastreamento, você também melhorará a experiência de navegação do visitante removendo links quebrados, portanto, fazer uma verificação periódica de links é sempre uma boa ideia.

Pare o orçamento de rastreamento desperdiçado com uma auditoria de SEO

Está se sentindo sobrecarregado ou sem saber por onde começar a otimizar o orçamento de rastreamento do seu site ou o SEO geral? Não há necessidade de ir sozinho. Marque uma consulta com a Victorious hoje e deixe que nossos especialistas o ajudem no processo de realização de uma auditoria de SEO e na elaboração de uma estratégia para otimizar o SEO do seu site.