Optimización del presupuesto de rastreo: 8 consejos para detener el presupuesto de rastreo desperdiciado

¿Qué es el presupuesto de rastreo?

Su presupuesto de rastreo se refiere a la cantidad de páginas de su sitio que Google rastrea en un día determinado. Se basa en el límite de frecuencia de rastreo y la demanda de rastreo.

Su límite de tasa de rastreo es la cantidad de páginas que Google puede rastrear sin afectar la experiencia del usuario de su sitio web. Esencialmente, Google no quiere sobrecargar su servidor con solicitudes, por lo que encuentra un término medio entre lo que su servidor puede manejar (los recursos de su servidor) y cuánto "quiere" rastrear su sitio.

Su demanda de rastreo está determinada por la popularidad de una URL y su frescura. Si una URL está obsoleta y pocas personas la buscan, Google la rastreará con menos frecuencia.

Si bien no puede afectar su tasa de rastreo, puede afectar su demanda de rastreo creando contenido nuevo, optimizando su sitio con las mejores prácticas de SEO y abordando problemas de SEO como 404 y redireccionamientos innecesarios.

¿Qué es la optimización del presupuesto de rastreo?

La optimización del presupuesto de rastreo es el proceso de facilitar el acceso, el rastreo y la indexación de su sitio para Googlebot al mejorar la navegabilidad del rastreador de búsqueda y reducir el desperdicio del presupuesto de rastreo. Esto incluye reducir errores y enlaces rotos, mejorar los enlaces internos, no indexar contenido duplicado y más.

El presupuesto de rastreo puede convertirse en un problema cuando Google no rastrea suficientes páginas de su sitio o no las rastrea con la frecuencia suficiente.

Debido a que solo tiene una cierta cantidad de recursos para trabajar, Google solo puede asignar tantos rastreos a un sitio determinado en un día determinado. Si tiene un sitio grande, esto significa que es posible que Google solo tenga los recursos para rastrear una pequeña fracción de las páginas de su sitio diariamente. Esto puede afectar el tiempo que se tarda en indexar sus páginas o en que las actualizaciones de contenido se reflejen en las clasificaciones de Google.

Afortunadamente, si cree que su sitio puede estar sufriendo problemas con el presupuesto de rastreo de Google, hay ciertas cosas que puede hacer para optimizar su sitio y aprovechar al máximo su presupuesto de rastreo.

Cómo consultar el informe de estadísticas de rastreo

Puede identificar los problemas de presupuesto de rastreo comprobando sus estadísticas de rastreo en Google Search Console o analizando los registros de archivos de su servidor.

Ver su informe de estadísticas de rastreo en Google Search Console puede ayudarlo a comprender mejor cómo interactúa Googlebot con su sitio web. Así es como puede usarlo para ver qué ha estado haciendo el rastreador de Google.

Abre Google Search Console, inicia sesión y elige tu sitio web. A continuación, seleccione la opción 'Configuración' en el menú de Search Console.

Puede ver su informe de rastreo de los últimos 90 días en la sección de estadísticas de rastreo. Ábralo haciendo clic en 'Abrir informe'.

Qué significa tu informe de estadísticas de rastreo

Ahora que puede ver la actividad de Googlebot, es hora de decodificar los datos. Aquí hay un desglose rápido del tipo de información que puede obtener de su informe de rastreo.

El gráfico de rastreo principal le mostrará una representación visual de la actividad de rastreo de Googlebot. Aquí puede ver (1) cuántas solicitudes de rastreo ha realizado Google en los últimos 90 días y (2) el tiempo de respuesta promedio del servidor de su sitio y la cantidad total de bytes descargados durante el rastreo.

La sección 'Estado del host' (3) le permitirá saber si el rastreador encontró algún problema de disponibilidad al acceder a su sitio web.

Un círculo verde con una marca de verificación blanca significa que Googlebot no encontró problemas e indica que su host funciona sin problemas.

Un círculo blanco con una marca de verificación verde significa que Googlebot encontró un problema hace más de una semana, pero ahora todo funciona bien.

Un círculo rojo con un signo de exclamación blanco indica que Googlebot encontró al menos un problema importante durante la última semana.

El desglose de las solicitudes de rastreo proporciona información más detallada sobre cómo los rastreadores de Google han estado interactuando con su sitio.

Por respuesta

La primera sección a mirar es la sección 'Por respuesta'. Esta sección le indica qué tipo de respuestas recibió el robot de Google al intentar rastrear las páginas de su sitio. Google considera que las siguientes son buenas respuestas:

• bien (200)
• Movido permanentemente (301)
• Movido temporalmente (302)
• Movido (otro)
• No modificado (304)

Idealmente, la mayoría de las respuestas deberían ser 200 (algunas 301 también están bien). Los códigos como "No encontrado (404)" son un aviso de que es probable que haya callejones sin salida en su sitio web que posiblemente afecten su presupuesto de rastreo.

Tipo de archivo

La sección "Por tipo de archivo" le indica qué tipo de archivo encontró Googlebot durante el rastreo. Los valores porcentuales que ve son representativos del porcentaje de respuestas de ese tipo y no del porcentaje de bytes de cada tipo de archivo.

A proposito

La sección "Por propósito" indica si la página rastreada era una que el rastreador había visto antes (una actualización) o una nueva para el rastreador (un descubrimiento).

Por tipo de robot de Google

Por último, la sección "Por tipo de robot de Google" le informa sobre los tipos de agentes de rastreo de Googlebot que se utilizan para realizar solicitudes y rastrear su sitio. Por ejemplo, el tipo 'Smartphone' indica una visita del rastreador de teléfonos inteligentes de Google, mientras que el tipo 'AdsBot' indica un rastreo de uno de los rastreadores AdsBot de Google. Como nota al margen, siempre puede deshabilitar tipos específicos de Googlebots para que no rastreen su sitio web editando el archivo robots.txt.

Consulte la guía de Google para los informes de rastreo de Search Console si desea obtener más información sobre cómo interpretar los datos en su informe de rastreo.

Cómo saber si está desperdiciando su presupuesto de rastreo

Una forma rápida de determinar si la optimización del presupuesto de rastreo ayudará a Googlebot a rastrear más de sus páginas es ver qué porcentaje de las páginas de su sitio se rastrean realmente por día.

Averigüe exactamente cuántas páginas únicas tiene en su sitio web y divídalas por el número de "promedio rastreado por día". Si tiene diez veces o más la cantidad de páginas totales que las páginas rastreadas por día, debe considerar la optimización del presupuesto de rastreo.

Si cree que tiene problemas con el presupuesto de rastreo, comience por consultar la sección "Por respuesta" para ver qué tipo de errores puede tener el rastreador. Es probable que deba realizar un análisis más profundo para ver exactamente qué está consumiendo su presupuesto. Una mirada a los registros de su servidor puede brindarle más información sobre cómo el rastreador interactúa con su sitio.

Verifique los registros de su servidor

Otra forma de verificar si está desperdiciando el presupuesto de rastreo es mirar los registros del servidor de su sitio. Estos registros almacenan todas las solicitudes realizadas a su sitio web, incluidas las solicitudes que hace Googlebot cuando rastrea su sitio. El análisis de los registros de su servidor puede indicarle con qué frecuencia rastrea Google su sitio web, a qué páginas accede con mayor frecuencia el rastreador y qué tipo de errores encontró el robot rastreador.

Puede verificar estos registros manualmente, aunque buscar estos datos puede ser un poco tedioso. Afortunadamente, varias herramientas diferentes de análisis de registro pueden ayudarlo a ordenar y dar sentido a sus datos de registro, como el analizador de archivos de registro SEMRush o el analizador de archivos de registro Screaming Frog SEO.

Crawl Budget SEO: 8 formas de optimizar su presupuesto de rastreo

¿Descubrió el presupuesto de rastreo desperdiciado? Las estrategias de optimización SEO de presupuesto de rastreo pueden ayudarlo a reducir el desperdicio. Aquí hay ocho consejos para ayudarlo a optimizar su presupuesto de rastreo de SEO para un mejor rendimiento.

1. Etiquetas Finetune Robots.txt y Meta Robots

Una forma de frenar el desperdicio de presupuesto de rastreo es evitar que el rastreador de Google rastree ciertas páginas en primer lugar. Al mantener a Googlebot alejado de las páginas que no desea indexar, puede centrar su atención en las páginas más importantes.

El archivo robots.txt establece límites para los rastreadores de búsqueda que declaran qué páginas desea rastrear y cuáles están fuera de los límites. Agregar un comando de rechazo en su archivo robots.txt impedirá que los rastreadores accedan, rastreen e indexen los subdirectorios especificados, a menos que haya enlaces que apunten a esas páginas.

A nivel de página, puede usar etiquetas de meta robots para no indexar páginas particulares. Una etiqueta noindex le permite a Googlebot acceder a su página y seguir sus enlaces en ella, pero le dice a Googlebot que se abstenga de indexar la página en sí. Esta etiqueta va directamente al elemento <head> de su código HTML y se ve así:

 <meta name=”robots” content=”noindex” />

2. Podar contenido

Alojar URL de bajo valor o contenido duplicado en su sitio puede ser un lastre para su presupuesto de rastreo. Una inmersión profunda en las páginas de su sitio web puede ayudarlo a identificar páginas innecesarias que pueden consumir el presupuesto de rastreo y evitar que se rastree e indexe contenido más valioso.

¿Qué califica como una URL de bajo valor? Según Google, las URL de bajo valor generalmente se clasifican en una de varias categorías:

• Contenido duplicado
• Identificadores de sesión
• Páginas de error blandas
• páginas pirateadas
• Contenido de baja calidad y spam

El contenido duplicado no siempre es fácil de identificar. Si la mayor parte del contenido de una página es el mismo que el de otra página, incluso si ha agregado más contenido o ha cambiado algunas palabras, Google lo verá como sensiblemente similar. Utilice metaetiquetas noindex y etiquetas canónicas para indicar qué página es la original que debe indexarse.

Al actualizar, eliminar o no indexar contenido que puede registrarse como de bajo valor, le brinda a Googlebot más oportunidades para rastrear las páginas de su sitio que son realmente importantes.

3. Eliminar o renderizar JavaScript

Googlebot no tiene problemas para leer HTML, sin embargo, tiene que renderizar JavaScript antes de poder leerlo e indexarlo. Entonces, en lugar de rastrear e indexar un elemento JavaScript en una página, Google rastrea el contenido HTML en la página y luego coloca la página en una cola de procesamiento. Cuando tenga el tiempo y los recursos para dedicarse a la renderización, renderizará el JavaScript y lo "leerá", y finalmente lo indexará. Este paso adicional no solo lleva más tiempo, sino que requiere más presupuesto de rastreo.

JavaScript también puede afectar los tiempos de carga de su página, y dado que la velocidad del sitio y la carga del servidor afectan su presupuesto de rastreo, Google puede rastrear su sitio con menos frecuencia de lo que le gustaría si está atascado con demasiado JavaScript.

Para conservar el presupuesto de rastreo, puede no indexar páginas con JavaScript, eliminar sus elementos de JavaScript o usar una herramienta como Prerender que representa el contenido de JavaScript dinámico como HTML estático y facilita que Google lo comprenda y rastree.

4. Eliminar cadenas de redireccionamiento 301

Los redireccionamientos 301 son una forma útil y compatible con SEO de transferir tráfico y valor de enlace desde una URL que desea eliminar a otra URL relevante.

Sin embargo, es fácil crear cadenas de redireccionamiento accidentalmente si no está rastreando sus redireccionamientos. Esto no solo puede conducir a un aumento de los tiempos de carga para los visitantes de su sitio, sino que también puede hacer que los rastreadores rastreen varias URL solo para acceder a una página de contenido real. Eso significa que Google necesitará rastrear cada URL en la cadena de redirección para llegar a la página de destino, consumiendo su presupuesto de rastreo en el proceso.

Para evitar esto, asegúrese de que todos sus redireccionamientos apunten a su destino final. Siempre es una buena práctica evitar el uso de cadenas de redireccionamiento siempre que sea posible. Aún así, ocurren errores, así que tómese un tiempo para revisar su sitio manualmente o use una herramienta de verificación de redirección para detectar y limpiar cualquier cadena de redirección 301.

5. Siga las mejores prácticas del mapa del sitio XML

Su mapa del sitio comparte todas sus páginas importantes con los rastreadores de búsqueda, o al menos debería hacerlo. Los motores de búsqueda rastrean mapas de sitios para encontrar páginas fácilmente. Si bien Google dice que no necesita uno para encontrar sus páginas, sigue siendo una buena idea mantener uno.

Para funcionar bien, su mapa del sitio solo debe incluir las páginas que desea indexar. Debe eliminar cualquier URL no indexada o redirigida de su mapa del sitio. Una manera fácil de hacerlo es con un mapa del sitio XML generado dinámicamente. Los sitemaps generados dinámicamente se actualizan solos, por lo que no tiene que preocuparse por editar los suyos después de cada 301 que implemente.

Si tiene varios subdirectorios en su sitio, use un índice de mapa de sitio que contenga enlaces a cada uno de los mapas de sitio de sus subdirectorios. Esto ayuda a mostrar la arquitectura de su sitio web y proporciona una hoja de ruta fácil de seguir para los rastreadores de búsqueda.

6. Crea una estrategia de enlaces internos

Los enlaces internos no solo ayudan a los visitantes del sitio a desplazarse; también crean una ruta de movimiento más clara para los robots rastreadores.

Una estrategia de enlaces internos bien desarrollada puede dirigir a los rastreadores hacia las páginas que desea rastrear. Debido a que los rastreadores usan enlaces para encontrar otras páginas, vincular páginas más profundas con contenido de nivel superior puede ayudar al rastreador a acceder a ellas más rápidamente. Al mismo tiempo, la eliminación de enlaces de páginas de baja prioridad que no desea que se consuman en su presupuesto de rastreo puede ayudar a empujarlos al final de la cola y garantizar que sus páginas importantes se rastreen primero.

7. Corregir errores del sitio

Los errores del sitio pueden hacer tropezar a los rastreadores de búsqueda y desperdiciar un valioso presupuesto de rastreo. Idealmente, desea que el rastreador encuentre una página real o una sola redirección a esa página. Si se encuentra con cadenas de redireccionamiento o una página de error 404, entonces está desperdiciando el presupuesto de rastreo.

Use su informe de rastreo de Google Search Console para identificar dónde se encuentra el rastreador con errores y qué tipo de errores son. Eliminar cualquier error identificable creará una experiencia de rastreo más fluida para Googlebot.

8. Comprueba si hay enlaces rotos

Una URL es básicamente un puente entre dos páginas. Proporciona al rastreador de motores de búsqueda un camino para encontrar nuevas páginas, pero algunas URL no van a ninguna parte. Un enlace roto es un callejón sin salida para los rastreadores de los motores de búsqueda y una pérdida de su presupuesto de rastreo limitado.

Tómese un tiempo para revisar su sitio en busca de enlaces rotos que puedan estar enviando rastreadores de búsqueda a páginas inactivas y corríjalos o elimínelos. Además de reducir el desperdicio del presupuesto de rastreo, también mejorará la experiencia de navegación de los visitantes al eliminar los enlaces rotos, por lo que siempre es una buena idea hacer una verificación periódica de los enlaces.

Detenga el desperdicio de presupuesto de rastreo con una auditoría de SEO

¿Se siente abrumado o no sabe por dónde empezar a optimizar el presupuesto de rastreo o el SEO general de su sitio? No hay necesidad de hacerlo solo. Reserve una consulta con Victorious hoy y deje que nuestros expertos lo ayuden en el proceso de realizar una auditoría de SEO y diseñar una estrategia para optimizar el SEO de su sitio.