Los crawlers son los diferentes rastreadores que utiliza Google para encontrar y analizar todas las páginas web existentes en la red, con el objetivo final de asignarles una posición tras las búsquedas de los usuarios.
Cada uno de estos crawlers se centra en un tipo de información diferente, tal como podemos apreciar en este artículo del propio Google, donde se listan los distintos rastreadores existentes.
El crawl budget es uno de estos crawlers o rastreadores cuya función es asignar el tiempo que Google dedicará al análisis de cada sitio web.
Si ya conoces qué es el crawl budget y quieres aprender más sobre SEO, puedes descargarte nuestra guía gratuita Los secretos del SEO (ed. actualizada).
La cuestión es que Google no pasa el mismo tiempo rastreando las páginas, sino que les asigna más o menos tiempo de crawl budget en función de diversos factores, entre ellos:
Sí que lo es, puesto que si Google no asigna un crawl budget a todos los enlaces de nuestro site, es probable que algunos de ellos no sean visitados por los rastreadores del buscador con la frecuencia que deberían.
¿Qué consecuencias puede tener para nuestra web o blog que tenga asignado menos tiempo de crawl budget? Sin duda, se trata de una mala noticia para nuestro site, ya que es posible que reciba menos tráfico orgánico, al no estar posicionada como debería en algunas de las palabras clave que utilizan los usuarios para buscar lo que les interesa.
Si, por ejemplo, estamos actualizando nuestro blog de finanzas con interesantes artículos sobre las últimas modificaciones en normativa contable, pero los robots de Google no pasan por nuestra web con la frecuencia adecuada, nuestro trabajo no obtendrá todo el fruto que se merece, ya que Google no tendrá registradas a tiempo estas novedades de nuestro contenido.
Ahora que ya sabemos que Google cuenta con unos rastreadores llamados crawl budget, con la función de determinar cada cuánto tiempo deben pasar por nuestra página, lo que debemos hacer es tratar de aumentar la frecuencia de rastreo.
¿Cómo lo hacemos? Básicamente, tratando de convencer al crawl budget de que nuestra web se merece que los rastreadores le dediquen una parte de su valioso tiempo porque tiene suficiente calidad e interés y es capaz de aportar valor añadido a los usuarios.
Las claves para que los rastreadores de Google visiten con más frecuencia nuestro site son:
El crawl budget ejemplifica a la perfección hasta dónde llegan los recursos de Google, que a veces parece que sean ilimitados, a la hora de rastrear todas y cada una de las URL de la blogosfera. Existen rastreadores (crawlers) especializados en el análisis y la ponderación de los distintos elementos de la web que influyen en su posicionamiento final: metas, imágenes, arquitectura…
No hay detalle, por mínimo que sea, al que las arañas de Google no sean capaces de llegar. Por eso en el SEO no debemos relajarnos, ni dejar nada al azar ni sin optimizar adecuadamente.
¿Qué te ha parecido este artículo? ¿Te ha ayudado a clarificar el concepto de crawl budget y a entenderlo en el contexto global del SEO? Si te ha interesado, te recomendamos la lectura de otras entradas sobre SEO de nuestro Diccionario de Marketing Online:
