El término 'crawling' o 'crawleo' hace referencia al método o procedimiento utilizado por los motores de búsqueda de Google para clasificar e indexar todas y cada una de las páginas web existentes en la red.
Esta indexación es fundamental para la visibilidad y el posicionamiento orgánico (SEO) de nuestra página, ya que es lo que va a determinar qué lugar ocupará en la página de resultados tras las búsquedas de los usuarios.
Si ya conoces el concepto 'crawleo' o 'crawling' y quieres aprender más sobre SEO, te recomendamos la lectura de las guías Los secretos del SEO y Cómo aplicar SEO en tu estrategia de marketing online.
¿Por qué se llama 'crawling' o 'crawleo'?
Ahora que ya sabes qué es el crawling o crawleo, es posible que tengas curiosidad por el origen de la palabra desde un punto de vista etimológico. El método de Google y otros buscadores para otorgar un puesto a nuestra página tras las búsquedas de los usuarios (es decir, su nivel de posicionamiento orgánico o SEO) proviene de la palabra 'crawler', que es una de las varias formas utilizadas para nombrar a los robots de búsqueda, como por ejemplo arañas, spiders o trepadores.
¿Qué son los crawlers? Los crawlers, que pueden traducirse literalmente como 'arrastradores', son pequeños programas que viajan por la red, enviados por Google (el resto de buscadores utilizan herramientas similares) con una hoja de ruta muy clara:
- Encontrar todas las páginas web existentes.
- Analizarlas en función de una fórmula o algoritmo.
- Asignarles a cada una de ellas una posición determinada en la SERP.
Hablamos de crawlers en plural y no de crawler en singular porque existen distintos tipos de rastreadores y cada uno de ellos se encarga de analizar y puntuar una información diferente. Uno de ellos es el crawl budget, el cual asigna un tiempo específico a cada link, y que ya analizamos con detalle en un post anterior de nuestro diccionario de marketing.
Los parámetros del crawling: el gran secreto de Google
En contra de lo que puedan decir supuestos gurús del SEO y de los artículos publicados por el propio Google, como este titulado How Search Works, donde se explican algunas cuestiones generales (de forma muy atractiva y visual) sobre los criterios de Google para posicionar las páginas tras las búsquedas de los usuarios, la fórmula exacta del algoritmo no se conoce.
Sí se sabe que existen más de 200 variables, entre las que se encuentran:
- El valor de los contenidos, en calidad y actualizaciones.
- La accesibilidad y fluidez en la navegación de la página.
- La estructura de la página.
- La facilidad de acceso a la web por parte de los rastreadores.
- La calidad técnica de la página, por ejemplo, su velocidad de carga o el nivel de optimización para todo tipo de dispositivos, en especial los móviles (smartphones y tablets).
- La inexistencia de errores.
Al mismo tiempo que son de conocimiento público los aspectos más valorados por Google en cada actualización de su algoritmo, también se sabe que otros han perdido fuerza, como la inclusión directa de las keywords en los encabezados de html (metatags).
El conocimiento y estudio de estos parámetros a considerar en el SEO hace que el concepto de crawling no sea, ni mucho menos, completamente abstracto e ininteligible. Pero su fórmula exacta, es decir, la ponderación concreta de cada una de las variables que son tenidas en cuenta por los robots, sigue siendo el gran secreto de Google, celosamente guardado por los responsables de posiblemente la compañía más importante del mundo del ámbito de internet.
Es importante subrayar que el crawling, es decir, el método para determinar el orden de la página tras los resultados de búsqueda, está en constante crecimiento, perfeccionamiento y adecuación a las nuevas tecnologías y formas de uso de internet. Estas cada vez se decantan más por la navegación en dispositivos móviles, las búsquedas por voz y la importancia de la localización del usuario en el momento de buscar algo en la red.
Si te ha interesado este artículo, te recomendamos la lectura de otras entradas sobre SEO de nuestro Diccionario de Marketing Online:
Publicado originalmente el 14 de enero de 2017, actualizado el 13 de junio de 2022.
Revisado y validado por Susana Meijomil, Inbound Content Manager en InboundCycle.