<img height="1" width="1" style="display:none;" alt="" src="https://dc.ads.linkedin.com/collect/?pid=81693&amp;fmt=gif">

¿Qué es el crawleo o crawling llevado a cabo por parte de los motores de búsqueda?

El término 'crawling' o 'crawleo' hace referencia al método o procedimiento utilizado por los motores de búsqueda de Google para clasificar e indexar todas y cada una de las páginas web existentes en la red.

Esta indexación es fundamental para la visibilidad y el posicionamiento orgánico (SEO) de nuestra página, ya que es lo que va a determinar qué lugar ocupará en la página de resultados tras las búsquedas de los usuarios.

Si ya conoces el concepto 'crawleo' o 'crawling' y quieres aprender más sobre SEO, te recomendamos la lectura de las guías Los secretos del SEO y Cómo aplicar SEO en tu estrategia de marketing online.

¿Por qué se llama 'crawling' o 'crawleo'?

Ahora que ya sabes qué es el crawling o crawleo, es posible que tengas curiosidad por el origen de la palabra desde un punto de vista etimológico. El método de Google y otros buscadores para otorgar un puesto a nuestra página tras las búsquedas de los usuarios (es decir, su nivel de posicionamiento orgánico o SEO) proviene de la palabra 'crawler', que es una de las varias formas utilizadas para nombrar a los robots de búsqueda, como por ejemplo arañas, spiders o trepadores.

crawleo.jpg

¿Qué son los crawlers? Los crawlers, que pueden traducirse literalmente como 'arrastradores', son pequeños programas que viajan por la red, enviados por Google (el resto de buscadores utilizan herramientas similares) con una hoja de ruta muy clara:

  1. Encontrar todas las páginas web existentes.
  2. Analizarlas en función de una fórmula o algoritmo.
  3. Asignarles a cada una de ellas una posición determinada en la SERP.

Hablamos de crawlers en plural y no de crawler en singular porque existen distintos tipos de rastreadores y cada uno de ellos se encarga de analizar y puntuar una información diferente. Uno de ellos es el crawl budget, el cual asigna un tiempo específico a cada link, y que ya analizamos con detalle en un post anterior de nuestro diccionario de marketing.

Los parámetros del crawling: el gran secreto de Google

En contra de lo que puedan decir supuestos gurús del SEO y de los artículos publicados por el propio Google, como este titulado How Search Works, donde se explican algunas cuestiones generales (de forma muy atractiva y visual) sobre los criterios de Google para posicionar las páginas tras las búsquedas de los usuarios, la fórmula exacta del algoritmo no se conoce.

Sí se sabe que existen más de 200 variables, entre las que se encuentran:

  • El valor de los contenidos, en calidad y actualizaciones.
  • La accesibilidad y fluidez en la navegación de la página.
  • La estructura de la página.
  • La facilidad de acceso a la web por parte de los rastreadores.
  • La calidad técnica de la página, por ejemplo, su velocidad de carga o el nivel de optimización para todo tipo de dispositivos, en especial los móviles (smartphones y tablets).
  • La inexistencia de errores.

Al mismo tiempo que son de conocimiento público los aspectos más valorados por Google en cada actualización de su algoritmo, también se sabe que otros han perdido fuerza, como la inclusión directa de las keywords en los encabezados de html (metatags).

El conocimiento y estudio de estos parámetros a considerar en el SEO hace que el concepto de crawling no sea, ni mucho menos, completamente abstracto e ininteligible. Pero su fórmula exacta, es decir, la ponderación concreta de cada una de las variables que son tenidas en cuenta por los robots, sigue siendo el gran secreto de Google, celosamente guardado por los responsables de posiblemente la compañía más importante del mundo del ámbito de internet.

Es importante subrayar que el crawling, es decir, el método para determinar el orden de la página tras los resultados de búsqueda, está en constante crecimiento, perfeccionamiento y adecuación a las nuevas tecnologías y formas de uso de internet. Estas cada vez se decantan más por la navegación en dispositivos móviles, las búsquedas por voz y la importancia de la localización del usuario en el momento de buscar algo en la red.

Si te ha interesado este artículo, te recomendamos la lectura de otras entradas sobre SEO de nuestro Diccionario de Marketing Online:

New Call-to-Action

Publicado originalmente el  14 de enero de 2017, actualizado el 13 de junio de 2022.

Revisado y validado por Susana Meijomil, Inbound Content Manager en InboundCycle.

FAQs sobre crawling

  • ¿Cómo funcionan los crawlers?

    Los crawlers siguen una lista de URLs para visitar, que se actualiza continuamente a medida que encuentran nuevos enlaces en las páginas que visitan. Cuando llegan a una página, leen el contenido, identifican los enlaces a otras páginas y agregan esas URLs a su lista de sitios para visitar. También recogen información sobre cada página, como las palabras clave que se utilizan, la ubicación de las palabras en la página y otros detalles que ayudarán al motor de búsqueda a entender de qué se trata la página.
  • ¿Qué es un archivo robots.txt?

    Un archivo robots.txt es un archivo que los webmasters pueden utilizar para dar instrucciones a los crawlers sobre qué partes de su sitio web deben o no deben rastrear. Por ejemplo, puedes usar un archivo robots.txt para evitar que los crawlers rastreen una página o sección específica de tu sitio web que no quieres que aparezca en los resultados de búsqueda.
  • ¿Qué es la indexación?

    La indexación es el proceso que sigue al rastreo. Una vez que un crawler ha visitado una página y recogido información sobre ella, esa página se añade al índice del motor de búsqueda. El índice es esencialmente una gran base de datos de todas las páginas que el motor de búsqueda ha encontrado y considera lo suficientemente valiosas como para incluirlas en los resultados de búsqueda.
  • ¿Cómo puedo hacer que los crawlers rastreen mi sitio web más rápido?

    Hay varias cosas que puedes hacer para ayudar a los crawlers a rastrear tu sitio más eficientemente. Estos incluyen mantener una estructura de sitio web limpia y fácil de navegar, utilizar un mapa del sitio XML para ayudar a los crawlers a encontrar todas tus páginas, asegurarte de que tus páginas carguen rápidamente y mantener tus enlaces actualizados para evitar enlaces rotos.
  • ¿Qué es un sitemap y cómo ayuda al crawling?

    Un sitemap es un archivo que proporciona un mapa de todas las páginas de tu sitio web. Puede ser muy útil para los crawlers porque les proporciona una lista de todas las páginas que deberían visitar en tu sitio. Esto puede ser especialmente útil para los sitios web grandes o complejos donde algunos enlaces podrían ser difíciles de encontrar a través del rastreo normal.
  • ¿Qué es el crawl budget y cómo puedo optimizarlo?

    El crawl budget se refiere a la cantidad de páginas que Google decide rastrear en tu sitio en un determinado periodo de tiempo. Puedes optimizar tu crawl budget asegurándote de que tu sitio se cargue rápidamente, eliminando las páginas duplicadas, bloqueando las páginas que no necesitas que se rastreen en tu archivo robots.txt y evitando los enlaces rotos.
Ver más