Indexar es la acción en la que los robots de Google encuentran y registran nuestro contenido en sus bases de datos para posicionarlo en las páginas de resultados. Es importante tener una buena indexación para generar visitas y conversiones en nuestro sitio web.
En este post, te explico qué es la indexación, cómo favorecerla en buscadores y cómo detectar posibles problemas. Sigue leyendo y haz que tu página aparezca en los motores de búsqueda en segundos.
¿Qué es indexar o la indexación?
Si buscas la definición de la palabra indexar en la RAE, la segunda acepción que nos aparece lo define como: “Registrar ordenadamente datos e informaciones para elaborar su índice.” Cuando se traslada esta definición al escenario digital, el significado de indexar prende otro sentido. Y es que no hay otro índice más claro que no sean las SERP (Search Engine Results Page), es decir, las páginas de resultados de los motores de búsqueda.
El mayor indexador del mundo actualmente es Google, y conseguir que indexe tu contenido quiere decir que aparecerás en sus resultados de búsqueda. Esto es algo muy positivo, porque genera visitas a tu página web y, por lo tanto, opciones de generar conversiones y ventas. Así, la indexación, es un aspecto fundamental y que debes tener siempre en cuenta.
El propio buscador, en su guía sobre indexación y rastreo, realiza una comparación bastante útil y que cualquier usuario entendería para esclarecer mejor que significa indexar: el bot de Google rastrea los billones de páginas que existen para indexarlas, es decir, para añadirlas a un índice (como el de un libro). De esta forma, cuando un usuario realice una consulta ("cómo hacer una tarta", por ejemplo), el buscador solo debe acudir a la parte del índice relacionada con ella para, posteriormente, posicionarla en función de su algoritmo.
La razón por la que los motores de búsqueda crean este índice tiene que ver con su capacidad de reacción. Es decir, disponer de una base de datos indexada les permite dar una respuesta rápidamente al usuario, mientras que si tuviesen que ir a Internet para buscarla tardarían mucho más. Como contrapartida, lo que sucede, es que frecuentemente el índice está desactualizado. Muy a menudo sucede que actualizamos nuestra página Web, y durante un periodo parece que el motor de búsqueda no se ha dado cuenta de ese cambio. Hasta que el motor de búsqueda no vuelve a indexar los contenidos de nuestra página Web, parece que no lo hayamos hecho.
Este divertido vídeo de Google te explica cómo consiguen que funcione:
Si has entendido el concepto y ves la importancia que esto tiene para tu página web y para tus visitas, pero no sabes cómo trabajar la indexación de tu sitio web, sigue leyendo y te cuento cómo puedes trabajarlo.
¿Cómo funciona el proceso de indexación?
Veamos en más detalle cómo funciona todo esto de la indexación en buscadores. El proceso de indexar en Google se divide principalmente en tres fases: la de rastreo, la de indexación y la de clasifcación.
La primera, la de rastreo, es cuando Google trata de descubrir nuevos elementos web utilizando las denominadas “arañas” de Google. De forma automatizada van buscando posibles cambios y novedades en los diferentes servidores conectados a internet. Cuando llega a una web la rastrean tratando de entenderla, recopilan información y siguen sus enlaces.
Si la web cumple con los requisitos, el motor de búsqueda listará en su enorme base de datos la información encontrada. Esta es la segunda fase, la de indexación. En la tercera fase, la de clasificación, se decidirá en qué posición de los resultados de búsqueda se muestra una web, algo que depende de muchísimos factores SEO: contenido, estructura, autoridad, velocidad, etc.
Las dos primeras fases, la de rastreo e indexación, son fundamentales para que nuestra web salga en Google. Como existen tantas webs en la red, si queremos que este proceso se acelere deberemos ser nosotros los que enviemos la información de nuestra web a Google, para que así pueda rastrearla e indexarla. ¿Cómo hacemos esto? Pues a través un sitemap o mapa del sitio, un archivo en formato XML que contiene toda la información para que las arañas de Google puedan rastrear nuestra web rápidamente.
Tanto HubSpot como WordPress ofrecen herramientas para crear un sitemap fácilmente en apenas unos clics. Una vez creado, se lo enviaremos a Google Search Console, una herramienta de Google que nos permite enviar nuestro mapa del sitio fácilmente, entre muchas otras opciones.
Sitemap XML de ejemplo
Fuente: Worpdress.org
¿Por qué es importante estar indexados?
Como decía, estar tener páginas indexadas significa aparecer en las SERP (páginas de resultados de búsqueda). Por lo tanto, el significado de indexar y su importancia en tu estrategia se traducen en que si tu página no está bien indexada, por muy bueno que sea el contenido, a ojos de Google dicha URL no existe y, en consecuencia, no aparecerá en las páginas de resultados tras una búsqueda de los usuarios.
¿Cómo ayudar a la indexación de tu sitio?
Como he comentado antes, es el bot de Google (también conocido como “araña”) el que se encarga de rastrear el contenido pasando de un enlace interno a otro. Pero no puedes dejarlo todo solamente en las manos de Google, sino que también puedes ayudarle en su “misión” de rastrear e indexar todo tu contenido con la creación de un sitemap, entre otras cosas.
A continuación verás una recopilación de los consejos más útiles para que el buscador se pase más por tu página:
Actualización constante
Si actualizas tu contenido con una buena frecuencia, si puede ser diaria mucho mejor, acostumbrarás al bot de Google a rastrear tu página diariamente. De esta forma, cada vez que lances un nuevo post, se indexará en cuestión de horas o incluso minutos.
Si tu página web es nueva, al principio costará que Google se fije más en ti y el Domain Rating de tu página web no será tan elevado. Lo irás ganando poco a poco a medida que vayas manteniendo el ritmo de publicación.
No te quedes corto de enlaces internos
No tengas miedo a enlazar a páginas internas relevantes. Es imprescindible tener un menú superior de categorías y subcategorías para facilitar el rastreo, pero si además incluyes enlaces internos dentro del propio contenido, mejor:
Tienes que tener en cuenta también toda la estrategia de enlaces follow vs no-follow porque esto ayudará a los robots de Google a seguir qué páginas deben estar conectadas, lo cual ayudará al posicionamiento web. En este otro artículo te dejo algunos consejos para tener en cuenta a la hora de desarrollar una estrategia de enlaces.
Toda esta estrategia de link building no define en sí la indexación, pero consigue que una vez esté todo bien implementado, ayude en las búsquedas de los motores y consiga mejor posicionamiento.
Crear un sitemaps
¿Qué es un mapa de sitio o sitemap?
Un mapa de sitio web es un documento que podemos alojar en nuestra propia página Web y que lista todos los contenidos (o páginas) de forma jerárquica que queremos que los usuarios puedan encontrar.
Dependiendo del formato en el que construyamos nuestro mapa de sitio, tanto usuarios como motores de búsqueda pueden beneficiarse de ello. Por un lado permite al usuario acceder a la información de forma más directa, y por otro, facilitamos el trabajo de indexación de los buscadores. Como consecuencia de ello, nuestra página Web puede posicionarse mejor.
Un mapa de sitio o sitemap puede ser un documento estático o dinámico. Lo más recomendable es que sea dinámico. Es decir, a medida que actualizamos nuestra página Web con nuevos contenidos o páginas, el índice se actualizaría automáticamente. Disponer de un sitemap dinámico nos permite servir a los motores de búsqueda un índice actualizado y por lo tanto, igualmente, unos contenidos indexados actuales.
Crear un sitemap
El CMS Hub de HubSpot contiene herramientas para crear tu propio sitemap muy fácilmente. Tanto es así que HubSpot agrega automáticamente tus páginas web alojadas en sus servidores y crea un archivo XML para poder enviarlo a Google Search Console. Debes tener en cuenta que las páginas de destino no se agregan automáticamente y deben agregarse manualmente a tu mapa del sitio. Tan solo será necesario configurar tu sitemap de la siguiente forma. ¡Toma nota!
Configura tu sitemap XML en HubSpot
Deberás crear un sitemap XML para cada uno de tus dominios alojados en HubSpot y enviarlos manualmente a tu propiedad de dominio en Google Search Console, más adelante veremos cómo se hace esto. Por el momento vamos a ver primero cómo crear el sitemap XML:
- Entra en tu cuenta de HubSpot y haz clic en configuración/settings (situado en la barra de navegación principal).
- En la barra lateral izquierda, dirígete a “Dominios y URL”.
- Entra en la pestaña de Mapa del sitio.
- Haz clic en ver archivo XML para visualizar tu sitemap XML. Este será el enlace que más tarde tendremos que enviar a Google Search Console.
- Si quieres agregar una nueva página a tu mapa del sitio, haz clic en “+ Agregar una página” y selecciona la página deseada del menú desplegable.
- Si, por lo contrario, quieres excluir una página de tu sitemap, haz clic sobre la página y, a continuación, en eliminar
Crear sitemaps mapa del sitio en WordPress usando Yoast SEO
Si lo que quieres saber es cómo indexar páginas en WordPress, lo más sencillo es instalar un plugin denominado Yoast SEO. Además de varias funciones relacionadas con el SEO, este plugin también nos da la posibilidad de crear un sitemap de forma totalmente automática.
Crear un sitemap XML con Yoast SEO es realmente sencillo. Primero, descarga e instala el plugin Yoast SEO a través del gestor de plugins de WordPress si no lo tienes instalado. Tras esto, tan solo deberás habilitar la opción de mapa del sitio XML en las opciones de configuración, y el mapa del sitio se generará automáticamente.
Encontrarás esta opción en General > Características. Para acceder al sitemap o copiar el enlace tan solo deberás hacer clic en el icono con forma de interrogante ym seguidamentem en “Ver el mapa del sitio XML”. Este será el enlace que deberemos proporcionar a Google.
Usa robots.txt
Los robots.txt son archivos que sirven para bloquear la indexación de cualquier URL de tu sitio web. Como consejo, aplica la etiqueta “Disallow” en algunas páginas que no quieres que se indexen. No mejorará la indexabilidad (será la misma que si no tuvieses), pero sí que te permite personalizar mejor qué URL quieres que se muestre en los resultados de búsqueda y qué URL no te interesa que se indexen (Thank you Pages, Landing pages concretas de productos, políticas de privacidad, documentos, etc.).
Como pasaba en el apartado anterior, esta acción de no indexar contenido también puede desarrollarse de un modo más técnico y de forma manual, como Google mismo te indica. De nuevo, estamos hablando de un reto más tecnológico que requiere de conocimientos HTML para la gestión de metadatos que harán que determinadas páginas o secciones no se indexen.
Te cuento un poco más sobre esto al final del artículo, con el paso a paso en distintas plataformas de edición web.
Si, de todos modos, quieres asegurarte un 10 en indexación, repasa el checklist con los pasos de este artículo.
¿Cómo saber si Google te está indexando?
Ahora bien, después de hacer todos estos pasos es probable que te surja esta pregunta: “¿Estará Google indexando mi contenido?”. Veamos cómo puedes comprobar si la indexación se está haciendo correctamente:
Comprobación manual de la indexación de una URL
Aplicando el comando “site:” en Google sabrás cuántas URL de tu página web aparecen en las SERP. Simplemente debes usar la combinación site:tudominio.com en la barra de búsqueda.
Te aparecerán el total de páginas indexadas, tal como ves en la imagen:
¿Cómo forzar el rastreo de tu dominio para la indexación?
Existe un truco muy útil para que Google rastree e indexe nuevamente (o por primera vez) tu contenido en cuestión de segundos o minutos.
Solamente tienes que acceder a Search Console, dar de alta tu web si no lo has hecho ya, y desde el panel de la izquierda acceder a “Rastreo” > “Explorar como Google”.
Allí encontrarás la opción de introducir una URL de tu proyecto. Puedes dejar el campo en blanco si quieres que se rastree la home, o poner cualquier URL para que rastree alguna página interna.
Simplemente debemos escribirla y hacer clic en “Obtener y procesar”.
Normalmente en cuestión de segundos la URL enviada se rastrea y se indexa, pero Google nos avisa de que puede tardar hasta unos minutos, aunque no es lo común.
Si en unos minutos ese contenido no se ha indexado, es posible que tengas problemas de indexabilidad con esa URL. Para solucionarlo, aunque pueden darse muchos casos, lo primero que haría sería revisar el archivo "robots.txt".
Como te comenté al inicio del post, es aquel archivo en el que bloqueas la indexación de determinadas páginas. A lo mejor tienes ahí algo que obstaculiza su indexación.
Desde Search Console tenemos una opción rápida para comprobar problemas en el estado de indexación. Solamente tenemos que ir a la siguiente sección de la plataforma: "Índice de Google" > "Estado de indexación".
Se nos mostrará un gráfico como el siguiente, en el que podremos ver cuántas páginas internas se han enviado al índice de Google, y cuáles ha bloqueado mediante el robot:
Por otro lado, hay veces en las que queremos desindexar un contenido, es decir, revertir el proceso de indexación. Quédate que todavía hay más información que te puede interesar:
¿Qué es la desindexación web?
Al igual que se pueden indexar páginas específicas de nuestro sitio web, también podemos hacer que un elemento de tu web no sea indexado por Google. O Incluso si ya está indexado, podemos indicarle, a través de Google Search Console, que queremos desindexar esta entrada.
Esto puede ser de gran utilidad si pensamos en páginas que no aportan valor ni a Google ni a nuestros visitantes, como, por ejemplo, la página de privacidad de datos o la página de administración. O incluso puede que queramos que cierta entrada sea solo accesible desde un punto de nuestra web y no desde Google. Sea cual sea el motivo, es posible hacerlo tanto a través de nuestro sitemap como a través de Google Search Console.
Desindexar páginas en HubSpot
Para evitar que los motores de búsqueda indexen páginas específicas en tu sitio web deberemos utilizar la meta etiqueta "no-index". Esta cadena de código se introduce en la sección del encabezado del código HTML de una página para indicarles a los motores de búsqueda no deben indexar esa página. Para hacer esto en HubSpot deberás:
- Entra en tu cuenta de HubSpot y navega por las páginas de tu sitio web.
- Haz clic en el nombre de la página o entrada que quieras desindexar.
- En el editor de contenido, pulsa sobre la pestaña de Configuración.
- Haz clic en Opciones Avanzadas.
En el encabezado HTML, pega este código: <meta name="robots" content="noindex">. Esto indica a los robots de Google que no queremos que indexe ese elemento de nuestra web.
Fuente: Knowledge.hubspot.com
Desindexar páginas en WordPress usando Yoast
Desindexar páginas en WordPress es tan sencillo como iniciar sesión en tu sitio web y entrar en la sección de páginas. Cuando editamos una de ellas, tras el editor aparece el metabox de Yoast SEO, que nos permite modificar varias cosas (metatitle, metadescription, etc.). En esta sección también podremos indicar a los motores de búsqueda que no indexen dicha página o entrada.
Para ello tan solo tendrás que hacer clic en la pestaña “Avanzado” y seleccionar “No” a la pregunta de “¿Permitir a los motores de búsqueda mostrar esta XXXX en los resultados?”. Esta opción está disponible individualmente en cada entrada o página de WordPress. Si lo que quieres es que se deje de indexar un grupo de elementos de forma habitual, entonces deberemos indicarlo en la configuración general de Yoast SEO:
- Con la sesión iniciada en tu sitio web, busca la opción “SEO” en el menú lateral izquierdo de tu panel de control.
- Seguidamente, haz clic en “Apariencia en el Buscador”, se encuentra en las opciones que se despliegan al hacer clic en “SEO”.
- Haz clic en la pestaña de tipos de contenido y busca el tipo de elemento que quieres desindexar.
- Selecciona “NO” en la opción de "¿Mostramos XXXXX en los resultados de búsqueda?".
- Haz clic en “Guardar cambios”.
Desindexar páginas usando Google Search Console
Si lo que quieres es bloquear una URL para que no aparezca temporalmente en la Búsqueda de Google, o quieres actualizar la información que tiene Google sobre una página porque la has modificado, sigue estos pasos:
- La URL debe estar en una propiedad de Search Console que sea tuya. Si no es así, sigue estas instrucciones.
- Abre la herramienta de retirada.
- Selecciona la pestaña Retiradas de URLs.
- Haz clic en Nueva solicitud.
- Selecciona Retirar URL temporalmente o Borrar URL almacenada en caché.
- Pega el enlace del elemento que quieres desindexar.
- Para completar el proceso, selecciona "Siguiente".
Por lo general, las solicitudes pueden tardar hasta un día en procesarse y no se garantiza que se acepten. Vuelve a consultar el estado de la solicitud más adelante para saber si la URL ha sido desindexada. Si se ha denegado tu solicitud, haz clic en "Más información" para saber el motivo.
Y aquí llegamos al final del artículo. Hemos visto el significado de indexar, cómo favorecer la rastreabilidad (y, en consecuencia, la indexación), cómo medir su frecuencia y cómo detectar posibles problemas. ¿Has tenido alguna vez problemas con la indexación de tu página? ¿Cuáles son tus trucos para indexar? Me encantaría leerte en comentarios.
Publicado originalmente el 15 de julio de 2016, actualizado el 7 de abril de 2022.
Revisado y validado por Susana Meijomil, SEO & Content Manager en InboundCycle.
Susana Meijomil
SEO & Content Manager de InboundCycle, responsable de la planificación, producción y publicación de contenido en nuestro blog, así como de la estrategia SEO. Además, ha sido directora del Curso Especializado Online en Inbound Marketing de IEBS Business School.