3 pasos para asegurarte una buena indexación en Google y Bing

Para que nuestra página web consiga estar bien posicionada en internet, es imprescindible que sea detectada y analizada por los robots de Google y el resto de los buscadores. En este post te doy las claves para facilitar el trabajo de estos rastreadores en nuestro site y, de esta forma, garantizarnos la mejor indexación posible. ¡Conócelas y aplícalas!

¿Qué es la indexación?

Los robots de Google, también conocidos como Google Boots o arañas de Google, se dedican a rastrear de forma periódica las páginas web e identificar cada una de las URL que forman parte de ellas. Esto es lo que comúnmente en internet se conoce como crawleo.

Como gestores de una página web o blog, nos interesa facilitar al máximo el análisis de nuestra página a los robots de Google y los otros buscadores, con el fin de que sean capaces de llegar y reconocer cada una de las URL que conforman nuestro site.

En definitiva, la indexación es el resultado del reconocimiento de Google de una URL, la cual se produce en el momento en que los robots detectan y reconocen cada una de las distintas direcciones que la forman.

¿Por qué es tan importante estar indexados?

Para que una página pueda aparecer en los resultados de búsqueda (SERP) es totalmente imprescindible que esté indexada por Google. Por eso debemos procurar que los boots de Google puedan rastrear las URL que nos interesen (las páginas en construcción u otras URL como las Thank You Pages es posible que nos convenga que permanezcan invisibles para los robots o arañas).

Una vez indexada una URL, tendremos que poner en marcha otras acciones para tratar de posicionarla lo más arriba posible. Pero si no está indexada ya no hay nada que hacer, puesto que a ojos de Google dicha URL no existirá y, en consecuencia, nunca aparecerá en las páginas de resultados tras una búsqueda de los usuarios.

La secuencia lógica de una URL para que pueda lograr un buen posicionamiento es la siguiente:

Generación de URL --> Indexación de URL --> Posicionamiento de URL

Además del posicionamiento, también nos interesa estar indexados por las siguientes ventajas adicionales:

• Potenciar el branding (imagen de marca)
• Lograr más tráfico
• Aumentar el porcentaje de conversiones
• Mejorar la atención al cliente
  

¿Qué son los robots de Google y cómo funcionan?

Los robots de Google, también conocidos como arañas, se encargan de rastrear automáticamente todas las webs de internet. A través de estos robots, Google descubre tanto las páginas nuevas como las actualizaciones de las ya creadas y las añade a su propio índice, utilizando para ello un algoritmo o fórmula.

¿Cómo funciona el rastreo de los robots de Google?

El proceso de rastreo del robot de Google comienza con una lista de URL de páginas web generada a partir de procesos anteriores de rastreo, y se amplía con los datos de los sitemaps que ofrecen los webmasters.

Cuestiones que debemos considerar

Para entender las vicisitudes de la forma de actuar de las arañas de Google debemos tener muy presentes los siguientes puntos:

• De media, el robot de Google no suele acceder a la mayoría de los sitios más de una vez cada pocos segundos. El objetivo de Google consiste en rastrear el mayor número posible de páginas de tu sitio en cada visita sin colapsar el ancho de banda del servidor. Ten en cuenta que puedes solicitar que se modifique la frecuencia de rastreo de tu web.
• Cuando publicamos un post lo normal es que no esté indexado al momento, tardará unas horas o incluso varios días en indexarse, dependiendo de cuándo pasen los robots de Google a crawlear tu página.
• Normalmente, en un intervalo de 24-72 h el robot de Google ya indexa tu blog. Tienes la opción de consultar a través de Search Console la frecuencia de paso de los robots por tu web.
• Una recomendación para que tus posts se indexen de forma más rápida es que desde tu home crees un link al blog.
• Cuando estás comenzando un blog, es poco probable que tenga una buena autoridad, por lo que Google tardará más tiempo en pasar. Conforme vayamos publicando, y sobre todo si lo hacemos con más frecuencia de lo normal, los rastreadores empezarán a pasar de forma más regular por nuestra web.
• No existe una ciencia exacta para saber con exactitud las horas o días que tarda una URL en indexarse. Pero sí se sabe que la mejor forma de agilizar el proceso es enviar directamente a Google todo el contenido de la web, para que la procese. Este envío se realiza mediante el Google Search Console, en concreto utilizando la opción “Explorar como Google”. Se puede enviar una página concreta o la totalidad a Google para que las indexe.
• Si tenemos un sitemap bien estructurado, ayudaremos a una indexación más rápida.

Pasos para optimizar la indexación en Google

Comprobación manual de la indexación de una URL

El primer paso a la hora de realizar un análisis de la indexación sería ejecutar el site. Esto nos dará una visión aproximada del número de URL indexadas de nuestra web y nos puede servir para hacernos una idea del estado de nuestra web en lo que respecta a su indexación.

Para comprobar que una URL está indexada podemos poner en Google “site:dominio de tu web” delante de la URL: si aparece como resultado de Google es que ya está indexada, y si no aparece significa que todavía no lo está.

A continuación, te presento un ejemplo de URL indexada y uno de URL no indexada:

URL indexada

En la siguiente imagen vemos que la web de InboundCycle cuenta con aproximadamente 1.960 URL indexadas.

URL no indexada

Esto nos sirve para una comprobación básica y rutinaria, pero si queremos obtener datos más exactos, como saber qué URL están y qué URL no están indexadas, deberemos llevar a cabo análisis más precisos, que explicaremos en los siguientes puntos de este apartado.

Checklist para comprobar la indexación

Con el fin de asegurarte de que los robots de Google van a indexar óptimamente tu web, te recomendamos que compruebes los siguientes puntos:

1. Asegúrate de que tu web o blog tiene sitemap. Al comienzo de un proyecto es importante añadir la línea del sitemap al blog. Ejemplo: http://www.miweb.com/sitemap.xml.
2. Comprueba que el blog tiene robots.txt y está bien configurado.
3. Si utilizas WordPress comprueba que no tengas marcada la opción “Disuade a los motores de búsqueda de indexar este sitio”.
4. También en WordPress, debes revisar que no tienes marcado el checkbox del plugin de Yoast SEO. Si quieres ampliar información sobre este tema, te recomendamos este artículo.
5. Si tu blog está en HubSpot, únicamente tienes que comprobar que los artículos publicados se vayan indexando.
6. Asegúrate de haber creado la cuenta de Search Console y añadido el SiteMap.
7. Recuerda configurar el plugin de Yoast.
8. Por último, si nuestro blog es un subdirectorio, es muy importante que la página principal tenga un link al blog.

13 razones por las que mi blog no está indexado (y 13 formas de solucionarlo)

Esta es una recopilación de los 13 motivos principales que pueden provocar que tu blog no esté indexado por Google, así como las acciones que debes poner en marcha para solucionar el problema.

1. El blog no genera las URL de nuestros artículos de forma completa
   Verifica que las direcciones generadas no estén incompletas.
2. El blog está indexado bajo un dominio con “www” o sin “www”
   Ten en cuenta que desde un punto de vista técnico www es un subdominio del dominio principal, por lo que http://miblog.es no es lo mismo que http://www.miblog.es.
   Deberías añadir ambos sitios web en la cuenta de Google Webmasters Tools para que Google indexe a ambos y, a continuación, establecer el dominio preferido. Esta herramienta nos podrá ayudar a ver si está correctamente implementado.
3. Google no ha encontrado tu site todavía
   Sigue las instrucciones de indexación manual.
4. Las páginas web están bloqueadas por el archivo robots.txt
   En este caso deberíamos borrar las líneas que estén causando el problema del archivo robots.txt. Por ejemplo, todo el CSS de tu blog puedes tenerlo en carpetas que estén bloqueadas por robots.txt y esto puede estar afectando a la indexación. En este enlace puedes ver varios tips a tener en cuenta.
5. Tu blog no tiene un archivo sitemap.xml
   Recuerda que es muy importante crearlo.
6. Tu blog tiene errores de rastreo
   Sigue las instrucciones de errores de rastreo en Search Console.
7. Existe contenido duplicado
   Se puede solucionar eliminando el contenido o bien haciendo redireccionamientos 301.
8. Has activado los ajustes de privacidad en WordPress
   Desactivarlos.
9. Tu blog está bloqueado por el archivo .htaccess.
   El archivo .htaccess, archivo de configuración de un servidor web Apache, se encuentra en la raíz de su sitio web en el servidor. Solamente se debe usar para bloquear los rastreadores y evitar la indexación en aquellos links que nos interesa que no estén visibles para los robots.
10. El sitio web tiene NOINDEX en la metaetiqueta
    Otra forma de decirle “no” a los robots y de esta forma evitar la indexación es utilizar la metaetiqueta noindex. Suele ser de este tipo:
    <META NAME=”ROBOTS” CONTENT = “NOINDEX, NOFOLLOW”>
    Se puede verificar con la herramienta de comprobación de cabeceras http. También podemos usar esta herramienta para optimización de metas.
11. Problemas con AJAX O JavaScript
    Estos lenguajes no son tan fácilmente indexables como el HTML normal. Si tu web tiene mal configurado el AJAX o la ejecución de JavaScript, Google no indexará la página.
12. El blog tarda mucho en cargar
    Para solucionar este problema deberíamos optimizar la velocidad de carga implementando acciones como: comprimir las imágenes, contratar un servidor de más calidad o reducir el número de plugins a los necesarios si se trabaja en Wordpress.
13. Tu blog ha recibido una penalización manual y ha sido borrado del índice de Google
    En este artículo puedes ver las múltiples razones de esta sanción y que, por lo tanto, debes evitar a toda costa.

Buenas prácticas para acelerar la indexación

Otra de las cosas que pueden ayudarte a conseguir una indexación más rápida son:

• Campañas de PPC. Aunque no es esencial, Google valora positivamente si haces campañas de Adwords para mejorar la indexación.
• Tener redes sociales activas (en especial Google +).
• Que el fichero TXT no tenga barreras como: bloqueos de directorios, archivos, imágenes, etc. y se indique la dirección del sitemap.
• Trabajar con keywords.
• Comprobar con Google Page Speed o GTMetrix la velocidad de tu site
• Trabaja el posicionamiento de nuestras imágenes. Para ello debemos usar el atributo ALT y escribir textos muy cortos con keywords.
• Comprobar si nuestro blog tiene usabilidad móvil. Podemos seguir las recomendaciones de Google para optimizar móviles y esta herramienta de validación móvil para comprobar nuestro site. Esto es especialmente importante, ya que en 2018 Google cambiará su índice principal de Desktop a Mobile.
• Implementación de AMP para el blog.
• Hacer la redirección https y http.
• Usar datos estructurados para el posicionamiento. Lo podemos comprobar con esta herramienta de Google.
• Excluir Baidu y Yandex en la sección de robots.txt, ya que pueden estar consumiendo recursos en mercados, como el ruso o el chino, que no nos resultan rentables. 

La optimización interna

Además de la comprobación manual de la indexación, teniendo en cuenta los errores más habituales y las buenas prácticas, el siguiente paso para lograr la mejor indexación es optimizar los distintos elementos de tu web: título, metadescripción, enlaces internos, etc.

El título (Title) de las publicaciones de nuestra web debe incluir la palabra clave lo más a la izquierda posible, es decir, al principio, ser corto y cada vez más pensado para las búsquedas por voz a través del Google.

La metadescripción (Metadescription) no es un elemento que ayude a posicionar la web directamente, pero no debe descuidarse porque puede estar incluida en los snippets (recuadros con la entrada más destacada) y ayuda a posicionar las keywords.

Trabajar las palabras clave también en las cabeceras (H1, H2 H3…) pero siempre de una manera natural.

Otra recomendación es procurar no usar acentos en las URL.

La importancia del link building

Dentro de la optimización interna, las estrategias de enlaces merecen una atención especial. El linkbuilding forma parte del llamado SEO-off page, y para conseguirlo tenemos que conseguir backlinks de calidad, logrando que webs ajenas a la nuestra nos enlacen.

La mejor manera de conseguir más enlaces de otros blogs o webs es publicar contenido de calidad y exponerlo en cuantos más sitios mejor (como, por ejemplo, en Wikipedia).

Contra más enlaces tengamos, siempre que provengan de webs de calidad y no hayan sido logrados con métodos que Google pueda considerar spam, más posibilidades tendremos de que las arañas de Google visiten nuestras URL con mayor frecuencia, logrando así una mejor indexación.

Además, una buena estrategia de linkbuilding nos ayudará a conseguir más autoridad, “Page Rank”, en nuestra página, que es uno de los factores con más peso en el algoritmo de Google para determinar la posición final de las páginas.

Cómo posicionarnos en otros buscadores

Cuando hablamos de motores de búsqueda, nos referimos casi siempre a Google. Y cuando decimos “SEO” asumimos que estamos hablando de la optimización de palabras clave para Google. Es comprensible, ya que la cuota de mercado de búsquedas de Google en todo el mundo es muy alta (95 % en España).

Aun así, existen otros buscadores como Yahoo! o Bing, en los que también hay oportunidades de captación de leads.

BING

Bing es el segundo buscador más utilizado después de Google. Según este artículo, desde 2010 las búsquedas de Yahoo! son impulsadas por Bing, lo que significa que Yahoo! se basa en el índice y algoritmo de clasificación de Bing. De forma que cualquier optimización SEO llevada a cabo para uno nos sirve para el otro. Además, cabe notar que el motor de búsqueda de Siri es también Bing.

No obstante, a veces podemos ver ligeras discrepancias entre los resultados de ambos buscadores. Esto se puede deber a varias razones:

1. Yahoo! todavía incorpora algunos servicios propios, tales como compras, información de películas, etc., en los resultados.
2. Al igual que Google, Bing suele realizar un test en tiempo real sobre una muestra de sus usuarios con el fin de mejorar su buscador y probar funcionalidades nuevas.
3. Los datos que Yahoo! recibe de Bing posiblemente no son tan actuales como los resultados en tiempo real de Bing. Probablemente lo que sucede es que cuando Yahoo! recibe una consulta, devuelve la última respuesta a la consulta que tiene registrada procedente de Bing. Aunque esta actualización se produce de forma continua, puntualmente puede haber una pequeña falta de sincronización.

En cualquier caso, el posicionamiento SEO en Bing es más fácil de lo que estás acostumbrado con Google.

Para conseguirlo, debemos tener en cuenta las siguientes recomendaciones y estar atentos a ciertas diferencias entre ambos buscadores:

• Asegurarnos de que nuestras páginas importantes del site están correctamente indexadas en Bing. Ejemplo → site: tusitio.com (podrás ver al momento el número de páginas indexadas en tu web).
• Lo normal es que si no tienes problemas de indexación en Google tampoco las tengas en Bing. Para acelerar las cosas, puedes enviar tu sitio a Bing manualmente.
• A través de Crawl Control en la herramienta Bing Webmaster Tools, puedes establecer la frecuencia de rastreo y el momento del día en que deseas que tu web sea analizada. La frecuencia de rastreo “estándar” suele ser bastante baja, por lo que si tu sitio es grande o se actualiza con frecuencia, probablemente querrás cambiarla a alta (full volumen).
• Envía un sitemap actualizado y sin errores.
• Debemos tener en cuenta que la búsqueda de keywords en Bing no es tan semántica como Google, por lo que se debe trabajar más la concordancia de las palabras.
• Bing tiene en cuenta el CTR sobre los resultados de búsqueda y los rebotes.
• A nivel de enlaces, Bing valora más la cantidad sobre la calidad.
• Es recomendable difundir los contenidos por las redes sociales.

Espero que este artículo te sea de utilidad práctica para mejorar la indexación de tu página en Google y otros buscadores. Es muy posible que te surjan dudas o quieras añadir algo, por lo que te espero en la sección de comentarios.