A indexação é a ação pela qual os robôs (ou bots) rastreadores do Google encontram o conteúdo ou site, registram em seus bancos de dados e o posicionam nas páginas de resultados, quando alguém pesquisar uma informação. Claro e direto, esta é a definição que você procura. É muito provável que você já tenha ouvido falar sobre a importância do seu site ser bem indexado, mas não entende completamente o porquê.
Para sanar suas dúvidas, explico neste artigo o que é indexação, como colocar site no google, medir sua frequência e detectar possíveis problemas.
O que é indexação ou indexar?
Ao procurar a definição da palavra indexar no dicionário, o terceiro significado a define como: “Inserir um ou vários sites na base de dados de motores de pesquisa (google, yahoo etc.), fazendo com que eles apareçam como resultado para quem faz uma busca: indexar um site de vendas no Google.” Assim, fica claro que, no cenário digital, indexar está relacionado ao SERP (Search Engine Results Page), ou seja, as páginas de resultados do mecanismo de busca.
O maior indexador do mundo hoje é o Google, e ter seu conteúdo indexado significa que seu site aparecerá nos resultados de pesquisa. Isso é muito positivo, pois gera visitas ao site e, portanto, opções para gerar conversões e vendas. Assim, a indexação é um aspecto fundamental para o seu negócio e que você sempre deve ter em mente.
O próprio buscador, em seu guia sobre indexação e rastreamento, esclarece melhor o significado de indexação: o bot do Google rastreia as bilhões de páginas que existem para indexá-las, ou seja, para adicioná-las a um índice (como o de um livro). Dessa forma, quando um usuário faz uma pesquisa ("como fazer um bolo", por exemplo), o buscador vai até a parte do índice relacionado à busca e posiciona os resultados com base em seu algoritmo.
A razão pela qual os mecanismos de pesquisa criam esse índice tem a ver com sua capacidade de reagir. Se os usuários tivessem que ir à internet para procurar levariam muito tempo, assim, ter seu próprio índice permite que os mecanismos de busca dêem uma resposta rápida à pesquisa desejada. No entanto, muitas vezes, o índice fica desatualizado. O que acontece é que você atualiza seu site e, por um período, o indexador não percebe essa mudança. Assim, até que o mecanismo de pesquisa indexe o conteúdo do seu site parece que nada mudou.
Se você percebe a importância que isso tem para seu site e suas visitas, mas não sabe como colocar site no google, explico abaixo como você pode fazer isso.
Como funciona o processo de indexação?
O processo de indexação de sites do mecanismo de busca Google é dividido principalmente em três fases: o rastreamento, a indexação e a classificação.
O rastreamento ocorre quando o Google tenta descobrir novos elementos na rede usando as chamadas “aranhas” do Google. De forma automatizada, elas procuram possíveis mudanças e novidades nos diferentes servidores conectados à Internet. Quando chegam em um site, elas o rastreiam tentando entendê-lo, coletam informações e acessam seus links.
Se o site atender aos requisitos, o mecanismo de pesquisa inclui as informações encontradas em seu enorme banco de dados. Esta é a segunda fase, a fase da indexação. Na terceira fase, a fase de classificação, é decidido em qual posição dos resultados de pesquisa um site é exibido, algo que depende de muitos fatores de SEO: conteúdo, estrutura, autoridade, velocidade, etc.
As duas primeiras fases, rastreamento e indexação, são essenciais para que o seu site apareça no Google. Como existem muitos sites na rede, se você quiser acelerar esse processo deve enviar diretamente ao Google as informações do seu site para que ele possa rastreá-lo e indexá-lo. Como fazer isso? Através de um sitemap (mapa do site), um arquivo em formato XML que contém todas as informações para que as ‘aranhas’ do Google possam rastrear seu site rapidamente.
Tanto a HubSpot quanto o WordPress oferecem ferramentas para criar facilmente um mapa do site com apenas alguns cliques. Uma vez criado, você envia ao Google Search Console, uma ferramenta do Google que permite enviar facilmente o mapa do site, entre outras opções.
Exemplo de mapa do site XML
Fonte: Worpdress.org
Por que é importante o site estar indexado?
Estar indexado significa aparecer nas SERPs (páginas de resultados de pesquisa). Portanto, por melhor que seja o conteúdo, se o seu site não estiver bem indexado, aos olhos do Google a sua URL não existe e não vai aparecer nas páginas de resultados após uma pesquisa do usuário.
Como colocar site no google?
Como mencionei, é o bot do Google (também conhecido como “aranha”) que rastrea o conteúdo que vai de um link interno para outro. Mas você não precisa deixar tudo nas mãos do Google, você também pode ajudar na “missão” de rastrear e indexar todo o seu conteúdo com a criação de um sitemap, entre outras coisas.
Abaixo apresento uma compilação das dicas mais úteis para que o buscador percorra sua página:
Atualização constante
Se você atualizar seu conteúdo com uma boa frequência, idealmente todos os dias, você acostuma o bot do Google a rastrear sua página diariamente. Dessa forma, toda vez que você lançar um novo post, ele é indexado em questão de horas ou até minutos.
Se o seu site for novo, vai ser difícil para o Google notá-lo e a autoridade de domínio do seu site não vai ser tão alta. Você ganha pouco a pouco à medida que mantém o ritmo de publicação.
Utilize links internos
Não tenha medo de colocar links internos relevantes. É essencial ter um menu superior de categorias e subcategorias para facilitar o rastreamento, e você também pode incluir links internos dentro do próprio conteúdo:
Lembre-se da estratégia follow vs no-follow porque isso ajuda os robôs do Google a saber quais páginas estão conectadas, o que ajuda no posicionamento do seu site.
A estratégia link building não define a indexação em si, mas uma vez que tudo está bem implementado, ela ajuda nos buscadores e consegue um melhor posicionamento.
Criar sitemap
O que é sitemap ou mapa do site?
O mapa do site é um documento que você hospeda em seu site e que lista de forma hierárquica todo o conteúdo (ou páginas) para que os usuários o encontrem.
Dependendo do formato em que você constrói seu mapa do site, tanto os usuários quanto os mecanismos de pesquisa podem se beneficiar. Por um lado, permite acesso à informação de forma mais direta e, por outro, facilita o trabalho de indexação dos motores de busca. Como consequência, seu site tem um posicionamento melhor.
Um sitemap pode ser um documento estático ou dinâmico. É melhor ser dinâmico, pois à medida que você atualiza seu site com novos conteúdos ou páginas, o índice é atualizado automaticamente. Ter um sitemap dinâmico permite servir os motores de busca com um índice atualizado e, portanto, com conteúdo indexado atual.
Crie um sitemap
O CMS Hub da HubSpot contém ferramentas para criar seu próprio mapa do site com muita facilidade. A HubSpot adiciona automaticamente seus sites hospedados em seus servidores e cria um arquivo XML para poder enviá-los ao Google Search Console. As páginas de destino devem ser adicionadas manualmente, sendo assim, é necessário configurar o seu sitemap da seguinte forma:
Configure seu sitemap XML na HubSpot
Você precisa criar um sitemap XML para cada um dos seus domínios hospedados na HubSpot e enviar eles manualmente para a propriedade do seu domínio no Google Search Console, explico mais a frente como fazer isso. Por enquanto, veja como criar o mapa do site XML:
- Faça login na sua conta HubSpot e clique em configurações (localizadas na barra de navegação principal).
- Na barra lateral esquerda, vá para “Domínios e URL”.
- Vá para a guia Sitemap.
- Clique em exibir arquivo XML para visualizar seu mapa do site XML. Este será o link que mais tarde você vai enviar para o Google Search Console.
- Se você quiser adicionar uma nova página ao seu mapa do site, clique em “+ Adicionar uma página” e selecione a página desejada no menu suspenso.
- Se você desejar remover uma página do seu sitemap, clique na página e depois em excluir.
Crie sitemaps no WordPress usando Yoast SEO
Se você quer saber como indexar páginas no WordPress, o mais simples é instalar um plugin chamado Yoast SEO. Além de várias funções relacionadas ao SEO, este plugin também dá a possibilidade de criar um mapa do site de forma automática.
Criar um sitemap XML com Yoast SEO é muito fácil. Primeiro, baixe e instale o plugin Yoast SEO através do gerenciador de plugins do WordPress. Depois disso, habilite a opção XML do sitemap nas opções de configuração e o sitemap é gerado automaticamente.
Você encontra essa opção em Geral > Recursos. Para acessar o mapa do site ou copiar o link, basta clicar no ícone em forma de ponto de interrogação e depois em “Ver o mapa do site XML”. Este é o link que você deve fornecer ao Google.
Use robots.txt
Os robots.txt são arquivos usados para bloquear a indexação de qualquer URL em seu site. Como dica, aplique “Disallow” nas páginas que você não deseja que sejam indexadas. Ele não melhora a indexação (é como se você não tivesse), mas permite que você personalize quais URLs você deseja que sejam exibidas nos resultados de pesquisa e quais URLs você não está interessado em indexar (Thank you pages, landing pages de produtos, políticas de privacidade, documentos, etc.).
Essa ação de não indexação de conteúdo também pode ser realizada de forma mais técnica e manual, como o próprio Google informa. É um desafio tecnológico que requer conhecimento de HTML para gerenciar metadados que impedem que determinadas páginas ou seções sejam indexadas.
Como saber se o Google está indexando seu site?
Depois de fazer todos esses passos, é provável que surja a pergunta: “O Google está indexando meu conteúdo?”. Explico abaixo como você pode verificar se a indexação está sendo feita corretamente:
Verifique manualmente a indexação de uma URL
Escrevendo “site:” na barra de pesquisa do Google você saberá quantas URLs do seu site aparecem na SERP. Você só precisa usar a combinação site:seudominio.com na barra de pesquisa.
Como você pode ver, o número total de páginas indexadas aparece nos resultados:
Como forçar o rastreamento do seu domínio para indexação?
Existe um truque muito útil para o Google rastrear e indexar seu conteúdo novamente (ou pela primeira vez) em questão de segundos ou minutos.
Você só precisa acessar o Search Console, registrar seu site e, no painel esquerdo, acessar “Rastrear” > “Explorar como Google”.
Lá você encontra a opção para inserir a URL do seu site. Você pode deixar o campo em branco se quiser que a página inicial seja rastreada ou colocar qualquer URL para rastrear uma página interna.
Depois clique em “Solicitar Indexação”.
O Google alerta que pode levar alguns minutos, mas, normalmente, em questão de segundos a URL é rastreada e indexada.
Se em alguns minutos o seu conteúdo não for indexado, é possível que existam problemas de indexação com a URL. Para resolver, a primeira coisa a se fazer é revisar o arquivo "robots.txt".
O robots.txt é aquele arquivo que bloqueia a indexação de determinadas páginas, então analise para verificar se algo dificultou sua indexação.
O Search Console é uma opção rápida para verificar problemas no status de indexação. Basta acessar a seguinte seção da plataforma: "Índice do Google" > "Status de indexação".
Um gráfico como o abaixo mostra quantas páginas internas foram enviadas ao índice do Google e quais foram bloqueadas pelo robô:
O que é desindexação?
Assim como páginas específicas são indexadas, você também pode fazer com que um elemento do seu site não seja indexado pelo Google. E mesmo que já esteja indexado, através do Google Search Console, você pode desindexar.
Isso é útil para as páginas que não agregam valor ao Google ou aos seus visitantes, como a política de privacidade de dados ou a página de administração. E você também pode querer que determinada página fique acessível apenas a partir do seu site e não do Google. Seja qual for o motivo, é possível desindexar tanto pelo seu mapa do site quanto pelo Google Search Console.
Desindexar páginas na HubSpot
Para evitar que os mecanismos de pesquisa indexem páginas específicas do seu site, utilize a metatag "noindex". Essa tag é colocada na seção de cabeçalho do código HTML de uma página para informar aos mecanismos de pesquisa para não indexar a página. Para fazer isso na HubSpot, você precisa:
- Entrar na sua conta HubSpot e navegar pelas páginas do seu site.
- Clicar no nome da página ou postagem que você deseja desindexar.
- No editor de conteúdo, clique na guia Configurações.
- Clique em Opções avançadas.
No cabeçalho HTML, cole este código: <meta name="robots" content="noindex">. Isso informa aos robôs do Google que você não quer que eles indexem esse elemento do seu site.
Fonte: Knowledge.hubspot.com
Desindexar páginas no WordPress
Desindexar páginas no WordPress utilizando Yoast é tão simples quanto fazer login no seu site e ir para a seção de páginas. Ao editar uma página, a metabox Yoast SEO aparece e permite modificar várias coisas (metatítulo, metadescrição, etc.). Nesta seção você indica aos motores de busca que não indexem a referida página.
Para fazer isso, clique na guia “Avançado” e selecione “Não” à pergunta “Permitir que os mecanismos de pesquisa mostrem este XXXX nos resultados?”. Esta opção está disponível em cada postagem ou página do WordPress. Se você deseja que um grupo de elementos deixe de ser indexado regularmente, você deve ajustar as configurações gerais do Yoast SEO:
- Com a sessão iniciada no seu site, procure a opção “SEO” à esquerda do menu lateral do seu painel.
- Em seguida, clique em “Aparência no mecanismo de pesquisa”.
- Clique na guia de tipos de conteúdo e encontre o tipo de item que deseja desindexar.
- Selecione "NÃO" na opção "Mostrar XXXXX nos resultados da pesquisa?".
- Clique em "Salvar alterações".
Desindexar páginas usando o Google Search Console
Se você quer impedir que a URL apareça temporariamente na Pesquisa do Google ou deseja atualizar as informações que o Google tem sobre uma página que você alterou, siga estas etapas:
- A URL deve estar em uma propriedade do Search Console que você possui. Se não, siga estas instruções.
- Abra a ferramenta de remoção.
- Selecione a guia Remoções temporárias.
- Clique em Nova solicitação.
- Selecione Remover URL temporariamente ou Limpar URL em cache.
- Cole o link do item que você deseja desindexar.
- Para concluir o processo, selecione Próxima.
Geralmente, as solicitações levam um dia para serem processadas e não há garantia de aceitação. Ao longo do dia, verifique o status da solicitação para ver se a URL foi desindexada. Se sua solicitação foi negada, clique em "Mais informações" para descobrir o motivo.
Ficou alguma dúvida? Neste artigo você aprendeu o significado da indexação, como colocar site no google (promover a rastreabilidade e a indexação), medir sua frequência e detectar possíveis problemas. Você já teve problemas com a indexação da sua página? Quais são seus truques? Escreve nos comentários.
Publicado em 24 de outubro de 2022.
Revisado e validado por Jalusa Lopes, Country Manager da InboundCycle Brasil.