Robots.txt e indexação: o que deixar o Google ver na sua loja

Uma loja de informática com dois mil produtos pode ter, sem que o dono perceba, centenas de milhares de endereços diferentes. Cada combinação de filtro de marca, faixa de preço, memória e ordenação gera uma URL nova. Somam-se o carrinho, a busca interna, a área do cliente. Para o robô do Google, tudo isso é caminho a percorrer. O robots.txt é o arquivo que diz a esse robô por quais portas ele pode entrar e quais corredores não valem a visita.

Parece assunto só de programador, mas os efeitos são muito concretos para o lojista. Um robots.txt mal configurado pode fazer o Google gastar tempo em páginas inúteis e demorar para encontrar os produtos novos. Pior: uma linha errada pode bloquear a loja inteira e fazê-la sumir da busca em poucas semanas. Já vi isso acontecer depois de uma migração apressada.

Neste artigo você vai entender, sem jargão desnecessário, a diferença entre rastrear e indexar, como ler um robots.txt, o que uma loja virtual deve deixar o Google ver e o que deve esconder, como conferir tudo no Search Console e quais erros evitar a qualquer custo.

Rastrear e indexar não são a mesma coisa

Esse é o conceito que mais confunde, e entendê-lo evita a maioria dos erros.

• Rastrear é o robô visitar a página e ler o conteúdo dela.
• Indexar é o buscador guardar a página no índice, o grande catálogo de onde saem os resultados de busca.

O robots.txt controla o rastreamento. Ele diz "não entre aqui". Mas não diz "não mostre isso". Uma página bloqueada no robots.txt pode continuar aparecendo nos resultados, geralmente sem descrição, se outros sites ou páginas linkarem para ela. Para tirar uma página do índice, o recurso adequado é a indicação noindex, colocada na própria página. E aqui vem a armadilha: se a página estiver bloqueada no robots.txt, o robô não consegue entrar para ler o noindex.

Regra de bolso: robots.txt serve para economizar o tempo do robô em áreas sem valor. Noindex serve para tirar uma página dos resultados. Usar um no lugar do outro é a origem de boa parte dos problemas de indexação em lojas.

Quando usar cada recurso

Pense em três situações do dia a dia. Primeira: a página não tem nenhum valor para quem busca e existe em quantidade enorme, como os resultados da busca interna. Aqui o bloqueio de rastreamento faz sentido, porque economiza o tempo do robô. Segunda: a página já está no Google e você quer tirá-la de lá, como uma página de campanha antiga. Aqui o caminho é o noindex, com o rastreamento liberado até o buscador ler a indicação. Terceira: a página foi substituída por outra, como um produto que mudou de endereço. Aqui o melhor é redirecionar para a página nova, levando junto o histórico acumulado. Cada problema tem a sua ferramenta, e misturá-las costuma gerar o efeito contrário ao desejado.

Como ler um robots.txt sem ser programador

O arquivo fica sempre no mesmo lugar: seudominio.com.br/robots.txt. Abra no navegador e você verá linhas parecidas com estas (exemplo ilustrativo; os caminhos reais variam de loja para loja):

• User-agent: * — a regra a seguir vale para todos os robôs.
• Disallow: /carrinho — não rastrear endereços que começam com /carrinho.
• Disallow: /busca — não rastrear a busca interna.
• Allow: / — o restante está liberado.
• Sitemap: https://seudominio.com.br/sitemap.xml — o endereço do mapa de páginas da loja.

Os comandos são poucos. User-agent indica a qual robô a regra se aplica. Disallow indica o que não deve ser rastreado. Allow abre exceções. Sitemap aponta o arquivo que lista as páginas importantes. Uma única linha Disallow: /, sozinha, significa bloquear tudo, e é a linha mais perigosa que pode existir no arquivo de uma loja em funcionamento.

O que deixar o Google ver em uma loja virtual

Antes de pensar no que bloquear, defina o que precisa estar aberto. Estas são as páginas que geram tráfego e vendas:

1. Página inicial, a porta de entrada da marca.
2. Categorias e subcategorias, que respondem às buscas amplas de quem está escolhendo.
3. Páginas de produto ativas, que respondem às buscas específicas.
4. Posts do blog, que atraem quem pesquisa dúvidas e levam aos produtos.
5. Páginas institucionais úteis, como trocas, entregas e quem somos, que transmitem confiança. Veja como organizá-las em páginas de trocas, privacidade e quem somos.
6. Imagens dos produtos e arquivos de estilo, que o Google usa para entender e exibir a página como o cliente a vê.

Este último ponto merece atenção. Bloquear pastas de imagens, estilos ou scripts impede que o buscador enxergue o layout e as fotos, o que pode prejudicar a avaliação da página e a presença no Google Imagens.

O que esconder: áreas sem valor para a busca

Agora sim, as áreas que podem ser fechadas ao rastreamento ou mantidas fora do índice. A tabela resume cada caso:

O caso especial dos filtros

Em lojas de informática, eletrônicos e moda, os filtros são o maior gerador de endereços. Um filtro de marca combinado com um de preço e outro de memória pode criar milhares de páginas. Elas são úteis para o cliente, mas mostram os mesmos produtos da categoria. O caminho mais seguro é tratar os recortes com busca real, como "notebook para programar", como categorias e subcategorias próprias, com texto e título, e deixar as demais combinações apenas como navegação, sem links internos apontando para elas.

Orçamento de rastreamento: por que isso importa em lojas grandes

Os buscadores não visitam todas as páginas do seu site o tempo todo. Cada site recebe uma quantidade de visitas dos robôs que depende do tamanho, da velocidade e da importância percebida. Esse limite é chamado de orçamento de rastreamento.

Em uma loja com cinquenta produtos, isso raramente é problema. Em uma loja com milhares de produtos e filtros, é. Se o robô gasta a visita percorrendo combinações de filtros e páginas de busca, sobra menos tempo para os produtos novos, os preços atualizados e as categorias reformuladas. O resultado prático: o lançamento da semana demora a aparecer no Google, enquanto variações inúteis de uma mesma lista são revisitadas o tempo todo.

Um exemplo fictício: uma loja de periféricos percebeu, no relatório de estatísticas de rastreamento do Search Console, que a maior parte das requisições do Google ia para endereços de busca interna e ordenação. Depois de ajustar as regras de rastreamento e parar de linkar endereços com filtros nos banners, as visitas do robô passaram a se concentrar em produtos e categorias, e os lançamentos começaram a ser indexados mais rápido.

Como verificar o robots.txt e a indexação no Search Console

Você não precisa editar nada para fazer um diagnóstico. Siga este roteiro:

1. Abra seudominio.com.br/robots.txt e leia o conteúdo com o guia acima. Procure, especialmente, uma linha Disallow: / isolada.
2. No Search Console, abra o relatório de robots.txt, nas configurações, para confirmar que o Google conseguiu buscar o arquivo e quando o leu pela última vez.
3. Use a inspeção de URL com o endereço de um produto importante. O resultado mostra se ele pode ser rastreado e se está indexado.
4. Veja o relatório de páginas e procure avisos como "bloqueada pelo robots.txt" e "indexada, mas bloqueada pelo robots.txt". O segundo indica exatamente o conflito entre rastrear e indexar explicado acima.
5. Confira as estatísticas de rastreamento para saber quais tipos de página o robô mais visita.
6. Compare com o sitemap: páginas importantes enviadas no sitemap não podem estar bloqueadas no robots.txt.

Se encontrar algo estranho no arquivo da sua loja, anote o que viu e fale com o suporte do Hotel das Lojas. Diagnóstico bem descrito acelera a solução.

Erros de robots.txt que derrubam uma loja

• Bloquear tudo depois de uma migração: o site de testes tinha Disallow: /, a regra foi junto para o site novo e a loja sumiu da busca.
• Bloquear páginas para tirá-las do Google: o robô não entra, não lê o noindex e a página continua indexada.
• Bloquear imagens e arquivos de estilo, impedindo que o Google veja a página como o cliente.
• Bloquear categorias por engano com uma regra ampla demais, como bloquear tudo que começa com uma letra ou palavra comum.
• Esquecer o sitemap no arquivo ou apontar para o endereço antigo depois de trocar para o domínio próprio.
• Usar o robots.txt para esconder informação sensível: o arquivo é público e qualquer pessoa pode lê-lo. Área privada se protege com login, não com robots.txt.

Indexação além do robots.txt: o que está nas suas mãos

Mesmo com o rastreamento bem configurado, a decisão final de indexar é do buscador, e ela depende muito da qualidade da página. Produto com descrição de uma linha, foto de fornecedor e nenhum link interno pode ser rastreado e, ainda assim, ficar fora do índice. Por isso, o trabalho de indexação continua no painel da loja:

• Descrições próprias e completas nos produtos que mais importam.
• Produtos fora de linha pausados ou excluídos de forma organizada, como mostra o tutorial de gerenciar, pausar e excluir produtos.
• Categorias com texto útil e links a partir do menu e do blog.
• Domínio único e definitivo, com https, como explica o guia de domínio próprio com https grátis.

Como o Hotel das Lojas ajuda a manter a loja visível no Google

No Hotel das Lojas, você cuida do que realmente decide a indexação: cadastro completo de produtos com fotos otimizadas automaticamente, variações dentro de um mesmo produto em vez de páginas repetidas, categorias e subcategorias organizadas, blog no mesmo domínio e domínio próprio com https. A loja é responsiva e roda em nuvem, com produtos e visitas ilimitados.

Antes de colocar a loja no ar, o checklist da loja pronta para vender ajuda a não esquecer nenhuma configuração essencial. Depois, conecte o Google Analytics 4 para acompanhar quanto tráfego orgânico cada categoria recebe e perceber rapidamente se algo saiu do ar.

Para catálogos grandes e cheios de filtros, como informática, o tema Circuito para informática e periféricos organiza categorias técnicas com navegação clara. Na página de temas para loja virtual você encontra opções para outros ramos, todas com loja demo real.

Conclusão: portas abertas onde se vende

O robots.txt é um arquivo pequeno com poder grande. Bem usado, ele economiza o tempo dos robôs em carrinho, busca interna e filtros e concentra o rastreamento nas páginas que vendem. Mal usado, pode esconder a loja inteira. Entender a diferença entre rastrear e indexar, conferir o arquivo e os relatórios do Search Console e cuidar da qualidade das páginas é o que mantém a sua vitrine visível no Google.

Se você quer uma loja com domínio próprio, catálogo organizado e cadastro completo para o Google encontrar o que importa, crie a sua loja no Hotel das Lojas e teste grátis por 7 dias, sem cartão de crédito. Depois, é um plano único de R$ 59,90 por mês, sem comissão sobre as vendas.