Sitemap e Robots.txt: O Que São e Como Configurar no Site

Por que o Google não acha a página

Muitas vezes a página existe, está pronta e não aparece porque o Google não a encontrou ou foi instruído a não ler. Os dois arquivos que regulam isso são pequenos, ficam escondidos na raiz do site e quase ninguém olha: o sitemap, que lista o que existe, e o robots.txt, que diz por onde os robôs podem andar.

Um erro de uma linha no robots.txt pode bloquear o site inteiro, e é um dos motivos mais comuns de site que some do Google depois de uma reforma. Um sitemap desatualizado, por outro lado, aponta para páginas que não existem mais e esconde as novas. Entender os dois é entender a porta de entrada do rastreamento.

O que são sitemap e robots.txt

Sitemap

Sitemap é o arquivo em que o site lista as páginas e os arquivos que considera importantes, para ajudar os buscadores a rastreá-lo com mais eficiência. Ele também pode informar quando cada página foi atualizada e quais versões existem em outros idiomas.

Robots.txt

Robots.txt é o arquivo de texto, na raiz do site, que informa aos rastreadores quais endereços eles podem acessar. Ele serve principalmente para controlar o tráfego de robôs, e não para esconder páginas dos resultados.

O mapa e o portão

A diferença cabe numa imagem: o sitemap é o mapa que o site entrega ao visitante, e o robots.txt é o portão que diz por onde ele pode passar. Os dois trabalham juntos e um não substitui o outro. Um site pode ter um mapa perfeito e um portão fechado por engano, e nesse caso o mapa não adianta nada, porque o robô nem entra.

Onde eles ficam

O robots.txt tem endereço fixo: precisa estar na raiz do host, como em seusite.com.br/robots.txt, e não funciona numa subpasta. O sitemap pode ficar em qualquer lugar do site, mas a documentação de como criar um sitemap explica que, se ele não for enviado pelo Search Console, só vale para os arquivos da pasta em que está e das pastas abaixo dela. Por isso o mais comum é deixá-lo na raiz, como sitemap.xml.

Uma regra que confunde quem tem loja ou blog em subdomínio: o robots.txt vale só para o host em que está. A documentação de criação do arquivo lembra que ele pode ser publicado em subdomínios, como loja.seusite.com.br/robots.txt, e em portas não padrão. O arquivo do domínio principal não controla o subdomínio, e cada um precisa do seu.

Quando o site precisa de sitemap

Se as páginas estão bem linkadas entre si, o Google consegue encontrar a maior parte do site sem sitemap. É o que diz a página do Google sobre sitemaps, que lista os casos em que ele faz diferença e os casos em que talvez não seja necessário.

Sites que precisam

• Site grande. Quanto maior o site, mais difícil garantir que toda página receba link de outra.
• Site novo com poucos links externos. O robô descobre páginas seguindo links, e site novo ainda tem poucos apontando para ele.
• Site com muita mídia ou notícia. Vídeo, imagem e notícia têm informações extras que o sitemap ajuda a passar.
• Site que muda muito. Loja com produto entrando e saindo toda semana ganha com um sitemap atualizado sozinho.

Sites que talvez não precisem

A mesma página chama de pequeno o site com até 500 páginas que precisam aparecer nos resultados, e diz que talvez ele não precise de sitemap se todas estiverem bem ligadas pela navegação e não houver muita mídia para mostrar. "Talvez" é a palavra certa: o sitemap raramente atrapalha, e quase toda plataforma de site gera um sozinha. O ponto é não tratá-lo como solução para página sem link, que é problema de linkagem interna.

Como montar um sitemap

O formato mais comum de sitemap é um arquivo XML com uma entrada para cada endereço. Quase toda plataforma de site gera esse arquivo automaticamente; o trabalho é conferir se ele está correto.

O formato XML

Cada página entra num bloco url com o endereço completo em loc e, opcionalmente, a data da última modificação em lastmod. O exemplo abaixo segue o modelo da documentação do Google. Na prática, quase ninguém escreve esse arquivo à mão: o WordPress, as plataformas de loja e os construtores de site geram e atualizam o sitemap sozinhos, e o trabalho passa a ser conferir o que ele está listando.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.seusite.com.br/servicos/</loc>
    <lastmod>2026-10-01</lastmod>
  </url>
</urlset>

Limites e codificação

Índice de sitemaps

Índice de sitemaps é o arquivo que lista outros sitemaps, usado quando o site passa do limite de um arquivo só.

A documentação define o limite de cada sitemap: 50 MB sem compressão ou 50.000 endereços. Passou disso, o sitemap precisa ser dividido em vários, reunidos num índice. O arquivo também precisa estar codificado em UTF-8, o que importa para endereços com acento e cedilha, comuns em site brasileiro.

O que o Google ignora

Dois campos que aparecem em muitos sitemaps não fazem diferença: o Google ignora os valores de priority e changefreq. O lastmod é usado se estiver correto de maneira consistente e comprovável, por exemplo quando bate com a última modificação real da página. Plataforma que grava a data de hoje em todas as páginas a cada visita transforma o lastmod num campo que o Google aprende a desconsiderar.

Só endereços canônicos

O sitemap diz ao Google quais endereços você prefere mostrar nos resultados, os chamados canônicos. Por isso ele não deveria listar página com redirecionamento, página marcada com noindex, versão duplicada com parâmetro nem página que devolve erro. Cada entrada errada é um sinal contraditório: o site pede para indexar o que, em outro lugar, mandou não indexar. Em site com versões com e sem www, ou com e sem barra no fim, o sitemap deve usar sempre a mesma forma, a que o site trata como principal.

Como enviar o sitemap

Existem duas formas comuns de avisar o Google sobre o sitemap: pelo Search Console e por uma linha no robots.txt. As duas podem ser usadas juntas.

Pelo Search Console

O relatório de sitemaps do Search Console aceita o endereço do arquivo e mostra se o Google conseguiu ler, quantos endereços encontrou e se houve erro. É a forma mais útil, porque devolve diagnóstico e permite reenviar o arquivo depois de uma mudança grande, como a publicação de muitas páginas novas. O passo a passo de criar a conta e achar os relatórios está no guia de Search Console para iniciantes.

Pela linha no robots.txt

A outra forma é acrescentar ao robots.txt uma linha que começa com "Sitemap:" seguida do endereço completo do arquivo. O Google encontra a mudança na próxima vez que rastrear o robots.txt. Tem a vantagem de valer para outros buscadores também, que leem o mesmo arquivo, e a desvantagem de não devolver relatório nenhum. A documentação também permite listar vários sitemaps no mesmo robots.txt, uma linha para cada um.

Como funciona o robots.txt

O robots.txt é um arquivo de texto simples, organizado em grupos de regras, cada grupo dirigido a um robô. A documentação de como criar o robots.txt traz um exemplo mínimo, que bloqueia uma pasta para o Googlebot, libera o resto para todos e aponta o sitemap.

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.seusite.com.br/sitemap.xml

Grupos e regras

Cada grupo começa com uma linha User-agent, que diz a qual robô ele se aplica, e o asterisco vale para todos. Depois vêm as regras: Disallow bloqueia um caminho e Allow libera. Por padrão, tudo que não foi bloqueado pode ser rastreado. As regras diferenciam maiúsculas de minúsculas, então bloquear /Arquivo não bloqueia /arquivo, um detalhe que causa mais erro do que parece.

Formato e codificação

O arquivo precisa ser texto puro, codificado em UTF-8, e a documentação recomenda criá-lo num editor de texto simples, e não num processador de texto, que costuma salvar em formato próprio e inserir caracteres que quebram as regras. O nome precisa ser robots.txt, e cada site pode ter um só, na raiz do host; um subdomínio pode ter o próprio.

O que o robots.txt não faz

O erro mais caro com o robots.txt é usá-lo para algo que ele não faz. A introdução do Google ao robots.txt começa justamente avisando: ele não funciona como mecanismo para manter uma página fora dos resultados.

Noindex

Noindex é a instrução, colocada na própria página, que pede ao buscador para não guardá-la no índice e, portanto, não mostrá-la nos resultados.

Não tira página do Google

A documentação explica que uma página bloqueada no robots.txt ainda pode ser indexada se outros sites linkarem para ela. Nesse caso o endereço, e às vezes o texto dos links que apontam para ele, aparecem nos resultados, sem a descrição. Para tirar uma página do Google, o caminho é o noindex, e o robô precisa conseguir rastrear a página para enxergar essa instrução.

Não obriga todos os robôs

As regras do robots.txt são um pedido, e não uma trava. O Googlebot e outros rastreadores confiáveis seguem as instruções, mas a documentação lembra que cabe a cada rastreador obedecer ou não, e que rastreadores diferentes podem interpretar a sintaxe de jeitos diferentes. Para proteger informação de verdade, o caminho é senha no servidor, e não uma linha num arquivo público.

Não esconde nada

O robots.txt é público: qualquer pessoa pode abrir seusite.com.br/robots.txt e ler. Listar ali a pasta da área administrativa ou de documentos internos é, na prática, publicar o mapa do que a empresa queria esconder. Área restrita se protege com acesso controlado, e não com uma regra que todo mundo pode ler. Antes de publicar um robots.txt, vale lê-lo como se fosse um estranho curioso: tudo que está ali, qualquer pessoa já sabe que existe.

Robots.txt e robôs de IA

O robots.txt consegue limitar alguns usos do conteúdo por inteligência artificial, e o efeito depende de qual robô é bloqueado. Bloquear o robô errado pode tirar o site do Google sem impedir o uso que se queria evitar.

O que o Google-Extended controla

A lista de rastreadores do Google descreve o Google-Extended como um token que permite ao site decidir se o conteúdo rastreado pode ser usado para treinar futuros modelos Gemini e para embasar as respostas dos apps do Gemini. A mesma página diz que ele não afeta a inclusão do site na Pesquisa Google e não é usado como sinal de classificação. Bloqueá-lo não tira o site do Google.

Bloquear o Googlebot

Já bloquear o Googlebot é outra história: é ele que rastreia para a busca. As respostas geradas por IA na Pesquisa usam páginas do índice, e a página do Google sobre recursos de IA diz que, para aparecer como link de apoio, a página precisa estar indexada e qualificada para exibir snippet. Bloquear o Googlebot para "proteger o conteúdo da IA" tira o site da busca inteira, inclusive das respostas.

Erros comuns de sitemap e robots

Quase todos os problemas com esses dois arquivos vêm de reforma de site, troca de plataforma ou configuração esquecida.

O bloqueio esquecido

Durante a construção, é comum bloquear o site inteiro com "Disallow: /" para o rascunho não aparecer no Google. O erro é publicar o site novo com essa linha ainda lá. O resultado é o site sumir aos poucos dos resultados, sem nenhum aviso visível na página. É a primeira coisa a conferir quando o tráfego despenca logo depois de um lançamento. A conferência leva segundos: abrir o endereço do robots.txt no navegador e procurar uma linha "Disallow: /" sozinha abaixo de "User-agent: *". Se ela estiver lá, o site inteiro está fechado para os robôs que seguem a regra.

Bloquear CSS e JavaScript

A introdução ao robots.txt diz que dá para bloquear arquivos de imagem, script ou estilo menos importantes, desde que a página carregue sem eles sem perda significativa. Se a falta desses arquivos atrapalha o entendimento da página, eles não devem ser bloqueados. Bloquear a pasta de estilos inteira por precaução pode fazer o Google ver uma página quebrada. A ferramenta de inspeção de URL do Search Console mostra a página como o Google a renderizou, e é o jeito de conferir se algo essencial ficou de fora.

Sitemap desatualizado

Sitemap feito à mão uma vez e nunca mais atualizado lista páginas que saíram e esquece as novas. O mesmo vale para o sitemap gerado por um plugin que ninguém configurou, cheio de páginas de tag, de autor e de anexo que não deveriam ser indexadas. O relatório de sitemaps do Search Console mostra a quantidade de endereços enviados, e a diferença para o número real de páginas importantes é um bom alerta.

Checklist de sitemap e robots.txt

As duas conferências cabem em dez minutos e não exigem ferramenta paga.

Conferência do sitemap

• Existe e abre. O endereço do sitemap abre no navegador e mostra a lista de páginas.
• Só tem canônicos. Nenhuma página com redirecionamento, noindex ou erro na lista.
• Está atualizado. Páginas novas aparecem e páginas removidas saíram.
• Foi enviado. O relatório de sitemaps do Search Console leu o arquivo sem erro.
• Usa a forma principal do endereço. Com ou sem www e barra final, sempre igual ao canônico.

Conferência do robots.txt

• Está na raiz. Abre em seusite.com.br/robots.txt.
• Não bloqueia o site inteiro. Nenhum "Disallow: /" para todos os robôs esquecido.
• Não bloqueia o que a página precisa. Estilos e scripts essenciais liberados.
• Aponta o sitemap. Uma linha "Sitemap:" com o endereço completo.
• Foi conferido no Search Console. O relatório de robots.txt mostra se o Google conseguiu processar o arquivo.
• Não lista o que é segredo. Nenhuma pasta sensível citada num arquivo que qualquer pessoa pode abrir.

Quando os arquivos pedem ajuda

O trabalho fica maior em site grande, em loja virtual com filtros que geram milhares de endereços e em toda migração de plataforma. Nesses casos, decidir o que entra no sitemap e o que o robô pode rastrear é decisão de arquitetura.

Migração e sites grandes

Numa troca de plataforma, sitemap e robots.txt mudam junto com os endereços, e um erro nos dois pode apagar de uma vez o que o site levou anos para construir. Em loja virtual, filtros de cor, tamanho e preço podem criar endereços quase infinitos, e o robots.txt vira a ferramenta para impedir que o robô gaste a visita com eles. Os dois casos pedem rastreamento completo do site antes e depois da mudança.

Como a Voh! trabalha

É esse o trabalho que a Voh! faz. A Voh! é uma agência especializada em SEO e GEO: busca orgânica no Google e presença nas respostas de IA, que é o foco central da casa, em qualquer site que precise ser encontrado, do institucional à loja virtual. Quando o projeto pede, ela também cria o site ou a loja, faz gestão de tráfego no Meta Ads e no TikTok Ads e gestão de redes sociais, com proposta própria para cada frente. O que não muda é a ordem: o orgânico vem primeiro, porque é o ativo que fica. Na busca orgânica são três formas de começar, uma auditoria gratuita, um pacote de implementação com seis meses de acompanhamento e o SEO Mensal, que não exige fidelidade. O diagnóstico vem sempre antes da proposta, porque orçar sem olhar o site é chute. E não existe garantia de posição: o algoritmo é do Google, e quem promete o contrário está prometendo uma decisão que não é dele. Para a história e o método, leia sobre a Voh!.

Como agência de SEO, a Voh! confere sitemap, robots.txt e indexação antes de qualquer outra recomendação, porque é a base de todo o resto. Se você quer saber se o seu site está deixando o Google entrar, Fale com a Voh!: a análise volta por escrito.

Os limites de sitemap e robots.txt

Os dois arquivos abrem a porta; o que acontece depois depende do resto do site.

• Sitemap não garante indexação. Ele sugere páginas, e o Google decide o que entra no índice.
• Robots.txt não protege informação. Ele é público e só é seguido por robôs confiáveis.
• Nenhum dos dois cria relevância. Página encontrada ainda precisa ser a melhor resposta.
• Mudança não é imediata. O Google relê os arquivos no próximo rastreamento.
• Ninguém garante posição. Nem com os dois arquivos perfeitos.

Sitemap e robots.txt em 10 pontos

• O sitemap lista as páginas importantes; o robots.txt diz por onde o robô pode andar.
• Site bem linkado com até 500 páginas talvez nem precise de sitemap.
• Cada sitemap aceita até 50 MB ou 50.000 endereços, em UTF-8.
• O Google ignora priority e changefreq, e só usa lastmod confiável.
• O sitemap deve listar só endereços canônicos.
• O robots.txt fica na raiz, em texto puro, e diferencia maiúsculas.
• Robots.txt não tira página do Google; para isso existe o noindex.
• Robots.txt é público e só robôs confiáveis o seguem.
• Google-Extended não afeta a presença do site na Pesquisa.
• Bloquear o Googlebot tira o site da busca e das respostas de IA.

Se quiser conferir se o seu site deixa o Google entrar e encontrar o que importa, Fale com a Voh!: o diagnóstico é gratuito e volta por escrito.