Google, OpenAI e Microsoft anunciaram, na sexta-feira (30/10/2026), que vão adotar um sinal único no arquivo robots.txt para que sites expressem, de uma só vez, se autorizam o uso do próprio conteúdo no treinamento de modelos de inteligência artificial generativa, num padrão ainda em discussão no IETF.
O que você precisa saber
- Google, OpenAI e Microsoft anunciaram, na sexta-feira (30/10/2026), que vão adotar um sinal único no robots.txt para que sites digam, de uma vez, se autorizam ou recusam o uso do conteúdo no treinamento de modelos de IA generativa.
- O sinal é um token de política chamado __usage_ai-training, descrito num rascunho de padrão levado ao IETF por um engenheiro da Anthropic, e soma-se aos controles que já existem por empresa, como o Google-Extended, usado pelo Google desde 2023.
- Nenhuma das empresas já aplica o sinal: a Microsoft prometeu a data mais firme, 1º de fevereiro de 2027; o Google falou em início de 2027; a OpenAI disse apenas que pretende aplicar nos próximos meses, sem data exata.
- O sinal controla só o treinamento dos modelos, não o rastreamento das páginas: recusar o treinamento não impede que o robô continue visitando o site, e bloquear a visita em si ainda exige uma regra com o nome do robô específico.
- A Microsoft criou também uma preferência separada de grounding (uso do conteúdo para embasar respostas geradas, como no Copilot), com prazo próprio até 1º de março de 2027 para quem ainda usa as tags antigas NoArchive e NoCache.
O que foi anunciado
O Google publicou, no Search Central Blog, que vai apoiar "um controle compartilhado de treinamento de IA" no robots.txt, descrito como parte do trabalho do grupo AIPREF do IETF (Internet Engineering Task Force), a entidade que define padrões técnicos da internet. A OpenAI publicou o mesmo anúncio no mesmo dia, dizendo que vai "honrar um sinal comum" no robots.txt, e a Microsoft publicou um terceiro anúncio, pelo blog do Bing, detalhando a própria implementação.
"Isso vai ajudar os sites a expressar as preferências de treinamento de IA entre vários provedores de IA num único passo, com base no trabalho do grupo de trabalho AIPREF no Internet Engineering Task Force (IETF)", escreveu o Google no anúncio.
O rascunho do novo padrão foi escrito por Kevin Kelley, da Anthropic, e enviado ao IETF no mesmo dia 30 de outubro, com o aviso padrão do próprio IETF de que o texto "não é endossado pelo IETF e não tem status formal no processo de padronização do IETF". Até o fechamento desta apuração, por leitura direta da newsroom da empresa, a Anthropic não tinha publicado anúncio próprio confirmando que vai aplicar o sinal, embora um funcionário dela tenha escrito o rascunho.
O Google escreveu que a proposta "reflete a resposta de publishers, grupos da sociedade civil, reguladores e outras partes interessadas que pediram controles de toda a indústria sobre o treinamento de IA", e que ela é compatível com o Código de Prática para Provedores de Modelos de IA de Uso Geral (GPAI) da União Europeia, que já reconhece o robots.txt como a principal forma de o site expressar preferência de forma legível por máquina.
| Quem anunciou | Google, OpenAI e Microsoft (rascunho do padrão escrito por um engenheiro da Anthropic) |
|---|---|
| O que muda | Um único sinal no robots.txt para recusar ou liberar o treinamento de modelos de IA em várias empresas de uma vez |
| Quando entra em vigor | Microsoft, a partir de 1º de fevereiro de 2027; Google, no início de 2027; OpenAI, "nos próximos meses", sem data exata |
| Custo para o site | Nenhum: é uma linha a mais no robots.txt, sem cobrança |
| Brasil | Não informado: nenhuma das três empresas cita disponibilidade por país no anúncio |
Como funciona o sinal no robots.txt
Quem administra um site e quer impedir que o conteúdo treine modelos de IA precisa escrever uma regra separada para cada robô: Google-Extended para o Google, GPTBot para a OpenAI, ClaudeBot para a Anthropic, e assim por diante. O novo mecanismo cria um "token de política" chamado __usage_ai-training, que funciona como um grupo comum dentro do robots.txt: quando o site inclui esse token e marca a recusa, cada empresa participante passa a entender isso como a preferência do site para o próprio robô de treinamento, sem precisar nomeá-lo um por um.
John Mueller, Google Search Advocate, detalhou a regra: "Quando um site usa esse token de política para recusar o treinamento no arquivo robots.txt (e o Google-Extended não está especificado explicitamente), o Google planeja interpretar isso como se o site tivesse bloqueado o Google-Extended."
- O grupo genérico
User-Agent: *, usado para bloquear todos os robôs de uma vez, não conta como recusa de treinamento: o site precisa declarar o token específico. - Arquivo sem o token
__usage_ai-trainingnão expressa preferência nenhuma sobre treinamento, nem a favor nem contra. - O sinal controla só o treinamento, não o rastreamento: um robô pode continuar visitando as páginas do site mesmo com o treinamento recusado, e bloquear a visita em si continua exigindo uma regra com o nome do robô, do jeito que já funciona.
A Voh! já explica, no guia sobre sitemap e robots.txt, como esse arquivo trata os robôs de IA, inclusive os controles que já existem por empresa.
O que muda frente ao controle separado por empresa
O Google oferece um controle próprio, o Google-Extended, desde 2023, e o cita no anúncio como o controle que "continua a funcionar ao lado desse novo sinal conjunto". A diferença do novo sinal não é substituir os controles por empresa, e sim somar uma opção que vale para várias de uma vez. Nenhuma das três empresas já aplica o sinal: cada uma deu um prazo diferente.
| Empresa | O que disse | Quando entra em vigor |
|---|---|---|
| OpenAI | Vai honrar o sinal; mantém os controles próprios de robô em paralelo | Nos próximos meses, sem data exata |
| Pretende dar suporte ao token, atualizando a página de robôs de rastreamento | Início de 2027 | |
| Microsoft | Adota o sinal e soma uma preferência própria, separada, para o uso em respostas geradas | 1º de fevereiro de 2027, data firme |
| Anthropic | Funcionário da empresa escreveu o rascunho do padrão no IETF | Não informado: nenhum anúncio da empresa até esta apuração |
A Microsoft diz ter sido a primeira a oferecer controle de publicador para treinamento e para grounding, em 2023, com as tags NoArchive e NoCache, e passa a trocar essas duas tags por preferências mais específicas. O "grounding" é o uso do conteúdo para embasar respostas geradas, nos produtos da própria Microsoft: Bing, Copilot e Microsoft 365. Essa preferência tem três opções por página (permitir, permitir só nos produtos da própria Microsoft, ou recusar) e um prazo próprio: quem ainda usa as tags antigas NoArchive e NoCache precisa publicar a nova preferência até 1º de março de 2027, porque a Microsoft vai parar de ler as tags antigas como preferência de treinamento ou de grounding depois dessa data.
O que ainda não está definido
O documento que descreve o sinal é um rascunho individual no IETF, sem aprovação formal do grupo de trabalho: a própria ferramenta de acompanhamento do IETF registra que o texto "não é endossado pelo IETF" por enquanto, e o vocabulário completo do grupo AIPREF ainda está em elaboração.
O próprio rascunho prevê que uma regra específica de uma empresa, como um grupo dedicado ao GPTBot, pode valer mais que o sinal comum quando o site declarar as duas, e que acordos comerciais privados entre um site e uma empresa de IA também podem valer mais que a preferência pública no robots.txt.
A Microsoft foi clara sobre o limite prático da escolha: "nenhuma das duas opções garante inclusão, tráfego ou pagamento", escreveu a empresa no próprio anúncio, ao comentar o efeito de bloquear o uso do conteúdo em respostas geradas.
Por que importa
Para quem cuida de SEO e de GEO, o anúncio não muda nada no curto prazo: o sinal ainda não está no ar em nenhuma das três empresas, e as datas prometidas (início de 2027 pelo Google, 1º de fevereiro de 2027 pela Microsoft) dão tempo de sobra para acompanhar como a implementação sai do papel. O ponto que merece atenção é a distinção que o próprio pacote de anúncios reforça: treinar um modelo de IA com o conteúdo de um site e aparecer citado dentro de uma resposta gerada por IA (o que a Microsoft chama de grounding) são decisões diferentes, e a Microsoft já trata as duas separadamente desde 2023. Com o sinal novo, essa separação fica mais clara e passa a valer, pelo menos para o treinamento, em várias empresas de uma vez, em vez de depender de uma regra escrita para cada robô. Quando o sinal entrar no ar, quem administra site vai ter um critério comum para decidir o que recusa e o que libera, sem precisar montar essa lista sozinho, empresa por empresa.
