Todo portal de notícias que se preocupou com IA nos últimos dois anos mexeu no robots.txt para tentar barrar os robôs que treinam modelos de linguagem com o conteúdo alheio. Muitos fizeram isso com competência técnica real. E, mesmo assim, continuam expostos ao que mais lhes tira tráfego. Este artigo explica por que, usando um exemplo público que qualquer pessoa pode verificar.
Antes de seguir, um esclarecimento: o robots.txt não é uma trava. É um pedido. Ele diz ao robô "não acesse isto", e os robôs de empresas sérias respeitam. Mas ele depende da boa vontade de quem rastreia, e depende, sobretudo, de o publisher entender qual robô faz o quê. É nesse segundo ponto que mora o problema.
A maior parte da confusão vem de tratar "robô de IA" como uma coisa só. Não é. Para um portal, há pelo menos três categorias distintas, com consequências diferentes.
São os robôs que leem o conteúdo para treinar os modelos. GPTBot, da OpenAI. Google-Extended, que o Google usa para treinar o Gemini. CCBot, do Common Crawl, que alimenta o treino de dezenas de modelos. anthropic-ai e ClaudeBot, da Anthropic. Bytespider, da ByteDance.
Bloquear estes é a decisão mais direta: significa dizer "não use o meu conteúdo, de graça, para treinar a sua IA". É a barreira que quase todo portal preocupado já implementou.
São os robôs que acessam o conteúdo no momento em que a IA responde a uma pergunta do usuário, para citar a fonte. OAI-SearchBot, da OpenAI. PerplexityBot, da Perplexity. Claude-SearchBot, da Anthropic.
Aqui a decisão é mais delicada. Bloquear significa não ser citado nas respostas de IA. Liberar significa ser citado. As ferramentas de IA mostram o link da fonte, mas o clique costuma ser uma fração do que a mesma posição traria num resultado orgânico, porque a resposta muitas vezes já resolve a dúvida do usuário na própria interface. Ser citado com link é melhor do que não ser citado, e ainda traz algum tráfego. Só não recupera o volume que existia antes da resposta pronta.
É quando uma pessoa cola o link de uma matéria numa ferramenta de IA e pede um resumo. O robô que busca a página ali representa uma ação humana individual, não um rastreamento em massa. ChatGPT-User e Claude-User são exemplos.
Confundir estes três é o erro conceitual mais comum. Bloquear o crawler de treino não impede a citação em busca. Bloquear o de busca não impede o treino, que pode já ter acontecido. E nenhum deles é o Googlebot tradicional, o que nos leva ao ponto central.
Vale examinar um caso público. Um dos maiores portais de economia do Brasil mantém um robots.txt que qualquer pessoa pode ler, bastando digitar o endereço do site seguido de /robots.txt, e a estratégia por trás dele é bem pensada. Reproduzo a lógica no código abaixo, em partes e sem o nome do veículo, porque o que importa aqui é o padrão, não quem o adota.
# Robôs genéricos: acesso liberado, exceto busca interna
User-agent: *
Disallow: /busca/
Disallow: /beta/
# Crawlers de treino de IA: bloqueio total
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
# Crawlers de busca de IA: só conteúdo de marca
User-agent: OAI-SearchBot
Disallow: /
Allow: /conteudo-de-marca/
User-agent: PerplexityBot
Disallow: /
Allow: /conteudo-de-marca/
# Googlebot tradicional: não aparece, ou seja, liberadoPara os robôs genéricos não identificados, o site libera quase tudo, bloqueando apenas as áreas de busca interna. O Googlebot tradicional nem é mencionado, ou seja, está liberado. Faz sentido: o portal quer aparecer na busca do Google.
Para os crawlers de treino de IA, o bloqueio é total. GPTBot, CCBot, Google-Extended, anthropic-ai, Bytespider, Grok, Copilot e outros recebem todos um "Disallow: /". A mensagem é clara: não treine com o meu conteúdo.
E aqui está a parte mais sofisticada. Para os crawlers de busca de IA, como o OAI-SearchBot, o PerplexityBot e o ClaudeBot, o portal não bloqueia tudo. Ele libera apenas uma pasta: a de conteúdo de marca, o publieditorial. Em outras palavras: "você pode acessar o meu conteúdo publicitário para citar, mas não o meu jornalismo".
Isso não é um erro técnico, é uma escolha deliberada traduzida em código, e é aqui que mora o dilema. Ao liberar o Googlebot e bloquear os crawlers de busca de IA no conteúdo, o portal aposta em continuar visível na busca tradicional e abre mão de ser citado, com link e algum tráfego de volta, nas respostas do ChatGPT ou do Perplexity.
Pode ser a escolha certa, se o veículo avalia que o clique vindo dessas plataformas ainda é fraco demais para justificar ceder o conteúdo.
Pode ser conservadora demais, se esse tráfego crescer nos próximos anos.
O ponto é que não existe resposta óbvia: é um trade-off, e cada portal precisa fazer o seu com consciência.
E aqui está o ponto que quase ninguém no debate brasileiro conecta. Todo esse cuidado protege contra o treino e contra a citação pelos assistentes de terceiros. Mas há uma exposição que ele não cobre: os AI Overviews do próprio Google, na página de resultados.
O motivo é estrutural. Para aparecer na busca do Google, o portal precisa deixar o Googlebot tradicional rastrear o conteúdo.
Não há escolha real: bloquear o Googlebot é desaparecer da busca, o que para um portal de notícias é uma sentença de morte. Mas é justamente o conteúdo já rastreado e indexado que pode alimentar o resumo de IA exibido no topo da própria busca.
Ou seja, o portal bloqueia o Google-Extended, o crawler de treino do Gemini, e faz bem. Mas o AI Overview que resume a matéria na página de resultados e reduz o clique não depende necessariamente do Google-Extended. Ele se apoia no que o Googlebot, o crawler que o portal é obrigado a deixar entrar, já coletou.
A fronteira entre "rastrear para a busca" e "usar no resumo de IA" está sob controle do Google, não do publisher. É por isso que o opt-out do conteúdo jornalístico dos recursos de IA, sem perder o ranqueamento na busca, virou uma exigência regulatória em outras jurisdições.
O regulador de concorrência britânico, a CMA, determinou em junho de 2026 que o Google precisa permitir que publishers saiam dos recursos de IA sem perder o ranqueamento na busca. Enquanto essa separação não é garantida, o robots.txt do publisher, por mais bem construído que seja, esbarra num limite que não depende dele.
Quem mexe em robots.txt em 2026 inevitavelmente esbarra em outro arquivo da moda: o llms.txt. A semelhança no nome cria confusão, e a confusão está sendo vendida como serviço. Vale separar.
O robots.txt é um padrão estabelecido e respeitado que restringe acesso: diz aos robôs quais caminhos podem rastrear.
O llms.txt é uma proposta recente que faz o oposto: é uma lista de leitura em Markdown que oferece ao modelo de linguagem o conteúdo que o site gostaria que fosse lido. Um controla, o outro sugere. E a leitura do llms.txt é voluntária para cada sistema de IA.
Para um portal de notícias que quer visibilidade na busca, a resposta honesta é direta: o llms.txt não ajuda. A documentação do Google Search Central, atualizada em junho de 2026, afirma que o Google Search não usa o arquivo, nem para ranking, nem para AI Overviews, de forma alguma. John Mueller, do Google, chegou a compará-lo à desacreditada meta tag de keywords, um arquivo que declara o que o site afirma ser, sem qualquer verificação.
Os dados acompanham a posição do Google. Um estudo da SE Ranking com 300 mil domínios encontrou adoção de apenas 10,13%, sem crescimento relevante depois de mais de um ano de discussão.
Pior para quem vende o arquivo como solução: quando os pesquisadores testaram, com um modelo estatístico, se a presença de llms.txt se correlacionava com ser mais citado pela IA, remover a variável do modelo melhorou a previsão. O arquivo adicionou ruído, não sinal. E o monitoramento de tráfego de bots mostra que os crawlers de busca de IA praticamente não buscam o arquivo.
Isso não significa que o llms.txt seja inútil para todo mundo. Ele tem um público real, só não é o portal de notícias.
Agentes de código como Cursor e GitHub Copilot leem o arquivo para consultar documentação técnica com precisão, e é por isso que empresas como Stripe e Cloudflare o publicam.
O destinatário do llms.txt é o agente que consome documentação, não o buscador que ranqueia notícia. Se o seu produto tem documentação técnica consumida por assistentes de programação, faz sentido. Se você opera um portal e alguém te vende llms.txt como caminho para aparecer nos resumos de IA, está vendendo o truque da vez.
E é exatamente esse o ponto que amarra os dois arquivos. O robots.txt resolve um problema real, com os limites que este artigo descreveu. O llms.txt, para o público errado, é a promessa fácil que a era da IA na busca deveria ter aposentado. A visibilidade em IA não se compra com um arquivo. Se constrói com autoridade e estrutura.
A conclusão não é "não adianta mexer no robots.txt". Adianta, e é necessário.
Bloquear o treino não autorizado é legítimo e recomendável. Decidir conscientemente o que liberar para os assistentes de busca de IA é uma escolha estratégica que todo portal deveria fazer de forma deliberada, não por omissão.
Mas é preciso entender o limite. O robots.txt resolve a relação com os robôs que respeitam o robots.txt e que o publisher consegue distinguir e controlar. Ele não resolve, sozinho, a exposição ao resumo de IA na busca do maior buscador do mundo, porque essa exposição está amarrada à própria condição de existir na busca.
Por isso a defesa de um portal contra a perda de tráfego por IA não é só técnica. É técnica no robots.txt, é editorial na construção de autoridade que faz o veículo ser a fonte citada, e é regulatória na disputa, hoje em curso no CADE e em outros órgãos, sobre até onde o buscador pode usar o conteúdo alheio sem contrapartida.
Fazer a lição de casa no robots.txt é o mínimo. Achar que ela basta é o erro.
Para quem quer revisar o próprio arquivo, os pontos essenciais:
Decida, e documente, a posição sobre crawlers de treino de IA. Bloquear GPTBot, CCBot, Google-Extended, anthropic-ai, ClaudeBot, Bytespider e similares é a escolha da maioria dos publishers que querem preservar o valor do próprio conteúdo.
Decida separadamente sobre os crawlers de busca de IA. Bloquear OAI-SearchBot, PerplexityBot e Claude-SearchBot significa não ser citado nas respostas desses assistentes. Liberar significa ser citado, com o link da fonte exibido, mas com uma taxa de clique bem menor que a de um resultado orgânico. É uma decisão de negócio, não técnica, e merece ser tomada conscientemente.
Nunca bloqueie o Googlebot tradicional se você depende da busca. Confundir o Googlebot com os crawlers de IA do Google é um erro que pode derrubar todo o seu tráfego orgânico. Para o contexto mais amplo de SEO em portais, reúno as práticas no guia de SEO para sites de notícias.
Mantenha o robots.txt versionado e datado em suas documentações internas. Ele muda, e você quer saber o que estava valendo em cada momento.
E lembre que o robots.txt é o começo da estratégia de visibilidade em IA, não o fim dela. Ser citado, quando você decide que quer ser, depende de autoridade e estrutura de conteúdo.
Todo portal de notícias que se preocupou com IA nos últimos dois anos mexeu no robots.txt para tentar barrar os robôs que treinam modelos de linguagem com o conteúdo alheio. Muitos fizeram isso com competência técnica real. E, mesmo assim, continuam expostos ao que mais lhes tira tráfego. Este artigo explica por que, usando um […]
Sou o estrategista digital de uma operação na área de saúde da mulher, com foco em HPV e colposcopia. Todo mês eu vejo de dentro o que os relatórios de tráfego contam: as mesmas boas posições de sempre no Google, e ainda assim menos gente chegando ao site. Nada piorou no ranking. O que mudou […]
Este é um documento vivo. O caso está em andamento e esta análise será atualizada a cada movimentação relevante. Atualizado em 16 de julho de 2026: análise agora baseada na leitura do estudo completo da Authoritas, obtido junto à Foxglove. Incluídos a metodologia, o dado sobre hard news e o ranking de domínios citados nos […]