robots.txt para rastreadores de IA: quais bots liberar e quais merecem uma análise
Os user agents por trás do ChatGPT, Claude, Perplexity e Gemini, o que cada um faz, um robots.txt para copiar e a configuração de firewall que passa por cima dele.
Cada empresa de IA opera mais de um rastreador, e eles têm funções diferentes. Alguns buscam páginas para que o assistente possa citá-las em respostas ao vivo. Outros coletam dados de treinamento para modelos futuros. Bloquear o primeiro tipo tira você das respostas de hoje. Bloquear o segundo afeta só o que os modelos futuros vão aprender. Tratar todos como um grupo só é o erro de robots.txt mais comum que vemos.
Os rastreadores que importam
| Empresa | User agent | O que faz |
|---|---|---|
| OpenAI | OAI-SearchBot | Indexa páginas para os resultados de busca do ChatGPT |
| OpenAI | ChatGPT-User | Acessa uma página quando a conversa de um usuário precisa dela |
| OpenAI | GPTBot | Coleta dados de treinamento |
| Anthropic | Claude-SearchBot | Indexa páginas para a busca do Claude |
| Anthropic | Claude-User | Acessa uma página quando um usuário pergunta ao Claude sobre ela |
| Anthropic | ClaudeBot | Coleta dados de treinamento |
| Perplexity | PerplexityBot | Indexa páginas para as respostas do Perplexity |
| Perplexity | Perplexity-User | Acessa páginas para responder à pergunta de um usuário |
Googlebot | Rastreia para a Busca Google, incluindo os AI Overviews | |
Google-Extended | Controla o uso do seu conteúdo nos modelos Gemini; não afeta a Busca | |
| Microsoft | Bingbot | Rastreia para o Bing, que o Copilot e outros assistentes usam nas buscas |
Os fornecedores adicionam e renomeiam agentes, então consulte a documentação de rastreadores deles uma ou duas vezes por ano.
Um robots.txt para começar
Este arquivo libera os mecanismos de busca e todos os rastreadores de IA, mantém todos fora dos caminhos privados e aponta para o seu sitemap:
User-agent: *
Allow: /
Disallow: /account/
Disallow: /api/
Sitemap: https://yourdomain.com/sitemap.xmlUm grupo User-agent: * já cobre todo rastreador que não tem um grupo próprio. O problema aparece quando o site tem um bloqueio antigo, como User-agent: GPTBot seguido de Disallow: /, muitas vezes adicionado em 2023, quando bloquear o treinamento de IA era um padrão popular. Essa regra continua valendo hoje.
Se você decidir ficar fora do treinamento e continuar nas respostas ao vivo, bloqueie só os agentes de treinamento:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /Mantenha liberados o OAI-SearchBot, o Claude-SearchBot, o PerplexityBot, os agentes -User, o Googlebot e o Bingbot.
Rastreadores de treinamento: uma escolha com custo real
Bloquear os rastreadores de treinamento deixa seu conteúdo fora das próximas versões dos modelos. O custo é que esses modelos vão saber menos sobre sua marca quando responderem sem buscar na web. Para um publisher que vende conteúdo original, bloquear pode ser a decisão certa. Para uma empresa de software que quer ser recomendada, liberar costuma ser melhor.
O firewall pode passar por cima do robots.txt
O robots.txt é um pedido. Uma CDN ou um firewall pode recusar o rastreador antes mesmo de ele ler o arquivo. A Cloudflare oferece uma configuração de um clique para bloquear rastreadores de IA e a tornou a opção padrão para alguns domínios novos. A proteção contra bots da Vercel, da Akamai e de outras hospedagens pode ter o mesmo efeito.
Teste de fora, solicitando uma página com o user agent de um rastreador:
curl -s -o /dev/null -w "%{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
https://yourdomain.com/Um 403, um 429 ou uma página de desafio indicam que os rastreadores reais provavelmente também estão sendo barrados. A auditoria de prontidão para IA grátis faz esse teste com quatro rastreadores de IA e lê as regras do seu robots.txt para onze.
FAQ
Preciso de uma regra separada para cada rastreador de IA?
Não. Se o seu grupo User-agent: * permite o rastreamento, todo rastreador sem grupo próprio está liberado. Grupos separados só fazem diferença quando você quer regras diferentes para um agente específico.
Bloquear o Google-Extended me tira dos AI Overviews?
Não. O Google afirma que o Google-Extended não afeta a Busca Google, e os AI Overviews fazem parte da Busca. O Googlebot controla os dois.
E o llms.txt?
O llms.txt é um arquivo proposto que resume seu site para modelos de linguagem. Adicioná-lo custa pouco, mas os principais assistentes não se comprometeram a lê-lo. Trate-o como opcional e acerte primeiro o robots.txt e o firewall.