robots.txt para rastreadores de IA: qué bots permitir y en cuáles pensártelo
Los user agents de ChatGPT, Claude, Perplexity y Gemini, qué hace cada uno, un robots.txt que puedes copiar y el ajuste del firewall que se impone sobre él.
Cada empresa de IA tiene más de un rastreador, y cada uno hace un trabajo distinto. Unos obtienen páginas para que el asistente pueda citarlas en respuestas en vivo. Otros recopilan datos de entrenamiento para futuros modelos. Bloquear los primeros te saca de las respuestas de hoy. Bloquear los segundos solo afecta a lo que aprenderán los modelos futuros. Tratarlos como un único grupo es el error de robots.txt más habitual que vemos.
Los rastreadores que importan
| Empresa | User agent | Qué hace |
|---|---|---|
| OpenAI | OAI-SearchBot | Indexa páginas para los resultados de búsqueda de ChatGPT |
| OpenAI | ChatGPT-User | Obtiene una página cuando la conversación de un usuario la necesita |
| OpenAI | GPTBot | Recopila datos de entrenamiento |
| Anthropic | Claude-SearchBot | Indexa páginas para la búsqueda de Claude |
| Anthropic | Claude-User | Obtiene una página cuando un usuario le pregunta a Claude por ella |
| Anthropic | ClaudeBot | Recopila datos de entrenamiento |
| Perplexity | PerplexityBot | Indexa páginas para las respuestas de Perplexity |
| Perplexity | Perplexity-User | Obtiene páginas en respuesta a la pregunta de un usuario |
Googlebot | Rastrea para la Búsqueda de Google, incluidas las AI Overviews | |
Google-Extended | Controla el uso de tu contenido para los modelos de Gemini; no afecta a la Búsqueda | |
| Microsoft | Bingbot | Rastrea para Bing, donde buscan Copilot y otros asistentes |
Los proveedores añaden y renombran agentes, así que revisa su documentación sobre rastreadores una o dos veces al año.
Un robots.txt para empezar
Este permite el acceso a los buscadores y a todos los rastreadores de IA, los mantiene fuera de las rutas privadas y les indica dónde está tu sitemap:
User-agent: *
Allow: /
Disallow: /account/
Disallow: /api/
Sitemap: https://yourdomain.com/sitemap.xmlUn grupo User-agent: * ya cubre a todos los rastreadores que no tienen un grupo propio. Los problemas empiezan cuando un sitio conserva un bloqueo antiguo, como User-agent: GPTBot seguido de Disallow: /, que a menudo se añadió en 2023, cuando bloquear el entrenamiento de IA era una opción por defecto muy extendida. Esa regla sigue aplicándose hoy.
Si decides excluirte del entrenamiento sin salir de las respuestas en vivo, bloquea solo los agentes de entrenamiento:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /Deja permitidos OAI-SearchBot, Claude-SearchBot, PerplexityBot, los agentes -User, Googlebot y Bingbot.
Rastreadores de entrenamiento: una decisión con contrapartidas
Bloquear los rastreadores de entrenamiento mantiene tu contenido fuera de las futuras versiones de los modelos. El precio es que esos modelos sabrán menos de tu marca cuando respondan sin buscar. Para un medio que vende contenido original, bloquearlos puede ser la decisión acertada. Para una empresa de software que quiere que la recomienden, permitirlos suele ser mejor.
El firewall puede imponerse a robots.txt
robots.txt es una petición. Un CDN o un firewall puede rechazar al rastreador antes de que llegue a leer el archivo. Cloudflare ofrece un ajuste de un clic para bloquear los rastreadores de IA y lo ha convertido en la opción por defecto para algunos dominios nuevos. La protección contra bots de Vercel, Akamai y otros proveedores de hosting puede tener el mismo efecto.
Compruébalo desde fuera solicitando una página con el user agent de un rastreador:
curl -s -o /dev/null -w "%{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
https://yourdomain.com/Un 403, un 429 o una página de desafío significan que probablemente los rastreadores reales también son rechazados. La auditoría de preparación para IA gratuita hace esta prueba con cuatro rastreadores de IA y lee tus reglas de robots.txt para once.
FAQ
¿Necesito una regla distinta para cada rastreador de IA?
No. Si tu grupo User-agent: * permite el rastreo, todos los rastreadores sin grupo propio tienen acceso. Los grupos separados solo importan cuando quieres reglas distintas para un agente concreto.
¿Bloquear Google-Extended me saca de las AI Overviews?
No. Google afirma que Google-Extended no afecta a la Búsqueda de Google, y las AI Overviews forman parte de la Búsqueda. Googlebot controla ambas.
¿Y llms.txt?
llms.txt es un archivo propuesto que resume tu sitio para los modelos de lenguaje. Añadirlo cuesta poco, pero los grandes asistentes no se han comprometido a leerlo, así que trátalo como opcional y asegúrate primero de que robots.txt y tu firewall están bien configurados.