Pon tu web y leemos tu robots.txt como lo leería cada rastreador de IA: te decimos a cuáles dejas entrar y a cuáles no, si hay reglas que te cortan sin querer y si estás ocultando fragmentos con noindex o nosnippet. Debajo tienes un ejemplo de robots.txt para copiar. Es gratis, tarda unos segundos y no te pedimos el correo.
Un robots.txt de ejemplo para la IA
Este ejemplo deja entrar a los rastreadores que deciden si te pueden citar y bloquea los de entrenamiento. La segunda parte es una decisión tuya: si no te importa que tu contenido entrene modelos, bórrala y no pasa nada.
# Buscadores con IA: que puedan leerte y citarte
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Entrenamiento de modelos: decisión tuya (aquí, bloqueados)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://tudominio.es/sitemap.xmlOjo con una regla que casi nadie conoce: cuando un rastreador encuentra un grupo con su nombre, sigue ese grupo y deja de leer el de User-agent: *. Si en el grupo general tienes rutas que no quieres que se rastreen —el área privada, el carrito, la búsqueda interna—, repítelas en cada grupo propio o esos bots las rastrearán.
Los tres errores que más vemos
-
Un
Disallow: /heredado. Se pone mientras la web está en obras y nadie lo quita al publicar. Corta a todos los rastreadores, también a Google. - Bloquear «todo lo de IA» con una plantilla. Listas copiadas que mezclan rastreadores de entrenamiento con los de búsqueda. Quieres frenar el entrenamiento y acabas fuera de las respuestas.
- Creer que el robots.txt lo es todo. El interruptor de bots de IA de algunos CDN corta en el servidor, aunque tu robots.txt diga lo contrario. Por eso la herramienta también llama a tu web con el user-agent de OAI-SearchBot.
Preguntas frecuentes
¿Los bots de IA hacen caso al robots.txt?
Las grandes empresas de IA dicen respetarlo y documentan el nombre de cada uno de sus rastreadores. Pero el robots.txt es una norma de cortesía, no una cerradura: un bot que no quiera cumplirlo puede ignorarlo. Para proteger algo de verdad hace falta autenticación o un bloqueo en el servidor.
¿Cuánto tarda en notarse un cambio?
Los rastreadores vuelven a leer el robots.txt cada cierto tiempo. Google, por ejemplo, explica que suele guardarlo en caché hasta 24 horas. Cuenta con un día o dos antes de ver el efecto, y más en los rastreadores que te visitan poco.
¿Puedo poner noindex en el robots.txt?
No. Google dejó de admitir noindex en el robots.txt hace años. Si no quieres que una página salga en los resultados, usa la etiqueta meta robots en la propia página. Y recuerda que si la bloqueas en el robots.txt, Google no puede entrar a ver ese noindex.
Uso WordPress, ¿dónde está mi robots.txt?
Si no has subido uno, WordPress genera uno virtual. Con Yoast SEO puedes editarlo desde Yoast SEO › Herramientas › Editor de archivos. Si tienes un fichero robots.txt real en la raíz del hosting, ese manda sobre el virtual.
¿Pedís el correo?
No. Es gratis y no hay ningún formulario de correo. Solo anotamos el dominio consultado y una huella cifrada de tu conexión, para evitar abusos, que se borra a las 48 horas.
Ya sabes a quién dejas entrar. ¿Te nombran?
Un robots.txt bien hecho es la condición de partida. Lo que decide si te llegan clientes es si la IA te nombra cuando alguien pregunta por tu sector. Eso también te lo decimos gratis.
¿Prefieres que lo miremos nosotros? Escríbenos: primera consulta sin coste.
Quién hay detrás de esta herramienta
BIKAIN STUDIO SL · CIF B95949640 · Ibarra 7, mód. 2.5, 48300 Gernika-Lumo (Bizkaia) · 946 571 447. Agencia de marketing y SEO. Cada comprobación de la herramienta enlaza a la documentación oficial en la que se apoya, para que puedas verificarla.
