Verificador de rastreadores de IA
Pega una página de tu web para ver qué rastreadores de IA deja entrar tu robots.txt, si un firewall los rechaza y si la página tiene texto y datos estructurados que pueden leer sin ejecutar JavaScript. Es gratis y no pide registro.
Los rastreadores de búsqueda, de entrenamiento y de usuarios son distintos
Los rastreadores de búsqueda deciden si te citan
OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot, PerplexityBot, Googlebot y Bingbot construyen los índices de los que salen las respuestas de IA. Si están bloqueados, tus páginas no pueden encontrarse ni citarse.
Los rastreadores de entrenamiento son otra decisión
GPTBot, ClaudeBot, Google-Extended y CCBot recopilan contenido para entrenar modelos. OpenAI, Anthropic y Google los mantienen separados de sus rastreadores de búsqueda, y Google dice que Google-Extended no afecta a la Búsqueda; así que puedes bloquear el entrenamiento y seguir siendo citado.
Las peticiones de usuarios funcionan de otra forma
ChatGPT-User, Claude-User y Perplexity-User visitan una página cuando una persona pregunta por ella. Como lo pidió una persona, sus empresas dicen que el robots.txt puede no aplicarse.
Qué analiza este verificador
Las reglas del robots.txt para cada rastreador
Leemos tu robots.txt igual que los rastreadores (RFC 9309): un grupo que nombra al rastreador se aplica a él; si no lo hay, se aplica el grupo “*”, y gana la regla más específica.
Bloqueos de firewall y CDN
Pedimos la página dos veces más, identificándonos como OAI-SearchBot y ClaudeBot. Si esas peticiones se rechazan mientras la normal funciona, un firewall puede estar bloqueando rastreadores de IA aunque el robots.txt los permita.
Texto sin JavaScript
Los rastreadores de IA leen el HTML que envía tu servidor y no ejecutan scripts. Contamos las palabras de ese HTML, tal como ellos lo ven.
Indexación, datos estructurados, sitemap y llms.txt
Buscamos reglas noindex, datos estructurados JSON-LD, un sitemap y un archivo llms.txt: señales que ayudan a los rastreadores a encontrar la página y entenderla.
Preguntas frecuentes
Dudas comunes
¿Cómo sé si ChatGPT puede rastrear mi web?
Pega una página en el verificador de arriba. Lee tu robots.txt para OAI-SearchBot, que alimenta la búsqueda de ChatGPT, y para GPTBot, que recopila datos de entrenamiento, y prueba si tu firewall rechaza una petición de OAI-SearchBot.
¿Bloquear GPTBot saca mi web de ChatGPT?
No. GPTBot solo recopila contenido para entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, que puedes permitir por separado. La misma división existe en Anthropic (ClaudeBot y Claude-SearchBot) y en Google (Google-Extended y Googlebot).
¿Por qué mi robots.txt permite un rastreador pero el verificador muestra un aviso de firewall?
Algunos CDN y firewalls bloquean rastreadores de IA por su user agent, sin importar el robots.txt. Nuestra petición de prueba usa el nombre del rastreador, pero sale de nuestro servidor, así que un firewall que también comprueba la IP puede tratarla distinto del rastreador real. Confírmalo en la configuración de tu CDN o firewall.
¿Necesito un archivo llms.txt?
Es opcional. llms.txt es una convención reciente para dar a las herramientas de IA un resumen de tu web, pero ninguna gran empresa de IA ha dicho que sus rastreadores dependan de él. El robots.txt, un HTML legible y los datos estructurados importan más.
¿Este verificador es gratis?
Sí, y sin registro. Leemos tu robots.txt, la página y algunos archivos públicos una vez por comprobación y no guardamos el resultado.
Más guías
Cómo ser citado por ChatGPT, Perplexity y otros buscadores con IA
Afirmaciones verificables, datos estructurados y autoría clara en cada artículo.
Leer la guía→¿Google penaliza el contenido generado por IA?
Lo que Google castiga de verdad y cómo publicar con IA sin exponerte.
Leer la guía→¿Cómo usar IA en noticias sin apropiarte del trabajo de otros medios?
Cita y enlaza la noticia original, parte de tu material y excluye los medios que no quieres usar.
Leer la guía→