Vérificateur de robots IA
Collez une page de votre site pour voir quels robots d'IA votre robots.txt laisse entrer, si un pare-feu les refoule et si la page contient du texte et des données structurées qu'ils peuvent lire sans exécuter de JavaScript. C'est gratuit et sans inscription.
Robots de recherche, d'entraînement et d'utilisateurs : ce n'est pas pareil
Les robots de recherche décident si vous êtes cité
OAI-SearchBot (recherche de ChatGPT), Claude-SearchBot, PerplexityBot, Googlebot et Bingbot construisent les index dont proviennent les réponses d'IA. S'ils sont bloqués, vos pages ne peuvent être ni trouvées ni citées.
Les robots d'entraînement sont un choix à part
GPTBot, ClaudeBot, Google-Extended et CCBot collectent du contenu pour entraîner des modèles. OpenAI, Anthropic et Google les séparent de leurs robots de recherche, et Google indique que Google-Extended n'a pas d'effet sur la Recherche : vous pouvez donc bloquer l'entraînement et rester cité.
Les demandes d'utilisateurs fonctionnent autrement
ChatGPT-User, Claude-User et Perplexity-User visitent une page quand une personne pose une question à son sujet. Comme c'est une personne qui l'a demandé, leurs éditeurs indiquent que le robots.txt peut ne pas s'appliquer.
Ce que ce vérificateur analyse
Les règles du robots.txt pour chaque robot
Nous lisons votre robots.txt comme les robots (RFC 9309) : un groupe qui nomme le robot s'applique à lui ; sinon, c'est le groupe « * », et la règle la plus précise l'emporte.
Blocages par pare-feu et CDN
Nous demandons la page deux fois de plus, en nous identifiant comme OAI-SearchBot et ClaudeBot. Si ces requêtes sont refusées alors que la requête normale fonctionne, un pare-feu bloque peut-être les robots d'IA même si le robots.txt les autorise.
Le texte sans JavaScript
Les robots d'IA lisent le HTML envoyé par votre serveur et n'exécutent pas de scripts. Nous comptons les mots de ce HTML, tel qu'ils le voient.
Indexation, données structurées, sitemap et llms.txt
Nous cherchons des règles noindex, des données structurées JSON-LD, un sitemap et un fichier llms.txt : des signaux qui aident les robots à trouver la page et à la comprendre.
Questions fréquentes
Questions courantes
Comment savoir si ChatGPT peut explorer mon site ?
Collez une page dans le vérificateur ci-dessus. Il lit votre robots.txt pour OAI-SearchBot, qui alimente la recherche de ChatGPT, et pour GPTBot, qui collecte des données d'entraînement, puis teste si votre pare-feu refuse une requête d'OAI-SearchBot.
Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Non. GPTBot collecte seulement du contenu pour l'entraînement. La recherche de ChatGPT utilise OAI-SearchBot, que vous pouvez autoriser séparément. La même séparation existe chez Anthropic (ClaudeBot et Claude-SearchBot) et chez Google (Google-Extended et Googlebot).
Pourquoi mon robots.txt autorise un robot alors que le vérificateur affiche un avertissement de pare-feu ?
Certains CDN et pare-feux bloquent les robots d'IA d'après leur user agent, indépendamment du robots.txt. Notre requête de test utilise le nom du robot mais part de notre serveur : un pare-feu qui vérifie aussi l'adresse IP peut la traiter autrement que le vrai robot. Vérifiez dans les réglages de votre CDN ou de votre pare-feu.
Ai-je besoin d'un fichier llms.txt ?
C'est facultatif. llms.txt est une convention récente pour donner aux outils d'IA un résumé de votre site, mais aucune grande entreprise d'IA n'a dit que ses robots en dépendent. Le robots.txt, un HTML lisible et les données structurées comptent davantage.
Ce vérificateur est-il gratuit ?
Oui, et sans inscription. Nous lisons votre robots.txt, la page et quelques fichiers publics une fois par vérification, sans conserver le résultat.
Autres guides
Comment être cité par ChatGPT, Perplexity et les autres moteurs de recherche IA
Affirmations vérifiables, données structurées et auteur clair dans chaque article.
Lire le guide→Google pénalise-t-il le contenu généré par l'IA ?
Ce que Google sanctionne vraiment et comment publier avec l'IA sans s'exposer.
Lire le guide→Comment utiliser l'IA pour l'actualité sans s'approprier le travail des autres médias ?
Créditez et liez l'article d'origine, partez de votre propre matériel et excluez les médias que vous ne voulez pas utiliser.
Lire le guide→