Les robots de ChatGPT et de Perplexity ont-ils le droit de lire votre page ?
Si un robots.txt ou un pare-feu exclut le robot d'OpenAI, le contenu ne compte plus. Ces blocages sont le plus souvent involontaires et connus de personne dans l'entreprise.
Ce que fait ce domaine
Recherche et entraînement séparés
Des règles indépendantes s'appliquent aux deux, et les conséquences sont opposées. Bloquer GPTBot empêche l'exploration pour l'entraînement — cela ne coûte aucune visibilité. Bloquer OAI-SearchBot exclut vos contenus des réponses de recherche de ChatGPT. Une vérification qui mélange les deux donne le mauvais conseil.
Notre propre analyseur de robots.txt avec la règle « le plus long motif gagne »
C'est exactement ainsi que les robots eux-mêmes évaluent. Une vérification naïve qui prend la première ligne correspondante signale des autorisations qui ne s'appliquent pas — et des blocages qui n'existent pas.
Les blocages sans effet sont nommés comme tels
Certains robots n'obéissent pas au robots.txt. Si un blocage contre eux y figure, il est sans effet. Le signaler comme effectif serait une fausse information — l'interface dit au contraire que la ligne est là et ne fait rien.
Le constat vient avec les lignes pour corriger
Là où un robot de recherche est bloqué, les lignes à ajouter à votre robots.txt figurent à côté, copiables, avec le chemin du fichier. Pour les robots d'entraînement, rien n'est proposé : un blocage là ne coûte aucune visibilité, et le lever sans demander serait une intrusion dans votre décision.
Comment vous le voyez
- ✓Ce qui est vérifié, c'est ce que votre robots.txt permet pour chaque surface prise individuellement — établi, pas estimé.
- ✓Pour chaque robot figurent l'exploitant, la finalité (recherche ou entraînement) et s'il obéit au robots.txt.
- ✓La vérification ne lit que votre robots.txt. Elle ne coûte rien et peut tourner aussi souvent que vous voulez.
- ✓« Jamais vérifié » figure comme état à part entière. Cela ne veut pas dire que quelque chose est bloqué — cela veut dire que personne n'a regardé.
- ✓Outre la règle, il est évalué quels robots ont réellement visité vos pages.
Là où il s'arrête
- ×Une autorisation dans le robots.txt ne garantit aucune citation. C'est la condition, pas le résultat.
- ×Un pare-feu, une protection anti-robots ou un blocage d'accès peut empêcher la récupération alors que le robots.txt l'autorise.
- ×La vérification ne modifie pas votre robots.txt. Elle nomme les lignes ; les insérer vous revient, à vous ou à votre agence.
- ×Les robots qui ignorent le fichier ne peuvent pas être exclus ainsi — cela demande le niveau serveur.
Questions fréquentes
Dois-je bloquer ou autoriser GPTBot ?
C'est votre décision, et elle ne coûte aucune visibilité. GPTBot explore pour l'entraînement des modèles, pas pour les réponses de recherche. Qui ne veut pas que ses textes alimentent un modèle le bloque — et reste visible dans les réponses de recherche de ChatGPT tant qu'OAI-SearchBot est autorisé. Les deux règles sont indépendantes.
Pourquoi ma page n'est-elle pas visible dans ChatGPT alors que le robots.txt autorise tout ?
Parce que le robots.txt n'est qu'un obstacle parmi plusieurs. Autres causes fréquentes : une protection anti-robots ou un pare-feu bloque la récupération, la page ne livre son texte qu'en JavaScript, ou le contenu ne fonctionne pas comme source parce qu'il ne dit rien que vous seul pourriez dire. L'accès est vérifié, la citation mesurée séparément.
À quelle fréquence l'accès doit-il être vérifié ?
En continu. Un robots.txt change quand quelqu'un met à jour une extension, qu'une protection anti-robots s'ajoute ou qu'un prestataire ajoute une ligne. C'est justement pour cela que la vérification est gratuite et répétable — un constat unique périme dès la première modification.