Connaissances
Quel robot d'IA décide de votre visibilité ?
« Bots d'IA bloqués : oui ou non » n'est pas une question pertinente. OpenAI exploite à elle seule quatre robots qui font des choses complètement différentes. En bloquer un ne coûte rien. En bloquer un autre met fin à votre citabilité dans ChatGPT.
22robots documentés, chacun avec une source chez le fournisseur
8d'entre eux vous rendent invisible si vous les bloquez
3ne respectent pas le robots.txt — un blocage y reste sans effet
La phrase qui compte
OpenAI écrit textuellement dans sa propre documentation : „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.“ C'est la seule garantie écrite d'un fournisseur que nous connaissons selon laquelle une ligne du robots.txt décide directement de la citabilité. Qui bloque en revanche GPTBot s'oppose à l'entraînement et reste visible dans ChatGPT.
Recherche et citation
Ces robots alimentent l'index dont on cite. Un blocage ici coûte de la visibilité.
| Identifiant | Surface | Le blocage rend invisible | Preuve |
|---|---|---|---|
OAI-SearchBotOpenAI | ChatGPT | oui | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.https://developers.openai.com/api/docs/botsDer wichtigste Eintrag der Liste. Eine Sperre hier beendet die Zitierbarkeit in ChatGPT. |
Claude-SearchBotAnthropic | Claude | oui | Claude-SearchBot dient der Suchqualitaet und dem Index hinter der Websuche von Claude.https://support.claude.com/en/articles/8896518Anthropic empfiehlt ausdruecklich robots.txt statt IP-Sperren. |
PerplexityBotPerplexity | Perplexity | oui | PerplexityBot surfaces and links websites in search results on Perplexity. Wird ausdruecklich NICHT fuer Modelltraining verwendet.https://docs.perplexity.ai/guides/botsCloudflare hat Perplexity im August 2025 als verifizierten Bot entfernt und nicht deklariertes Crawlen vorgeworfen. Perplexity widerspricht. Eine Sperre wird hier moeglicherweise nicht eingehalten. |
GooglebotGoogle | Google AI Overviews und AI Mode | oui | AI is built into Search ... which is why robots.txt directives for Googlebot is the control. There are no additional requirements to appear in AI Overviews or AI Mode.https://developers.google.com/search/docs/appearance/ai-featuresAI Overviews laufen auf dem normalen Suchindex. Es gibt keinen eigenen Bot dafuer. |
bingbotMicrosoft | Copilot und Bing-KI-Zusammenfassungen | oui | Microsoft betreibt keinen eigenen Copilot-Crawler. Copilot gruendet auf dem Bing-Index und zitiert dessen Treffer.https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-ai- public-websitesAnders als bei OpenAI gibt es hier KEINE Trennung zwischen Training und Suche: ein Token steuert Bing-Suche, Yahoo und Copilot gemeinsam. |
Meta-WebIndexerMeta | Meta AI | oui | Suchqualitaet fuer Meta AI.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-IndexMistral | Le Chat | oui | Suchindex fuer Vibe und Le Chat.https://docs.mistral.ai/robots/ |
Amzn-SearchBotAmazon | Amazon-Suche und Rufus | oui | Ausschliesslich Suchindex.https://developer.amazon.com/amazonbot |
Entraînement des modèles
Collectent des données pour l'entraînement. Un blocage est une décision d'entreprise et ne coûte aucune visibilité.
| Identifiant | Surface | Le blocage rend invisible | Preuve |
|---|---|---|---|
GPTBotOpenAI | ChatGPT (Training) | non | GPTBot wird fuer das Training der Modelle verwendet, nicht fuer die Suche.https://developers.openai.com/api/docs/botsEine Sperre ist eine legitime Entscheidung gegen das Training und kostet KEINE Sichtbarkeit. |
ClaudeBotAnthropic | Claude (Training) | non | ClaudeBot sammelt Daten fuer das Modelltraining.https://support.claude.com/en/articles/8896518 |
Google-ExtendedGoogle | Gemini-Apps (Training und Grounding) | non | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.https://developers.google.com/search/docs/crawling-indexing/google-common-crawlersHaeufiger Irrtum: Eine Sperre hier hat KEINEN Einfluss auf AI Overviews oder AI Mode. Wer dort verschwinden will, muesste Googlebot sperren -- und waere dann auch aus der normalen Suche draussen. |
meta-externalagentMeta | Meta AI (Training) | non | Modelltraining.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-TrainingMistral | Le Chat (Training) | non | Modelltraining.https://docs.mistral.ai/robots/ |
AmazonbotAmazon | Amazon (Produkte und Training) | non | Produktdaten und KI-Training.https://developer.amazon.com/amazonbotDer Trainings-Opt-out laeuft hier NICHT ueber robots.txt, sondern ueber das Meta-Tag 'noarchive'. |
CCBotCommon Crawl | Datensatz fuer viele Modelle | non | Offener Crawl-Datensatz, der in viele Trainingskorpora eingeht.https://commoncrawl.org/ccbot |
Récupération par un utilisateur
Récupèrent une page parce qu'un humain pose la question à cet instant. Plusieurs ne respectent explicitement pas le robots.txt.
| Identifiant | Surface | Le blocage rend invisible | Preuve |
|---|---|---|---|
ChatGPT-UserOpenAI | ChatGPT (Direktabruf) | Blocage sans effet | Because these actions are initiated by a user, robots.txt rules may not apply. Not used to determine whether content may appear in Search.https://developers.openai.com/api/docs/botsEine Sperre wirkt hier nicht verlaesslich. Ein Treffer im Log belegt umgekehrt keine Sichtbarkeit im Index. |
Claude-UserAnthropic | Claude (Direktabruf) | non | Nutzerausgeloester Abruf einer einzelnen Seite.https://support.claude.com/en/articles/8896518 |
Perplexity-UserPerplexity | Perplexity (Direktabruf) | Blocage sans effet | Generally ignores robots.txt rules.https://docs.perplexity.ai/guides/bots |
meta-externalfetcherMeta | Meta AI (Direktabruf) | Blocage sans effet | Nutzerausgeloest, kann robots.txt umgehen.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-UserMistral | Le Chat (Direktabruf) | non | Nutzerausgeloest, ueber robots.txt steuerbar.https://docs.mistral.ai/robots/ |
Amzn-UserAmazon | Amazon (Direktabruf) | non | Echtzeitanfragen.https://developer.amazon.com/amazonbot |
Publicité
Vérifient les pages de destination pour la publicité.
| Identifiant | Surface | Le blocage rend invisible | Preuve |
|---|---|---|---|
OAI-AdsBotOpenAI | OpenAI-Anzeigen | non | Prueft Landingpages von Anzeigen.https://developers.openai.com/api/docs/bots |
État des preuves au 1er septembre 2026 · Chaque ligne renvoie à la documentation du fournisseur concerné