OUHUDSearch Intelligence
Knowledge

Which AI crawler decides your visibility?

“AI bots blocked: yes or no” is not a useful question. OpenAI alone runs four crawlers that do completely different things. Blocking one of them costs nothing. Blocking another ends your citability in ChatGPT.

22documented crawlers, each with a source at the provider
8of them make you invisible if you block them
3do not respect robots.txt — a block has no effect there

The sentence that matters

OpenAI writes verbatim in its own documentation: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.“ That is the only written assurance from a provider we know of that a line in robots.txt decides directly about citability. Anyone who instead blocks GPTBot objects to training and stays visible in ChatGPT.

Search and citation

These bots feed the index that is cited from. A block here costs visibility.

IdentifierSurfaceBlock makes invisibleEvidence
OAI-SearchBotOpenAIChatGPTyesSites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.https://developers.openai.com/api/docs/botsDer wichtigste Eintrag der Liste. Eine Sperre hier beendet die Zitierbarkeit in ChatGPT.
Claude-SearchBotAnthropicClaudeyesClaude-SearchBot dient der Suchqualitaet und dem Index hinter der Websuche von Claude.https://support.claude.com/en/articles/8896518Anthropic empfiehlt ausdruecklich robots.txt statt IP-Sperren.
PerplexityBotPerplexityPerplexityyesPerplexityBot surfaces and links websites in search results on Perplexity. Wird ausdruecklich NICHT fuer Modelltraining verwendet.https://docs.perplexity.ai/guides/botsCloudflare hat Perplexity im August 2025 als verifizierten Bot entfernt und nicht deklariertes Crawlen vorgeworfen. Perplexity widerspricht. Eine Sperre wird hier moeglicherweise nicht eingehalten.
GooglebotGoogleGoogle AI Overviews und AI ModeyesAI is built into Search ... which is why robots.txt directives for Googlebot is the control. There are no additional requirements to appear in AI Overviews or AI Mode.https://developers.google.com/search/docs/appearance/ai-featuresAI Overviews laufen auf dem normalen Suchindex. Es gibt keinen eigenen Bot dafuer.
bingbotMicrosoftCopilot und Bing-KI-ZusammenfassungenyesMicrosoft betreibt keinen eigenen Copilot-Crawler. Copilot gruendet auf dem Bing-Index und zitiert dessen Treffer.https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-ai- public-websitesAnders als bei OpenAI gibt es hier KEINE Trennung zwischen Training und Suche: ein Token steuert Bing-Suche, Yahoo und Copilot gemeinsam.
Meta-WebIndexerMetaMeta AIyesSuchqualitaet fuer Meta AI.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-IndexMistralLe ChatyesSuchindex fuer Vibe und Le Chat.https://docs.mistral.ai/robots/
Amzn-SearchBotAmazonAmazon-Suche und RufusyesAusschliesslich Suchindex.https://developer.amazon.com/amazonbot

Model training

Collect data for training. A block is a business decision and costs no visibility.

IdentifierSurfaceBlock makes invisibleEvidence
GPTBotOpenAIChatGPT (Training)noGPTBot wird fuer das Training der Modelle verwendet, nicht fuer die Suche.https://developers.openai.com/api/docs/botsEine Sperre ist eine legitime Entscheidung gegen das Training und kostet KEINE Sichtbarkeit.
ClaudeBotAnthropicClaude (Training)noClaudeBot sammelt Daten fuer das Modelltraining.https://support.claude.com/en/articles/8896518
Google-ExtendedGoogleGemini-Apps (Training und Grounding)noGoogle-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.https://developers.google.com/search/docs/crawling-indexing/google-common-crawlersHaeufiger Irrtum: Eine Sperre hier hat KEINEN Einfluss auf AI Overviews oder AI Mode. Wer dort verschwinden will, muesste Googlebot sperren -- und waere dann auch aus der normalen Suche draussen.
meta-externalagentMetaMeta AI (Training)noModelltraining.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-TrainingMistralLe Chat (Training)noModelltraining.https://docs.mistral.ai/robots/
AmazonbotAmazonAmazon (Produkte und Training)noProduktdaten und KI-Training.https://developer.amazon.com/amazonbotDer Trainings-Opt-out laeuft hier NICHT ueber robots.txt, sondern ueber das Meta-Tag 'noarchive'.
CCBotCommon CrawlDatensatz fuer viele ModellenoOffener Crawl-Datensatz, der in viele Trainingskorpora eingeht.https://commoncrawl.org/ccbot

Fetch by a user

Fetch a page because a person is asking about it right now. Several of them explicitly do not respect robots.txt.

IdentifierSurfaceBlock makes invisibleEvidence
ChatGPT-UserOpenAIChatGPT (Direktabruf)Block has no effectBecause these actions are initiated by a user, robots.txt rules may not apply. Not used to determine whether content may appear in Search.https://developers.openai.com/api/docs/botsEine Sperre wirkt hier nicht verlaesslich. Ein Treffer im Log belegt umgekehrt keine Sichtbarkeit im Index.
Claude-UserAnthropicClaude (Direktabruf)noNutzerausgeloester Abruf einer einzelnen Seite.https://support.claude.com/en/articles/8896518
Perplexity-UserPerplexityPerplexity (Direktabruf)Block has no effectGenerally ignores robots.txt rules.https://docs.perplexity.ai/guides/bots
meta-externalfetcherMetaMeta AI (Direktabruf)Block has no effectNutzerausgeloest, kann robots.txt umgehen.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-UserMistralLe Chat (Direktabruf)noNutzerausgeloest, ueber robots.txt steuerbar.https://docs.mistral.ai/robots/
Amzn-UserAmazonAmazon (Direktabruf)noEchtzeitanfragen.https://developer.amazon.com/amazonbot

Advertising

Check landing pages for ads.

IdentifierSurfaceBlock makes invisibleEvidence
OAI-AdsBotOpenAIOpenAI-AnzeigennoPrueft Landingpages von Anzeigen.https://developers.openai.com/api/docs/bots

Evidence as of 1 September 2026 · Every row links to the respective provider's documentation