OUHUDSearch Intelligence
Wissen

Welcher KI-Crawler entscheidet über Ihre Sichtbarkeit?

„KI-Bots gesperrt: ja oder nein“ ist keine sinnvolle Frage. OpenAI allein betreibt vier Crawler, die völlig Verschiedenes tun. Einen davon zu sperren kostet nichts. Einen anderen zu sperren beendet Ihre Zitierbarkeit in ChatGPT.

22dokumentierte Crawler, jeder mit Quelle beim Anbieter
8davon machen unsichtbar, wenn Sie sie sperren
3halten sich nicht an die robots.txt — eine Sperre wirkt dort nicht

Der Satz, auf den es ankommt

OpenAI schreibt in der eigenen Dokumentation wörtlich: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.“ Das ist die einzige uns bekannte schriftliche Zusicherung eines Anbieters, dass eine Zeile in der robots.txt direkt über die Zitierbarkeit entscheidet. Wer stattdessen GPTBot sperrt, widerspricht dem Training und bleibt in ChatGPT sichtbar.

Suche und Zitierung

Diese Bots speisen den Index, aus dem zitiert wird. Eine Sperre hier kostet Sichtbarkeit.

KennungOberflächeSperre macht unsichtbarBeleg
OAI-SearchBotOpenAIChatGPTjaSites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.https://developers.openai.com/api/docs/botsDer wichtigste Eintrag der Liste. Eine Sperre hier beendet die Zitierbarkeit in ChatGPT.
Claude-SearchBotAnthropicClaudejaClaude-SearchBot dient der Suchqualitaet und dem Index hinter der Websuche von Claude.https://support.claude.com/en/articles/8896518Anthropic empfiehlt ausdruecklich robots.txt statt IP-Sperren.
PerplexityBotPerplexityPerplexityjaPerplexityBot surfaces and links websites in search results on Perplexity. Wird ausdruecklich NICHT fuer Modelltraining verwendet.https://docs.perplexity.ai/guides/botsCloudflare hat Perplexity im August 2025 als verifizierten Bot entfernt und nicht deklariertes Crawlen vorgeworfen. Perplexity widerspricht. Eine Sperre wird hier moeglicherweise nicht eingehalten.
GooglebotGoogleGoogle AI Overviews und AI ModejaAI is built into Search ... which is why robots.txt directives for Googlebot is the control. There are no additional requirements to appear in AI Overviews or AI Mode.https://developers.google.com/search/docs/appearance/ai-featuresAI Overviews laufen auf dem normalen Suchindex. Es gibt keinen eigenen Bot dafuer.
bingbotMicrosoftCopilot und Bing-KI-ZusammenfassungenjaMicrosoft betreibt keinen eigenen Copilot-Crawler. Copilot gruendet auf dem Bing-Index und zitiert dessen Treffer.https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-ai- public-websitesAnders als bei OpenAI gibt es hier KEINE Trennung zwischen Training und Suche: ein Token steuert Bing-Suche, Yahoo und Copilot gemeinsam.
Meta-WebIndexerMetaMeta AIjaSuchqualitaet fuer Meta AI.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-IndexMistralLe ChatjaSuchindex fuer Vibe und Le Chat.https://docs.mistral.ai/robots/
Amzn-SearchBotAmazonAmazon-Suche und RufusjaAusschliesslich Suchindex.https://developer.amazon.com/amazonbot

Modelltraining

Sammeln Daten für das Training. Eine Sperre ist eine unternehmerische Entscheidung und kostet keine Sichtbarkeit.

KennungOberflächeSperre macht unsichtbarBeleg
GPTBotOpenAIChatGPT (Training)neinGPTBot wird fuer das Training der Modelle verwendet, nicht fuer die Suche.https://developers.openai.com/api/docs/botsEine Sperre ist eine legitime Entscheidung gegen das Training und kostet KEINE Sichtbarkeit.
ClaudeBotAnthropicClaude (Training)neinClaudeBot sammelt Daten fuer das Modelltraining.https://support.claude.com/en/articles/8896518
Google-ExtendedGoogleGemini-Apps (Training und Grounding)neinGoogle-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.https://developers.google.com/search/docs/crawling-indexing/google-common-crawlersHaeufiger Irrtum: Eine Sperre hier hat KEINEN Einfluss auf AI Overviews oder AI Mode. Wer dort verschwinden will, muesste Googlebot sperren -- und waere dann auch aus der normalen Suche draussen.
meta-externalagentMetaMeta AI (Training)neinModelltraining.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-TrainingMistralLe Chat (Training)neinModelltraining.https://docs.mistral.ai/robots/
AmazonbotAmazonAmazon (Produkte und Training)neinProduktdaten und KI-Training.https://developer.amazon.com/amazonbotDer Trainings-Opt-out laeuft hier NICHT ueber robots.txt, sondern ueber das Meta-Tag 'noarchive'.
CCBotCommon CrawlDatensatz fuer viele ModelleneinOffener Crawl-Datensatz, der in viele Trainingskorpora eingeht.https://commoncrawl.org/ccbot

Abruf durch einen Nutzer

Holen eine Seite, weil ein Mensch gerade danach fragt. Mehrere halten sich dabei ausdrücklich nicht an die robots.txt.

KennungOberflächeSperre macht unsichtbarBeleg
ChatGPT-UserOpenAIChatGPT (Direktabruf)Sperre wirkt nichtBecause these actions are initiated by a user, robots.txt rules may not apply. Not used to determine whether content may appear in Search.https://developers.openai.com/api/docs/botsEine Sperre wirkt hier nicht verlaesslich. Ein Treffer im Log belegt umgekehrt keine Sichtbarkeit im Index.
Claude-UserAnthropicClaude (Direktabruf)neinNutzerausgeloester Abruf einer einzelnen Seite.https://support.claude.com/en/articles/8896518
Perplexity-UserPerplexityPerplexity (Direktabruf)Sperre wirkt nichtGenerally ignores robots.txt rules.https://docs.perplexity.ai/guides/bots
meta-externalfetcherMetaMeta AI (Direktabruf)Sperre wirkt nichtNutzerausgeloest, kann robots.txt umgehen.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/
MistralAI-UserMistralLe Chat (Direktabruf)neinNutzerausgeloest, ueber robots.txt steuerbar.https://docs.mistral.ai/robots/
Amzn-UserAmazonAmazon (Direktabruf)neinEchtzeitanfragen.https://developer.amazon.com/amazonbot

Anzeigen

Prüfen Landingpages für Werbung.

KennungOberflächeSperre macht unsichtbarBeleg
OAI-AdsBotOpenAIOpenAI-AnzeigenneinPrueft Landingpages von Anzeigen.https://developers.openai.com/api/docs/bots

Stand der Belege: 1. September 2026 · Jede Zeile verweist auf die Dokumentation des jeweiligen Anbieters