Conoscenze
Quale crawler IA decide la tua visibilità?
«Bot IA bloccati: sì o no» non è una domanda sensata. Solo OpenAI gestisce quattro crawler che fanno cose del tutto diverse. Bloccarne uno non costa nulla. Bloccarne un altro pone fine alla tua citabilità in ChatGPT.
22crawler documentati, ciascuno con una fonte presso il fornitore
8di questi ti rendono invisibile se li blocchi
3non rispettano il robots.txt — lì un blocco non ha effetto
La frase che conta
OpenAI scrive testualmente nella propria documentazione: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.“ È l'unica garanzia scritta di un fornitore che conosciamo secondo cui una riga nel robots.txt decide direttamente la citabilità. Chi invece blocca GPTBot si oppone all'addestramento e resta visibile in ChatGPT.
Ricerca e citazione
Questi bot alimentano l'indice da cui si cita. Un blocco qui costa visibilità.
| Identificativo | Superficie | Il blocco rende invisibile | Prova |
|---|---|---|---|
OAI-SearchBotOpenAI | ChatGPT | sì | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.https://developers.openai.com/api/docs/botsDer wichtigste Eintrag der Liste. Eine Sperre hier beendet die Zitierbarkeit in ChatGPT. |
Claude-SearchBotAnthropic | Claude | sì | Claude-SearchBot dient der Suchqualitaet und dem Index hinter der Websuche von Claude.https://support.claude.com/en/articles/8896518Anthropic empfiehlt ausdruecklich robots.txt statt IP-Sperren. |
PerplexityBotPerplexity | Perplexity | sì | PerplexityBot surfaces and links websites in search results on Perplexity. Wird ausdruecklich NICHT fuer Modelltraining verwendet.https://docs.perplexity.ai/guides/botsCloudflare hat Perplexity im August 2025 als verifizierten Bot entfernt und nicht deklariertes Crawlen vorgeworfen. Perplexity widerspricht. Eine Sperre wird hier moeglicherweise nicht eingehalten. |
GooglebotGoogle | Google AI Overviews und AI Mode | sì | AI is built into Search ... which is why robots.txt directives for Googlebot is the control. There are no additional requirements to appear in AI Overviews or AI Mode.https://developers.google.com/search/docs/appearance/ai-featuresAI Overviews laufen auf dem normalen Suchindex. Es gibt keinen eigenen Bot dafuer. |
bingbotMicrosoft | Copilot und Bing-KI-Zusammenfassungen | sì | Microsoft betreibt keinen eigenen Copilot-Crawler. Copilot gruendet auf dem Bing-Index und zitiert dessen Treffer.https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-ai- public-websitesAnders als bei OpenAI gibt es hier KEINE Trennung zwischen Training und Suche: ein Token steuert Bing-Suche, Yahoo und Copilot gemeinsam. |
Meta-WebIndexerMeta | Meta AI | sì | Suchqualitaet fuer Meta AI.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-IndexMistral | Le Chat | sì | Suchindex fuer Vibe und Le Chat.https://docs.mistral.ai/robots/ |
Amzn-SearchBotAmazon | Amazon-Suche und Rufus | sì | Ausschliesslich Suchindex.https://developer.amazon.com/amazonbot |
Addestramento dei modelli
Raccolgono dati per l'addestramento. Un blocco è una decisione aziendale e non costa visibilità.
| Identificativo | Superficie | Il blocco rende invisibile | Prova |
|---|---|---|---|
GPTBotOpenAI | ChatGPT (Training) | no | GPTBot wird fuer das Training der Modelle verwendet, nicht fuer die Suche.https://developers.openai.com/api/docs/botsEine Sperre ist eine legitime Entscheidung gegen das Training und kostet KEINE Sichtbarkeit. |
ClaudeBotAnthropic | Claude (Training) | no | ClaudeBot sammelt Daten fuer das Modelltraining.https://support.claude.com/en/articles/8896518 |
Google-ExtendedGoogle | Gemini-Apps (Training und Grounding) | no | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.https://developers.google.com/search/docs/crawling-indexing/google-common-crawlersHaeufiger Irrtum: Eine Sperre hier hat KEINEN Einfluss auf AI Overviews oder AI Mode. Wer dort verschwinden will, muesste Googlebot sperren -- und waere dann auch aus der normalen Suche draussen. |
meta-externalagentMeta | Meta AI (Training) | no | Modelltraining.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-TrainingMistral | Le Chat (Training) | no | Modelltraining.https://docs.mistral.ai/robots/ |
AmazonbotAmazon | Amazon (Produkte und Training) | no | Produktdaten und KI-Training.https://developer.amazon.com/amazonbotDer Trainings-Opt-out laeuft hier NICHT ueber robots.txt, sondern ueber das Meta-Tag 'noarchive'. |
CCBotCommon Crawl | Datensatz fuer viele Modelle | no | Offener Crawl-Datensatz, der in viele Trainingskorpora eingeht.https://commoncrawl.org/ccbot |
Recupero da parte di un utente
Recuperano una pagina perché una persona lo sta chiedendo. Diversi dichiarano esplicitamente di non rispettare il robots.txt.
| Identificativo | Superficie | Il blocco rende invisibile | Prova |
|---|---|---|---|
ChatGPT-UserOpenAI | ChatGPT (Direktabruf) | Blocco senza effetto | Because these actions are initiated by a user, robots.txt rules may not apply. Not used to determine whether content may appear in Search.https://developers.openai.com/api/docs/botsEine Sperre wirkt hier nicht verlaesslich. Ein Treffer im Log belegt umgekehrt keine Sichtbarkeit im Index. |
Claude-UserAnthropic | Claude (Direktabruf) | no | Nutzerausgeloester Abruf einer einzelnen Seite.https://support.claude.com/en/articles/8896518 |
Perplexity-UserPerplexity | Perplexity (Direktabruf) | Blocco senza effetto | Generally ignores robots.txt rules.https://docs.perplexity.ai/guides/bots |
meta-externalfetcherMeta | Meta AI (Direktabruf) | Blocco senza effetto | Nutzerausgeloest, kann robots.txt umgehen.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-UserMistral | Le Chat (Direktabruf) | no | Nutzerausgeloest, ueber robots.txt steuerbar.https://docs.mistral.ai/robots/ |
Amzn-UserAmazon | Amazon (Direktabruf) | no | Echtzeitanfragen.https://developer.amazon.com/amazonbot |
Pubblicità
Verificano le landing page per la pubblicità.
| Identificativo | Superficie | Il blocco rende invisibile | Prova |
|---|---|---|---|
OAI-AdsBotOpenAI | OpenAI-Anzeigen | no | Prueft Landingpages von Anzeigen.https://developers.openai.com/api/docs/bots |
Stato delle prove al 1° settembre 2026 · Ogni riga rimanda alla documentazione del rispettivo fornitore