المعرفة
أي زاحف ذكاء اصطناعي يقرّر ظهورك؟
«هل تحجب روبوتات الذكاء الاصطناعي: نعم أم لا» ليس سؤالاً مفيداً. فـOpenAI وحدها تشغّل أربعة زواحف تؤدي أشياء مختلفة تماماً. حجب أحدها لا يكلّف شيئاً، وحجب آخر ينهي إمكانية اقتباسك في ChatGPT.
22زاحفاً موثّقاً، لكل منها مصدر لدى المزوّد
8منها تجعلك غير مرئي إن حجبتها
3لا تلتزم بملف robots.txt — والحجب لا يؤثر فيها
الجملة التي تهم
تكتب OpenAI حرفياً في توثيقها: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.“ هذا هو التعهّد المكتوب الوحيد من مزوّد نعلمه بأن سطراً في robots.txt يقرّر مباشرةً إمكانية الاقتباس. أما من يحجب GPTBot فهو يعترض على التدريب ويبقى ظاهراً في ChatGPT.
البحث والاقتباس
تغذّي هذه الروبوتات الفهرس الذي يُقتبَس منه. والحجب هنا يكلّف ظهوراً.
| المعرّف | السطح | الحجب يجعلك غير مرئي | الدليل |
|---|---|---|---|
OAI-SearchBotOpenAI | ChatGPT | نعم | Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers.https://developers.openai.com/api/docs/botsDer wichtigste Eintrag der Liste. Eine Sperre hier beendet die Zitierbarkeit in ChatGPT. |
Claude-SearchBotAnthropic | Claude | نعم | Claude-SearchBot dient der Suchqualitaet und dem Index hinter der Websuche von Claude.https://support.claude.com/en/articles/8896518Anthropic empfiehlt ausdruecklich robots.txt statt IP-Sperren. |
PerplexityBotPerplexity | Perplexity | نعم | PerplexityBot surfaces and links websites in search results on Perplexity. Wird ausdruecklich NICHT fuer Modelltraining verwendet.https://docs.perplexity.ai/guides/botsCloudflare hat Perplexity im August 2025 als verifizierten Bot entfernt und nicht deklariertes Crawlen vorgeworfen. Perplexity widerspricht. Eine Sperre wird hier moeglicherweise nicht eingehalten. |
GooglebotGoogle | Google AI Overviews und AI Mode | نعم | AI is built into Search ... which is why robots.txt directives for Googlebot is the control. There are no additional requirements to appear in AI Overviews or AI Mode.https://developers.google.com/search/docs/appearance/ai-featuresAI Overviews laufen auf dem normalen Suchindex. Es gibt keinen eigenen Bot dafuer. |
bingbotMicrosoft | Copilot und Bing-KI-Zusammenfassungen | نعم | Microsoft betreibt keinen eigenen Copilot-Crawler. Copilot gruendet auf dem Bing-Index und zitiert dessen Treffer.https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-ai- public-websitesAnders als bei OpenAI gibt es hier KEINE Trennung zwischen Training und Suche: ein Token steuert Bing-Suche, Yahoo und Copilot gemeinsam. |
Meta-WebIndexerMeta | Meta AI | نعم | Suchqualitaet fuer Meta AI.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-IndexMistral | Le Chat | نعم | Suchindex fuer Vibe und Le Chat.https://docs.mistral.ai/robots/ |
Amzn-SearchBotAmazon | Amazon-Suche und Rufus | نعم | Ausschliesslich Suchindex.https://developer.amazon.com/amazonbot |
تدريب النماذج
تجمع بيانات للتدريب. والحجب قرار تجاري ولا يكلّف ظهوراً.
| المعرّف | السطح | الحجب يجعلك غير مرئي | الدليل |
|---|---|---|---|
GPTBotOpenAI | ChatGPT (Training) | لا | GPTBot wird fuer das Training der Modelle verwendet, nicht fuer die Suche.https://developers.openai.com/api/docs/botsEine Sperre ist eine legitime Entscheidung gegen das Training und kostet KEINE Sichtbarkeit. |
ClaudeBotAnthropic | Claude (Training) | لا | ClaudeBot sammelt Daten fuer das Modelltraining.https://support.claude.com/en/articles/8896518 |
Google-ExtendedGoogle | Gemini-Apps (Training und Grounding) | لا | Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.https://developers.google.com/search/docs/crawling-indexing/google-common-crawlersHaeufiger Irrtum: Eine Sperre hier hat KEINEN Einfluss auf AI Overviews oder AI Mode. Wer dort verschwinden will, muesste Googlebot sperren -- und waere dann auch aus der normalen Suche draussen. |
meta-externalagentMeta | Meta AI (Training) | لا | Modelltraining.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-TrainingMistral | Le Chat (Training) | لا | Modelltraining.https://docs.mistral.ai/robots/ |
AmazonbotAmazon | Amazon (Produkte und Training) | لا | Produktdaten und KI-Training.https://developer.amazon.com/amazonbotDer Trainings-Opt-out laeuft hier NICHT ueber robots.txt, sondern ueber das Meta-Tag 'noarchive'. |
CCBotCommon Crawl | Datensatz fuer viele Modelle | لا | Offener Crawl-Datensatz, der in viele Trainingskorpora eingeht.https://commoncrawl.org/ccbot |
جلب بطلب مستخدم
تجلب صفحة لأن إنساناً يسأل عنها الآن. وعدة منها لا تلتزم صراحةً بملف robots.txt.
| المعرّف | السطح | الحجب يجعلك غير مرئي | الدليل |
|---|---|---|---|
ChatGPT-UserOpenAI | ChatGPT (Direktabruf) | الحجب بلا أثر | Because these actions are initiated by a user, robots.txt rules may not apply. Not used to determine whether content may appear in Search.https://developers.openai.com/api/docs/botsEine Sperre wirkt hier nicht verlaesslich. Ein Treffer im Log belegt umgekehrt keine Sichtbarkeit im Index. |
Claude-UserAnthropic | Claude (Direktabruf) | لا | Nutzerausgeloester Abruf einer einzelnen Seite.https://support.claude.com/en/articles/8896518 |
Perplexity-UserPerplexity | Perplexity (Direktabruf) | الحجب بلا أثر | Generally ignores robots.txt rules.https://docs.perplexity.ai/guides/bots |
meta-externalfetcherMeta | Meta AI (Direktabruf) | الحجب بلا أثر | Nutzerausgeloest, kann robots.txt umgehen.https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
MistralAI-UserMistral | Le Chat (Direktabruf) | لا | Nutzerausgeloest, ueber robots.txt steuerbar.https://docs.mistral.ai/robots/ |
Amzn-UserAmazon | Amazon (Direktabruf) | لا | Echtzeitanfragen.https://developer.amazon.com/amazonbot |
الإعلانات
تفحص صفحات الهبوط للإعلانات.
| المعرّف | السطح | الحجب يجعلك غير مرئي | الدليل |
|---|---|---|---|
OAI-AdsBotOpenAI | OpenAI-Anzeigen | لا | Prueft Landingpages von Anzeigen.https://developers.openai.com/api/docs/bots |
حالة الأدلة حتى 1 سبتمبر 2026 · كل سطر يحيل إلى توثيق المزوّد المعني