Dürfen die Crawler von ChatGPT und Perplexity Ihre Seite lesen?
Sperrt eine robots.txt oder eine Firewall den Crawler von OpenAI aus, spielt der Inhalt keine Rolle mehr. Diese Sperren sind meist unbeabsichtigt und niemandem im Betrieb bekannt.
Was der Bereich tut
Suche und Training getrennt
Für beides gelten unabhängige Regeln, und die Folgen sind entgegengesetzt. Wer GPTBot sperrt, verhindert das Crawlen für Training — das kostet keine Sichtbarkeit. Wer OAI-SearchBot sperrt, schließt seine Inhalte aus den Suchantworten von ChatGPT aus. Eine Prüfung, die beides in einen Topf wirft, gibt den falschen Rat.
Eigener robots.txt-Parser mit der Regel „längster Treffer gewinnt“
Genau so werten die Crawler selbst aus. Eine naive Prüfung, die die erste passende Zeile nimmt, meldet Freigaben, die nicht gelten — und Sperren, die nicht bestehen.
Sperren, die nicht wirken, werden auch so benannt
Manche Bots halten sich nicht an die robots.txt. Steht dort eine Sperre gegen sie, ist sie wirkungslos. Sie hier als wirksam zu melden wäre eine Falschauskunft — die Oberfläche sagt stattdessen, dass die Zeile dasteht und nichts tut.
Der Befund kommt mit den Zeilen zum Beheben
Wo ein Suchbot gesperrt ist, stehen die Zeilen zum Anhängen an Ihre robots.txt daneben, kopierbar, mit dem Pfad der Datei. Bei Trainingsbots wird nichts vorgeschlagen: Eine Sperre dort kostet keine Sichtbarkeit, und sie ungefragt aufzuheben wäre ein Eingriff in Ihre Entscheidung.
Woran Sie es erkennen
- ✓Geprüft wird, was die robots.txt jeder einzelnen Oberfläche erlaubt — belegt, nicht geschätzt.
- ✓Je Bot steht der Betreiber, der Zweck (Suche oder Training) und ob er sich an die robots.txt hält.
- ✓Die Prüfung liest ausschließlich Ihre robots.txt. Sie kostet nichts und kann beliebig oft laufen.
- ✓„Noch nie geprüft“ steht als eigener Zustand da. Das heißt nicht, dass etwas gesperrt ist — es heißt, dass niemand nachgesehen hat.
- ✓Neben der Regel wird ausgewertet, welche Bots Ihre Seiten tatsächlich besucht haben.
Wo er aufhört
- ×Eine Freigabe in der robots.txt garantiert keine Zitierung. Sie ist die Voraussetzung, nicht das Ergebnis.
- ×Eine Firewall, ein Bot-Schutz oder eine Zugangssperre kann den Abruf verhindern, obwohl die robots.txt ihn erlaubt.
- ×Die Prüfung ändert Ihre robots.txt nicht. Sie nennt die Zeilen; einfügen tun Sie oder Ihre Agentur.
- ×Bots, die sich nicht an die Datei halten, lassen sich damit nicht aussperren — dafür braucht es die Serverebene.
Häufige Fragen
Soll ich GPTBot sperren oder erlauben?
Das ist Ihre Entscheidung, und sie kostet keine Sichtbarkeit. GPTBot crawlt für das Training von Modellen, nicht für die Suchantworten. Wer nicht möchte, dass seine Texte in ein Modell einfließen, sperrt ihn — und bleibt in ChatGPT-Suchantworten sichtbar, solange OAI-SearchBot erlaubt ist. Die beiden Regeln sind unabhängig.
Warum ist meine Seite in ChatGPT nicht sichtbar, obwohl die robots.txt alles erlaubt?
Weil die robots.txt nur die eine von mehreren Hürden ist. Häufige weitere Ursachen: ein Bot-Schutz oder eine Firewall blockt den Abruf, die Seite liefert ihren Text erst per JavaScript nach, oder der Inhalt taugt nicht als Quelle, weil er nichts sagt, was nur Sie sagen können. Der Zugang wird geprüft, die Zitierung getrennt davon gemessen.
Wie oft sollte der Zugang geprüft werden?
Laufend. Eine robots.txt ändert sich, wenn jemand ein Plugin aktualisiert, ein Bot-Schutz dazukommt oder ein Dienstleister eine Zeile ergänzt. Genau deshalb ist die Prüfung kostenlos und wiederholbar — ein einmaliger Befund veraltet mit der ersten Änderung.