I crawler di ChatGPT e Perplexity possono leggere la tua pagina?
Se un robots.txt o un firewall esclude il crawler di OpenAI, il contenuto non conta più. Questi blocchi sono di solito involontari e non noti a nessuno in azienda.
Che cosa fa questo ambito
Ricerca e addestramento tenuti distinti
Per entrambi valgono regole indipendenti, e le conseguenze sono opposte. Bloccare GPTBot impedisce la scansione per l'addestramento — non costa visibilità. Bloccare OAI-SearchBot esclude i tuoi contenuti dalle risposte di ricerca di ChatGPT. Una verifica che mette insieme le due cose dà il consiglio sbagliato.
Un parser robots.txt proprio con la regola «vince il match più lungo»
È esattamente così che valutano i crawler stessi. Una verifica ingenua che prende la prima riga corrispondente segnala permessi che non valgono — e blocchi che non esistono.
I blocchi che non funzionano vengono chiamati così
Alcuni bot non rispettano il robots.txt. Se là c'è un blocco contro di loro, è inefficace. Segnalarlo come efficace sarebbe un'informazione falsa — l'interfaccia dice invece che la riga c'è e non fa nulla.
Il riscontro arriva con le righe per correggere
Dove un bot di ricerca è bloccato, accanto stanno le righe da aggiungere al tuo robots.txt, copiabili, con il percorso del file. Per i bot di addestramento non viene proposto nulla: un blocco là non costa visibilità, e rimuoverlo senza chiedere sarebbe un'intromissione nella tua decisione.
Come lo riconosci
- ✓Ciò che viene verificato è quanto il tuo robots.txt consente a ogni singola superficie — documentato, non stimato.
- ✓Per ogni bot sono indicati il gestore, la finalità (ricerca o addestramento) e se rispetta il robots.txt.
- ✓La verifica legge solo il tuo robots.txt. Non costa nulla e può girare quanto vuoi.
- ✓«Mai verificato» compare come stato a sé. Non significa che qualcosa sia bloccato — significa che nessuno ha guardato.
- ✓Oltre alla regola viene valutato quali bot hanno realmente visitato le tue pagine.
Dove si ferma
- ×Un permesso nel robots.txt non garantisce alcuna citazione. È il presupposto, non il risultato.
- ×Un firewall, una protezione anti-bot o un blocco di accesso può impedire il recupero anche se il robots.txt lo consente.
- ×La verifica non modifica il tuo robots.txt. Indica le righe; inserirle sta a te o alla tua agenzia.
- ×I bot che ignorano il file non si escludono così — serve il livello server.
Domande frequenti
Devo bloccare o consentire GPTBot?
È una tua decisione, e non costa visibilità. GPTBot scansiona per l'addestramento dei modelli, non per le risposte di ricerca. Chi non vuole che i suoi testi finiscano in un modello lo blocca — e resta visibile nelle risposte di ricerca di ChatGPT finché OAI-SearchBot è consentito. Le due regole sono indipendenti.
Perché la mia pagina non è visibile in ChatGPT sebbene il robots.txt consenta tutto?
Perché il robots.txt è solo uno di più ostacoli. Altre cause frequenti: una protezione anti-bot o un firewall blocca il recupero, la pagina consegna il testo solo via JavaScript, oppure il contenuto non funziona come fonte perché non dice nulla che solo tu potresti dire. L'accesso viene verificato, la citazione misurata separatamente.
Ogni quanto va verificato l'accesso?
In continuo. Un robots.txt cambia quando qualcuno aggiorna un plugin, si aggiunge una protezione anti-bot o un fornitore inserisce una riga. Proprio per questo la verifica è gratuita e ripetibile — un riscontro una volta sola invecchia con la prima modifica.