Come verificare gratis se ChatGPT e gli altri motori AI riescono a leggere il tuo sito

Franco Santoro ·

Per sapere se i motori AI leggono il tuo sito servono cinque controlli gratuiti: il sito deve rispondere ai loro bot, il file robots.txt non deve bloccarli, il testo deve stare nell'HTML e non arrivare solo con JavaScript, i dati strutturati devono dire che attività sei, e Google e Bing devono conoscere le tue pagine. Chiedere a ChatGPT «leggi il mio sito» non basta, e più sotto spiego perché. Ci vogliono una ventina di minuti.

Una precisazione prima di partire: questi controlli dicono se i motori possono leggere il sito, e basta. Se poi ti citeranno è un'altra storia. Ma se non riescono a leggerti, quella storia non comincia nemmeno.

In sintesi: i cinque controlli

Controllo Come si fa Se va male
Il sito risponde ai bot AI Una richiesta con il nome del bot (sotto trovi il comando) Il bot riceve un errore e non legge niente
robots.txt non li blocca Apri tuosito.it/robots.txt Il bot rispetta il divieto e se ne va
Il testo è nell'HTML "Visualizza sorgente pagina" nel browser Il bot vede una pagina vuota
Dati strutturati Test dei risultati avanzati di Google Il motore legge testo ma non capisce che attività sei
Google e Bing ti conoscono Search Console e Bing Webmaster Tools Le risposte che si basano sulla ricerca web non ti trovano

Il sito risponde davvero ai bot AI?

Nelle guide che si trovano in giro non c'è quasi mai, ed è quello che mi ha sorpreso di più.

Quest'estate ho analizzato il sito di una struttura ricettiva. Il robots.txt era in ordine, non bloccava nessuno. Eppure il firewall dell'hosting rispondeva «accesso negato» (errore 403) a GPTBot e ClaudeBot, i bot con cui OpenAI e Anthropic raccolgono i testi per addestrare i modelli. Passavano invece OAI-SearchBot e PerplexityBot, quelli che servono alle risposte con ricerca web. Nessuno l'aveva scritto nel robots.txt: il blocco stava un livello più sotto.

Guardando solo il robots.txt, quel blocco non lo vedi. Devi presentarti al sito con il nome del bot e vedere cosa risponde. Su Mac apri il Terminale, su Windows il Prompt dei comandi, e scrivi:

curl -I -A "GPTBot" https://www.tuosito.it/

Se nella prima riga leggi 200, il sito risponde. Se leggi 403 o 503, c'è qualcosa che blocca quel bot. Ripeti con ClaudeBot, OAI-SearchBot e PerplexityBot al posto di GPTBot. Se il terminale non fa per te, chiedi al tuo webmaster: sono cinque minuti.

Terminale con il comando curl -I -A GPTBot su geo.francosantoro.it e la risposta HTTP/2 200La prova fatta sul nostro sito: alla richiesta con il nome di GPTBot risponde 200.

Il robots.txt blocca i bot AI?

Scrivi nel browser tuosito.it/robots.txt. Se la pagina non esiste, nessun bot è bloccato. Se esiste, cerca il nome di uno di questi bot seguito da Disallow: /: vuol dire che gli stai chiedendo di non entrare.

Il file robots.txt di geo.francosantoro.it con il blocco dedicato a GPTBot evidenziatoIl robots.txt del nostro sito: GPTBot può entrare ovunque (Allow), tranne nella cartella tecnica /api/.

I bot da conoscere non sono tutti uguali. Alcuni leggono per addestrare i modelli, altri per rispondere quando qualcuno fa una ricerca:

Azienda Bot per l'addestramento Bot per le risposte con ricerca
OpenAI (ChatGPT) GPTBot OAI-SearchBot
Anthropic (Claude) ClaudeBot Claude-SearchBot
Perplexity PerplexityBot

Se vuoi comparire nelle risposte, i bot di ricerca non vanno bloccati mai. Sui bot di addestramento puoi scegliere: bloccarli vuol dire chiedere che i tuoi testi non finiscano nei modelli futuri.

Occhio a Google-Extended. Molte guide lo mettono in questo elenco, ma non è un bot: è un'etichetta che dice a Google se può usare i tuoi contenuti per addestrare Gemini. Google scrive in chiaro che non cambia la tua presenza nella ricerca. Le AI Overviews leggono il sito con il normale Googlebot.

Il testo è nell'HTML o arriva con JavaScript?

Molti bot AI leggono l'HTML così come arriva dal server, senza eseguire JavaScript. Se il testo della pagina viene caricato dopo, loro vedono una pagina quasi vuota.

Il controllo è semplice. Apri una pagina importante, clicca con il tasto destro e scegli "Visualizza sorgente pagina" (non "Ispeziona", che mostra la pagina già elaborata). Premi Ctrl+F, o Cmd+F su Mac, e cerca una frase che vedi a schermo, per esempio il nome di un servizio. Se la trovi, il testo è leggibile. Se non la trovi, il sito dipende da JavaScript e va sistemato.

Sorgente della home di geo.francosantoro.it con la frase del titolo trovata ed evidenziataNel sorgente della nostra home la frase del titolo c'è: il testo arriva già nell'HTML.

Fallo sulla home, su una pagina servizio o prodotto e sulla pagina contatti. Capita che la home sia a posto e le schede prodotto no.

I motori capiscono che attività sei?

Leggere il testo non basta. I dati strutturati (il codice che gli addetti ai lavori chiamano JSON-LD o schema) dicono ai motori, in un formato che capiscono senza interpretare, chi sei: un'azienda, un negozio, uno studio professionale, dove lavori, cosa vendi.

Vai sul Test dei risultati avanzati di Google, incolla l'indirizzo della home e guarda cosa trova. Se non trova niente, i motori devono indovinare dal testo che attività sei. A volte ci riescono, a volte ti confondono con qualcun altro.

Google e Bing conoscono le tue pagine?

Le risposte che si basano su una ricerca web partono da un indice. Le AI Overviews usano quello di Google, Copilot quello di Bing. Se lì le tue pagine non ci sono, per quelle risposte non esisti.

Registra il sito su Google Search Console e usa "Controllo URL" sulla home e su due o tre pagine importanti: ti dice se la pagina è indicizzata e, se no, perché. Poi fai lo stesso su Bing Webmaster Tools: si può importare il sito direttamente da Search Console. Su Bing spesso nessuno ci ha mai pensato, ed è uno dei lavori più veloci da sistemare.

Basta chiedere a ChatGPT di leggere il mio sito?

No, anche se è il test che consigliano quasi tutte le guide.

Quando chiedi a ChatGPT «leggi questa pagina», la visita la fa ChatGPT-User, il bot che agisce su richiesta di una persona. OpenAI spiega che per questo bot le regole del robots.txt potrebbero non valere, proprio perché l'azione parte da un utente. Quindi ChatGPT può riuscire a leggerti quando glielo chiedi tu e non trovarti quando un tuo potenziale cliente fa una domanda generica sul tuo settore. Sono due strade diverse.

Il test ha senso solo in negativo: se ChatGPT non riesce ad aprire nemmeno la pagina che gli dai, c'è un problema serio.

Il sito è leggibile. E adesso?

Adesso sai che i motori possono leggerti. Per sapere se ti citano serve un'altra prova: fare le domande che farebbe un tuo cliente, senza il nome della tua azienda. Per esempio «chi fa manutenzione di caldaie a Cesena?» e non «cosa sai di Rossi Impianti?». Ripetile in giorni diversi, perché le risposte cambiano anche a parità di domanda.

Se vuoi saltare la parte tecnica, c'è il controllo gratuito di questo sito. Copre quattro dei controlli di questa guida (risposta a GPTBot, robots.txt, testo nell'HTML, dati strutturati), più la mappa del sito e il file llms.txt, e aggiunge una domanda vera a ChatGPT sulla tua attività. Il risultato ti arriva via email. Sul file llms.txt, per onestà: lo controllo, ma oggi pesa pochissimo, e nessuno dei grandi motori ha confermato di usarlo.

Domande frequenti

Come faccio a sapere se il mio sito blocca GPTBot?

Apri tuosito.it/robots.txt e cerca GPTBot seguito da Disallow: /. Poi fai la prova con il comando curl di questa guida: il blocco può stare anche nel firewall dell'hosting, e il robots.txt non lo mostra.

Bloccare GPTBot mi toglie dalle risposte di ChatGPT?

Non direttamente. GPTBot raccoglie testi per addestrare i modelli. Le risposte con ricerca web di ChatGPT usano OAI-SearchBot. Se blocchi solo GPTBot puoi comunque comparire, ma resti fuori da ciò che i modelli futuri sapranno di te senza cercare.

Serve un tecnico per fare questi controlli?

Per quattro controlli su cinque no: bastano il browser e un account Google. Il comando curl richiede il terminale, ma è una riga da copiare. Se il controllo trova un problema, per sistemarlo di solito serve il tuo webmaster.

Se il sito è leggibile, ChatGPT mi citerà?

Non è detto. Un sito leggibile è solo il punto di partenza: per essere citato servono anche contenuti che rispondano alle domande dei clienti e fonti esterne che parlino di te.

Ogni quanto conviene rifare i controlli?

Dopo ogni cambio di hosting, di tema o di plugin di sicurezza, e comunque un paio di volte l'anno. Un blocco come quello del firewall può comparire con un aggiornamento fatto per tutt'altri motivi.

Vuoi sapere se i motori AI leggono il tuo sito?

Lascia l'indirizzo del sito: ricevi via email sei controlli tecnici e una domanda vera fatta a ChatGPT sulla tua attività. Gratis.

Fai il controllo gratuito