Analizzare i log del proprio sito web può rivelare sorprese inaspettate. Spesso, si notano centinaia di visite attribuite a "Googlebot", e la prima reazione è di sollievo: il crawler di Google sta indicizzando le pagine. Ma è davvero così? La realtà è che molti di questi accessi provengono da un falso Googlebot, poiché l'identità di chi si connette a un server è più facile da falsificare di quanto si pensi.

Perché i log registrano così tanti falsi Googlebot?

Molti bot si spacciano per Googlebot per una ragione semplice: gode di un trattamento privilegiato su quasi tutti i server. Gli amministratori di sistema, per non compromettere l'indicizzazione, evitano di bloccarlo. Questa situazione crea un'opportunità per software di terze parti. Infatti un bot malevolo o uno scraper ottiene enormi vantaggi semplicemente fingendosi il crawler ufficiale di Google, tra cui:

• Evitare i blocchi: numerosi sistemi di sicurezza e firewall sono configurati per lasciar passare senza filtri il traffico di Googlebot.
• Superare i limiti di richiesta: a Googlebot vengono spesso concessi limiti di frequenza (rate limiting) molto più ampi, che gli consentono di scansionare più pagine in meno tempo.
• Aggirare i CAPTCHA: un finto Googlebot può bypassare i controlli anti-automazione, accedendo a contenuti altrimenti protetti.

Un falso log da un Googlebot, trucco a costo zero, è particolarmente utile per chi fa scraping di prezzi, contenuti o dati sensibili, aprendo porte che dovrebbero rimanere chiuse.

Per approfondire l'argomento e capire quali altri tattiche usano gli hacker per accedere al tuo sito, leggi anche il nostro articolo sul tema.

User-agent: l'identità che chiunque può falsificare

Il problema nasce dal funzionamento dello user agent. Infatti si tratta di una semplice stringa di testo che un client, come un browser o un bot, invia al server per identificarsi. Il protocollo HTTP, tuttavia, non include alcun meccanismo per verificare che questa dichiarazione sia vera.

Un client può quindi presentarsi con una stringa apparentemente legittima: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Vederla nei log fa pensare subito al crawler ufficiale, ma non stabilisce alcun legame crittografico o verificabile tra l'indirizzo IP della richiesta e l'infrastruttura reale di Google. In pratica, il falso log di un Googlebot è come se un estraneo si presentasse a una festa dichiarando un nome falso, senza che nessuno gli chieda un documento di identità.

Come verificare se un log di un Googlebot è falso?

Fortunatamente, esistono metodi affidabili per smascherare gli impostori, raccomandati da Google stessa.

Controllo degli intervalli IP di google

Il primo metodo è molto diretto. Google pubblica e aggiorna un elenco dei suoi intervalli IP ufficiali in un file JSON. È sufficiente programmare uno script per scaricare questo file e confrontare l'IP registrato nei log con le reti autorizzate (sia IPv4 che IPv6). Se l'indirizzo IP del visitatore non rientra in questi intervalli, si ha la certezza matematica che sia un falso log di un Googlebot.

La doppia verifica DNS

Questo secondo metodo è ancora più rigoroso e si basa su una sequenza di controlli DNS, considerata la prova definitiva.

1. Ricerca DNS inversa (PTR): si esegue una ricerca sul record PTR dell'IP di origine. Se è un vero crawler di Google, il nome host risultante deve terminare con googlebot.com o google.com.
2. Ricerca DNS diretta (A/AAAA): a questo punto, si esegue la verifica opposta. Si risolve il nome host ottenuto nel passaggio precedente e si controlla che l'indirizzo IP di partenza sia presente nella lista di IP restituiti.

Se entrambi i passaggi hanno successo, puoi essere assolutamente certo che la visita provenga da un crawler legittimo di Google.

Per approfondire l'argomento, prova anche a leggere questo nostro articolo: "Come rilevare e bloccare l'attività dei bot".

Cosa si scopre dopo una verifica di un falso Googlebot log?

Applicando questi controlli, il quadro del traffico sul proprio sito cambia radicalmente. Quella che sembrava un'intensa attività di indicizzazione si rivela spesso per quello che è: un'orda di bot sconosciuti. Un picco di traffico che credevi positivo potrebbe nascondere uno scraper aggressivo che sta rubando i tuoi contenuti tramite un falso log di un Googlebot.

In più un consumo di banda anomalo potrebbe essere causato da sistemi che mappano il sito alla ricerca di vulnerabilità. Analizzare i log con questi strumenti permette di distinguere il traffico prezioso da quello dannoso, proteggendo le tue risorse in modo efficace. La prossima volta che vedrai un'attività sospetta da "Googlebot", saprai esattamente come smascherare l'impostore.

L'articolo Falso Googlebot nei log: come riconoscere i crawler e proteggerti proviene da sicurezza.net.