Nessun risultato. Prova con un altro termine.
Guide
Notizie
Software
Tutorial

Googlebot dopo BigDaddy

BigDaddy ha rivoluzionato molti aspetti di Google, compreso il suo crawler: Googlebot.
BigDaddy ha rivoluzionato molti aspetti di Google, compreso il suo crawler: Googlebot.
Link copiato negli appunti

Avete presente BigDaddy? No, non è il film andato in onda ieri sera in TV, ma è uno tra gli aggiornamenti più rivoluzionari di Google famoso per aver (più o meno tragicamente) sconvolto le SERP a partire da Febbraio 2006 fino a Maggio.

Ho letto tanti, forse anche troppi post su questo argomento, ma continuo ad apprendere cose nuove ogni giorno. Per esempio, lo sapevate che quasi certamente BigDaddy ha cambiato anche le caratteristiche di Googlebot?

Ma sì, molti se ne erano accorti senza essere riusciti a ricomporre tutti i pezzi del puzzle. Da qualche mese una strana useragent corrispondente a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ha cominciato a comparire tra i log dei server, sostituendo poco per volta l'ormai consolidata Googlebot/2.1 (+http://www.google.com/bot.html).

I commenti sull'argomento non si sono sprecati, soprattutto sui forum tecnici. C'era chi sosteneva che fossero i dipendenti di Google che navigavano il sito manualmente, chi affermava che fosse la user agent degli addetti ai ban dei siti (dato che questo nuovo Googlebot era particolarmente cattivo nel castigare tecniche borderline) e via dicendo.

Ma chi è in realtà  Mozilla Googlebot? Si tratta del nuovo Googlebot post BigDaddy che poco per volta sta rimpiazzando il suo infaticabile collega. A confermarlo anche alcune voci che provengono da post ufficiali (e non) di Google.

Dato certo è che Mozilla Googlebot è molto più intelligente del suo predecessore. àˆ particolarmente diligente nel risparmiare banda (questo lo dice Google) integrando un miglior supporto per la compressione GZIP ma allo stesso tempo ha una velocità  di scansione sensibilmente aumentata. Non solo, secondo Jim Trivolette

It can visit you so fast and so often it creates denial of service like attacks that can shut down hosting servers. This little crawler is the beginning of the end for many black hatters.

This Googlebot can read CSS, JavaScript, Div, and it also gets served up a website as if it were a normal person/viewer in effect bypassing bot redirects and cloaked pages.

Per quanto mi riguarda, posso di certo testimoniare su un aspetto: il nuovo Googlebot sembra essere molto ma molto più affamato del precedente.

Ti consigliamo anche