Googlebot dopo BigDaddy
Mercoledì 21 Giugno 2006 - 11:20
di Simone Carletti
Avete presente BigDaddy? No, non è il film andato in onda ieri sera in TV, ma è uno tra gli aggiornamenti più rivoluzionari di Google famoso per aver (più o meno tragicamente) sconvolto le SERP a partire da Febbraio 2006 fino a Maggio.
Ho letto tanti, forse anche troppi post su questo argomento, ma continuo ad apprendere cose nuove ogni giorno. Per esempio, lo sapevate che quasi certamente BigDaddy ha cambiato anche le caratteristiche di Googlebot?
Ma sì, molti se ne erano accorti senza essere riusciti a ricomporre tutti i pezzi del puzzle. Da qualche mese una strana useragent corrispondente a Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ha cominciato a comparire tra i log dei server, sostituendo poco per volta l’ormai consolidata Googlebot/2.1 (+http://www.google.com/bot.html).
I commenti sull’argomento non si sono sprecati, soprattutto sui forum tecnici. C’era chi sosteneva che fossero i dipendenti di Google che navigavano il sito manualmente, chi affermava che fosse la user agent degli addetti ai ban dei siti (dato che questo nuovo Googlebot era particolarmente cattivo nel castigare tecniche borderline) e via dicendo.
Ma chi è in realtà Mozilla Googlebot? Si tratta del nuovo Googlebot post BigDaddy che poco per volta sta rimpiazzando il suo infaticabile collega. A confermarlo anche alcune voci che provengono da post ufficiali (e non) di Google.
Dato certo è che Mozilla Googlebot è molto più intelligente del suo predecessore. È particolarmente diligente nel risparmiare banda (questo lo dice Google) integrando un miglior supporto per la compressione GZIP ma allo stesso tempo ha una velocità di scansione sensibilmente aumentata. Non solo, secondo Jim Trivolette
It can visit you so fast and so often it creates denial of service like attacks that can shut down hosting servers. This little crawler is the beginning of the end for many black hatters.
This Googlebot can read CSS, JavaScript, Div, and it also gets served up a website as if it were a normal person/viewer in effect bypassing bot redirects and cloaked pages.
Per quanto mi riguarda, posso di certo testimoniare su un aspetto: il nuovo Googlebot sembra essere molto ma molto più affamato del precedente.
Categoria: Motori di ricerca | Permalink
Commenti
1
infatti la settimana scorsa l’avevo intravisto anch’io fra i miei log. e siccome la user-agent specifica che si tratta di Googlebot, allora mi son detto che poteva essere il nuovo googlebot creato assieme alla Mozilla Foundation. Niente di nuovo allora, solo un evolversi di accordi e collaborazioni presi in passato.
# - postato da smal - 21 Giugno 2006 - 12:42
2
Il fatto che sul nuovo googlebot ci sia il Mozilla non mi sembra solo una collaborazione tra google e Mozilla. Anche i browser usano la tecnologia Mozilla, e questo a me dice di più… a voi? Da un paio di mesi che controllo minuziosamente gli accessi dagli spider è questo nuovo googlebot ha tanto da dire e non solo sui javascript, css, ecc starò più attento alla gestione dei cookie e alla simulazione della navigazione umana.
# - postato da Johnnie Maneiro - 21 Giugno 2006 - 15:16