Archivio tag: robots.txt

Sitemaps, patto tra i motori di ricerca

giovedì 12 aprile 2007 - 13:29

di Giacomo Dotta

L’annuncio arriva dai quattro principali motori di ricerca, i quali hanno convenuto un sistema più semplice e rapido per gli utenti per segnalare i Sitemap dei propri siti web. D’ora in poi, infatti, non sarà  più necessario segnalare manualmente il proprio file ai singoli motori, ma sarà  sufficiente segnalarne il percorso sul file robots.txt. La sintassi da usare sarà  la seguente:

Sitemap: http://www.example.com/sitemap.xml

Per maggiori informazioni sul Sitemap è disponibile l’apposito sito ufficiale. Le modalità  di segnalazione manuale rimarranno disponibili, ma saranno ormai surclassate dalla procedura automatizzata (la quale non garantisce comunque l’inclusione negli indici dei diversi motori). …

Continua a leggere Sitemaps, patto tra i motori di ricerca

Tags:, , , , ,

Categoria: robots.txt | Permalink | Commenta

Come Googlebot interpreta il robots.txt

lunedì 27 febbraio 2006 - 12:18

di Simone Carletti

Se si dovesse stilare una classifica delle domande più ricorrenti nel forum di HTML.it, l’argomento robots.txt avrebbe una posizione nella top20 almeno per quanto riguarda la sezione Motori di Ricerca e Web Marketing.

Tralasciando lo step di introduzione al robots.txt ed alle sue funzioni (per approfondimenti rimando all’articolo di Francesco Caccavella), vorrei saltare direttamente a valutare alcuni aspetti di come Googlebot, lo spider di Google, interpreta le direttive presenti nel file.

Recentemente il team di sviluppo di Google Sitemaps, nella figura di Vanessa Fox, ha pubblicato un documento estremamente completo per descrivere cosa sia questo mistico …

Continua a leggere Come Googlebot interpreta il robots.txt

Tags:, ,

Categoria: robots.txt | Permalink | Commenta