Mi permetto di tradurre un post di Vanessa Fox, pubblicato sul Google Webmaster Central Blog, in merito al meta tag robots e al suo utilizzo.

Usare il meta tag robots

Recentemente, Danny Sullivan ha sollevato alcune buone domande circa l’intepretazione del meta tag robots da parte dei motori di ricerca. Qui alcune risposte su come interpretiamo questo meta tag in Google.

Valori multipli
Raccomandiamo di inserire tutti i valori in un unico meta tag. Questo rende il meta tag più semplice da leggere e riduce le possibilità di conflitto. Per esempio

meta content=”NOINDEX, NOFOLLOW” name=”ROBOTS”

Se la pagina contiene più meta tag dello stesso tipo, Google li aggregherà insieme. Per esempio, interpreteremo

meta content=”NOINDEX” name=”ROBOTS”
meta content=”NOFOLLOW” name=”ROBOTS”

alla stessa maniera di

meta content=”NOINDEX, NOFOLLOW” name=”ROBOTS”

Se i valori entrano in conflitto, noi prenderemo in considerazione il più restrittivo. Quindi, se la pagina ha questi meta tag:

meta content=”NOINDEX” name=”ROBOTS”
meta content=”INDEX” name=”ROBOTS”

Noi considereremo solo in valore NOINDEX.

Valori non necessari
Di default, Googlebot indicizza una pagina e ne segue i link contenuti. Quindi non è necessario che le pagine contengano i valori INDEX o FOLLOW.

Meta tag specifico per Googlebot
Per fornire istruzioni a tutti i motori di ricerca, impostate il nome del meta su “ROBOTS”. Per fornire invece istruzioni solo a Googlebot, impostate il nome del meta su “GOOGLEBOT”. Se volete fornire differenti istruzioni per differenti motori di ricerca (per esempio, se volete che solo un motore di ricerca indicizzi una pagina, mentre gli altri no), la miglior cosa è specificare un meta tag per ogni motore di ricerca piuttosto che utilizzare la combinazione di un meta tag generico più uno specifico. Qui potete trovare una lista dei bot.

Maiuscolo/minuscolo e spazi
Googlebot capisce ogni combinazione di caratteri maiuscoli e minuscoli. Quindi ognuno di questi meta tag verrà interpretato nella stessa maniera:

meta content=”NOODP” name=”ROBOTS”
meta content=”noodp” name=”robots”
meta content=”NoOdp” name=”Robots”Se avete più valori, dovete per forza mettere una virgola tra ognuno di essi, mentre non fa differenza se inserite o meno gli spazi. Quindi i seguenti meta tag saranno interpretati alla stessa maniera:

meta content=”NOINDEX, NOFOLLOW” name=”ROBOTS”
meta content=”NOINDEX,NOFOLLOW” name=”ROBOTS”
Se utilizzate il file robots.txt e il meta tag robots insieme
Se le istruzioni del file robots.txt e del meta tag robots entrano in conflitto, Googlebot prenderà in considerazione la più restrittiva. Più specificatamente:

• se bloccate una pagina con il robots.txt, Googlebot non spiderizzerà mai la pagina e non leggerà mai i meta tag contenuti in essa.
• se permettete, con il file robots.txt, l’indicizzazione della pagina, ma la bloccate con l’uso del meta tag, Googlebot accederà alla pagina, leggerà i meta tag e, successivamente, non la indicizzerà.

Valori validi per il meta tag robots
Googlebot interpreta in questa maniera i seguenti valori del meta tag robots:

• NOINDEX – non indicizza la pagina.
• NOFOLLOW – Googlebot non seguirà nessun link di quella pagina. (Da notare che è diversa dall’attributo NOFOLLOW applicato al tag href, in quanto questo impedisce che Googlebot segua uno specifico link.)
• NOARCHIVE – impedisce che la copia cache sia consultabile dai risultati di ricerca
• NOSNIPPET – impedisce che nei risultati di ricerca compaia una description, così come impedisce la registrazione della copia cache.
• NOODP – impedisce che la description contenuta in ODP appaia nei risultati di ricerca come description.
• NONE – l’equivalente di “NOINDEX, NOFOLLOW”.

Una parola circa il valore “NONE”
Come definito da robotstxt.org, la seguente istruzione significa NOINDEX, NOFOLLOW.

meta content=”NONE” name=”ROBOTS”Tuttavia, alcuni webmaster utilizzano questo tag per indicare una restrizione per i robots e, inavvertitamente, bloccato tutti i motori di ricerca dai loro contenuti.

Chiaramente i meta tag vanno inseriti con < e />, solo che Wordpress mi ha impedito di inserirli e poi visualizzarli correttamente. Spero di aver fatto cosa utile…

Se questo post ti è piaciuto, puoi decidere di ricevere gratuitamente gli aggiornamenti del blog abbonandoti al Feed RSS. Clicca qui.