Come sapete Ask, Google, Microsoft and Yahoo! hanno annunciato di implementato la ricerca automatica di file di sitempas tramite file robot.txt, eliminando la necessità di fare l’inserimento manuale del file xml per ciascun motore di ricerca separatamente.

Nonostante le istruzioni sembrino semplici dopo aver provato a modificare il fiel robot.txt ho notato diversi errori nella Google Webmaster console.

Le istruzioni per l’inserimento dicono di aggiungere la seguente riga all’interno del file robots.txt
Sitemap: http://miosito.it/sitemap.xml

Ho modificato il file seguendo le istruzioni

Sitemap: http://www.miosito.it/sitemap.xml
User-agent: *
Disallow:

Tutto sembravo ok fino a quando non ho fatto una verifica tramite il Google Webmaster tools ed ho notato degli errori nell’analisi del file robots.txt.

A questo punto ho modificato il mio file robots.txt in diversi modi ed ho verificato, il giorno successivo, se c’erano o no altri errori. Dopo diverse prove e diverse modifiche la versione funzionante senza problemi è stata la seguente:

Sitemap: http://www.miosito.it/sitemap.xml

User-agent: *
Disallow:

Il cambiamento importante è la riga vuota dopo il Sitemaps link.
La lezione importante da imparare è quella di fare molta attenzione alle modifiche al file robots.txt, poiché influenza in maniera importante il modo in cui i motori di ricerca vi indicizzano ed inoltre ricordate che il Google Webmaster tools è un utilissimo tools per verificare che tale file sia scritto in modo corretto.