Nonostante le istruzioni sembrino semplici dopo aver provato a modificare il fiel robot.txt ho notato diversi errori nella Google Webmaster console.

Le istruzioni per l’inserimento dicono di aggiungere la seguente riga all’interno del file robots.txt
Sitemap: http://miosito.it/sitemap.xml

Ho modificato il file seguendo le istruzioni

Sitemap: http://www.miosito.it/sitemap.xml
User-agent: *
Disallow:

Tutto sembravo ok fino a quando non ho fatto una verifica tramite il Google Webmaster tools ed ho notato degli errori nell’analisi del file robots.txt.

A questo punto ho modificato il mio file robots.txt in diversi modi ed ho verificato, il giorno successivo, se c’erano o no altri errori. Dopo diverse prove e diverse modifiche la versione funzionante senza problemi è stata la seguente:

Sitemap: http://www.miosito.it/sitemap.xml

User-agent: *
Disallow:

Il cambiamento importante è la riga vuota dopo il Sitemaps link.
La lezione importante da imparare è quella di fare molta attenzione alle modifiche al file robots.txt, poiché influenza in maniera importante il modo in cui i motori di ricerca vi indicizzano ed inoltre ricordate che il Google Webmaster tools è un utilissimo tools per verificare che tale file sia scritto in modo corretto.