È un file di testo memorizzato nella directory di primo livello di un sito al fine di impedire che i robot (spider dei motori di ricerca) accedano a certe pagine o sub-directories del sito.
Solo i robot conformi alle regole del “Robots Exclusion Standard” leggeranno e seguiranno i comandi contenuti nel file. I robot leggeranno il file ad ogni visita, in questo modo le pagine, o intere aree di un sito, possono essere rese pubbliche o private in ogni momento semplicemente cambiando il contenuto del file robot.txt prima di sottometterle nuovamente all’attenzione dei motori di ricerca.
Es. Per evitare che i robot visitino la directory /motori:
User-agent: *
Disallow: /motori
Robot.txtultima modifica: 2016-01-07T01:02:56+01:00 da
« Back to Glossary Index