Robot.txt

È un file di testo memorizzato nella directory di primo livello di un sito al fine di impedire che i robot (spider dei motori di ricerca) accedano a certe pagine o sub-directories del sito.

Solo i robot conformi alle regole del “Robots Exclusion Standard” leggeranno e seguiranno i comandi contenuti nel file. I robot leggeranno il file ad ogni visita, in questo modo le pagine, o intere aree di un sito, possono essere rese pubbliche o private in ogni momento semplicemente cambiando il contenuto del file robot.txt prima di sottometterle nuovamente all’attenzione dei motori di ricerca.

Es. Per evitare che i robot visitino la directory /motori:

User-agent: *

Disallow: /motori

Robot.txtultima modifica: 2016-01-07T01:02:56+00:00 da Exduco Comunicazione
« Back to Glossary Index