Protocole d'exclusion des robots

Le protocole d'exclusion des robots, souvent nommé robots.txt, est une ressource de format texte qui peut être placée à la racine d'un site web, et qui contient une liste des ressources du site qui sont censées ou non être indexées par les robots d'indexation …