Sommaire

RobotsTxt

Le fichier Robots.txt permet d’informer les moteurs de recherche et autres "spiders" de ce qui peut être parcouru et archivé et de ce qui ne doit pas l’être.

Le fichier ...