Avant de raisonner positionnement dans les moteurs de recherche, il faut tenir compte des conditions d’indexation. Même si ces conditions ne sont pas forcément obligatoires, elles seront un frein à tout travail d’optimisation du positionnement si elles ne sont pas remplies.
Lorsque qu’un « robot indexeur » vient visiter le site web, avant de lire la première page, il va ouvrir le fichier nommé robots.txt (placé à la racine du site web) et suivre les instructions qu’il contient.
L’absence de ce fichier ne constitue pas un frein à l’indexation mais sa présence permet de guider le robot dans les répertoires intéressants et d’exclure de l’indexation ceux qui n’ont pas d’intérêt ou que l’on ne souhaite pas voir indexés.
Il s’agit d’un fichier texte qui contient les directives que le robot doit suivre. Par exemple :
User-agent : * # s’adresse à tous les robots Disallow : /admin/ # exclure le répertoire admin de l’indexation Disallow : /temp/ # exclure le répertoire temp de l’indexation Disallow: /presentations/*.ppt # exclure les fichiers .ppt Sitemap : http://www.votresite.com/sitemaps.xml
C’est également dans ce fichier robots.txt que l’on déclare le chemin d’accès au fichier sitemap.xml.
Il est possible ...
Abonnement
tous les livres et vidéos ENI en illimité sans engagement
du livre imprimé ou du livre numérique