Les robots

Les robots, encore appelés crawlers ou spiders, sont des logiciels qui parcourent en continu le Web, visitent les pages et en suivent tous les liens. Les résultats de ces visites viennent alimenter les bases de données de pages et de mots-clés des moteurs.

Si tous les outils de recherche fonctionnent sur le même principe, plusieurs d’entre eux utilisent les mêmes technologies, fournies essentiellement par Google et Microsoft (via Bing).

Plus d’informations sur les robots ici : http://www.robotstxt.org/

Plus d’informations sur le fonctionnement des moteurs de recherche et des robots ici : http://www.dictionnaireduweb.com/robot-dindexation-crawler-bot-et-spider/. Et ici également avec cette vidéo de Max Cutts (Google : https://www.youtube.com/watch?v=BNHR6IQJGZs)

images/3_1.png

Les bases de données des moteurs sont mises à jour très régulièrement.

Vous pouvez connaître la date de passage des robots sur votre site en utilisant des ressources en ligne.

Vous pouvez par exemple vous rendre sur http://www.spywords.com

couv_OW5GREFW.png

Découvrez 

le livre :

Aussi inclus dans nos :

Précédent
Introduction
Suivant
Mise à jour des algorithmes