Robots.txt & SiteMaps

La première chose que l’araignée est censée faire quand elle visite votre site est de chercher un fichier appelé “robots.txt”.

Ce fichier contient des instructions pour les araignées sur les parties du site Web qui doivent être indexées, et ce qui doit être ignoré.

La seule façon de contrôler ce qu’une araignée voit sur votre site est d’utiliser un fichier robots.txt.

Les chapitres 4 et 9 fournissent des informations sur la façon de contrôler les araignées, et pour quoi vous voudriez le faire.

Toutes les araignées sont censées suivre certaines règles, et les moteurs de recherche suivent ces règles, pour la plupart.

Les principaux moteurs de recherche ont fini par collaborer ensemble sur des normes.

Une de ces normes est le protocole “XML Site Maps”, dont je discute dans le Chapitre 9.