La première chose que l’araignée est censée faire quand elle visite votre site est de chercher un fichier appelé « robots.txt ».
Ce fichier contient des instructions pour les araignées sur les parties du site Web qui doivent être indexées, et ce qui doit être ignoré.
La seule façon de contrôler ce qu’une araignée voit sur votre site est d’utiliser un fichier robots.txt.
Les chapitres 4 et 9 fournissent des informations sur la façon de contrôler les araignées, et pour quoi vous voudriez le faire.
Toutes les araignées sont censées suivre certaines règles, et les moteurs de recherche suivent ces règles, pour la plupart.
Les principaux moteurs de recherche ont fini par collaborer ensemble sur des normes.
Une de ces normes est le protocole “XML Site Maps”, dont je discute dans le Chapitre 9.
Lisez les autres étapes de ce chapitre:
- Pourquoi ce livre SEO est-il important pour vous?
- Comment fonctionnent les moteurs de recherches?
- Que fait une Araignée (un spider ou un bot) sur votre site web?
- Comment les moteurs de recherche vous trouvent-ils?
- Qu’est-ce qui est indexé par un moteur de recherche?
- Combien de pages sont classées?
- Quelle est l'importance de l'évaluation utilisateur?
- En résumé – qu’avons-nous appris?