Google Boat

Vous pouvez placer un fichier texte à la racine du site pour indiquer aux robots d’indexation quels dossiers ou fichiers ils ne doivent pas indexer.

Dans ce fichier il est possible de donner des instructions aux robots d’un moteur de recherche en particulier ou fixer des règles générales pour l’ensemble des Spider afin qu’ils n’explorent pas certains dossiers, voir certaines pages ou même l’ensemble du site.

Par exemple, on peut demander aux robots de ne pas indexer le dossier dans lequel sont placés certaines applications et certains fichiers système. Ces dossiers ou fichiers ne servant en rien à l’amélioration du positionnement de votre site.


En effet vos clients potentiels ne cherchent en principe pas à trouver les fichiers qui génèrent des formulaires ou des formules JavaScript sur votre site Internet. Ce qui les intéresse c’est le contenu de votre site, c’est-à-dire sa partie visible, le texte et les images.

En gros, votre cible est censée s’intéresser aux produits ou services que vous proposez et pas à la partie technique de votre site... Il est donc important d’établir clairement la liste des dossiers à exclure de l’indexation des robots afin qu’ils ne soient pas référencés sur le Web.

Le fichier robots.txt est le fichier standard compris par les plus importants moteurs de recherche.

Son extension.txt fait que vous pouvez le rédiger avec un bloc-notes Windows.

Il faut que le fichier soit propre et donc vous devez éviter d’utiliser Microsoft Word qui produit des textes remplis de balises que les moteurs de recherche auront bien du mal à interpréter.

Il faut mettre ce fichier à la racine de votre site, c’est-à-dire sur le serveur, à la base de l’arborescence de vos dossiers.

Vous pourrez ensuite faire s’afficher ce fichier en tapant le nom de votre domaine suivi d’un/et le nom du fichier dans un but de vérification; cela peut être utile (votresite.ch/robots.txt).

Les moteurs de recherche suivront la même procédure et contrôleront avant d’indexer votre site si ce fichier existe ou pas et quelles en sont les instructions.

Google développeurs vous donne des informations détaillées sur la manière dont vous pouvez procéder afin de contrôler l'exploration et l'indexation des sites Web accessibles au public :
En savoir Plus : Caractéristiques du fichier robots.txt

À propos

Web Expert est une entreprise indépendante de consulting, spécialisée dans la réalisation de projets de communication sur Internet.