Lorsque votre site web est en phase de développement ou lorsque vous souhaitez que votre site reste privé, n’apparaisse pas dans les résultats des moteurs de recherche, une solution très simple et rapide à mettre en place existe.

Il suffit de placer à la racine de votre site, un fichier « robots.txt » contenant quelques directives à l’attention des robots que ceux-ci explorent votre site en quête de pages à référencer ou dans le cas de robots malicieux, en quête de fichiers spécifiques.

Ce petit fichier permet donc de contrôler l’indexation du contenu de nos site web par les moteurs de recherches.

Voici un tableaux avec quelques directives et leur utilité:

Le chemin des répertoires ou fichiers concernés peuvent ne pas être totalement définis afin de masquer le nom de ceux-ci.

Les noms des robots sont disponibles sur robotstxt.org

Pour aller plus loin, n’oubliez pas de limiter l’accès à vos données sensibles en verrouillant leur accès via un fichier .htaccess et une protection par mot de passe sur ces répertoires.

Ces directives n’ont pas nécessairement besoin d’apparaître dans un fichier robots.txt pour être appliquées. Il faut donc être très prudent dans leur utilisation.