Le fichier robots.txt sert à informer les automates (bots) des opérations qu’ils ne doivent pas effectuer sur la page Internet. Ce fichier regroupe les informations sur les données qui ne peuvent pas être indexées par les moteurs de recherche.
Robots.txt est disponible dans le Panneau d’administration dans la section Référencement/robots.txt.
Dans cet onglet, vous pouvez décider quelle partie de la page doit être indexée et à l’inverse. Vous pouvez définir, par exemple, que toute la page doit être indexée ou toute la page ne doit pas être indexée ou qu’un fichier donné seulement ne doit pas être indexé.
Pour enregistrer les modifications apportées, cliquez sur la disquette.