logo Google
Cet article a pour objectif de vous expliquer ce qu’est un fichier robots.txt et l’utilisation que l’on peut en faire.
A quoi sert un fichier robots.txt ?
Le fichier robots.txt est un fichier qui doit indiquer, aux User-Agents (robots des moteurs de recherche qui passe sur votre site), quels sont les fichiers qui doivent être vus ou ignorés par les moteurs. Il sert souvent lorsque vous changez l’adresse de votre site web ou lorsque vous désirez éviter le duplicate content (Pages avec des contenus très proches ou similaires)
Comment créer un fichier robots.txt ?
Il suffit simplement de créer un fichier texte dans votre bloc-notes et d’enregistrer ce dernier à la racine de votre site.
Ensuite, plusieurs commandes sont disponibles :
- User-Agent: Il faut indiquer ici le nom du robot qui sera concerné par les instructions suivantes. Pour que cela concerne tous les robots il faut indiquer *
- Allow : Il faut indiquer ici les pages que l’on souhaite référencer. On ne met que très rarement ce type d’instruction car par défaut, toutes les pages ont le statut Allow.
- Disallow : Cela concerne les pages que l’on veut exclure.
Vous trouverez une liste complète des User-Agents ici.
Exemples
En conclusion, créer un fichier robots.txt est très simple. On peut utiliser les commandes Allow ou Disallow sur un fichier seul, sur un répertoire où même sur un site au complet.
Dans l’exemple ci-dessous, je vais demander à tout les moteurs d’ignorer la page contact de dawa qui a l’url http://blog.dawa.fr/contact/
User-Agent: *
Disallow: /contact/
Quelques points à vérifier
- Il faut être sur que le fichier robots.txt soit à la racine du site
- Il ne doit contenir aucune ligne vide
Si vous avez des questions n’hésitez pas à lâcher un commentaire 
User-Agent: nomDuRobot
