Comment fonctionne robots.txt ?
Robots.txt est un petit fichier texte qui donne des instructions aux "robots" qui parcourent le web pour l'indexation. Les bots sont des araignées qui parcourent les sites web. Les moteurs de recherche ont tous leurs propres bots.
Google a toute une armée d'araignées qui parcourent toutes certaines parties, comme les images, AdSense, les publicités, etc. Avec robots.txt, vous pouvez communiquer avec tous les robots qui visitent votre site web, y compris ceux de Google.
Par exemple : un bot visite notre site web https://groupement-synergetic.com. Avant de parcourir le site, il consulte le fichier robots.txt https://groupement-synergetic.com/robots.txt. Chaque site web ne peut avoir qu'un seul robots.txt, qui doit également porter ce nom et se trouver sur le domaine racine. Si des sous-domaines sont concernés, créez un fichier robots.txt distinct pour chaque sous-domaine. Vous en aurez alors un par exemple https://groupement-synergetic.com et un pour le sous-domaine groupement-synergetic.com.
fichier robots.txt
Un fichier robots.txt est-il obligatoire ?
Non, l'ajout d'un fichier robots.txt n'est pas obligatoire, mais il est très important et conseillé pour le référencement. Un fichier robots.txt indique aux moteurs de recherche les pages qu'ils peuvent et ne peuvent pas explorer. Toutefois, il ne s'agit que d'une recommandation du webmaster. Les moteurs de recherche peuvent choisir de ne pas suivre ce conseil.
Quels sont les avantages de robots.txt ?
Robots.txt a trois fonctions :
Vous donnez aux moteurs de recherche l'accès à certaines parties de votre site web et pouvez également l'utiliser pour exclure des pages.
Vous évitez les problèmes de duplication de contenu
Vous assurez un crawl plus efficace de votre site web, car les moteurs de recherche n'ont qu'un temps de crawl limité.
Quel agent utilisateur dois-je ajouter ?
Un fichier robots.txt commence par "User-agent". Cela indique quels sont les robots qui peuvent explorer votre site. Il existe plusieurs robots qui s'identifient tous comme un utilisateur-agent particulier. Par exemple, un robot Google s'identifie avec "Google bot" et un robot Yahoo avec "Slurp". Si chaque bot a les mêmes droits de crawl, indiquez-le avec un *, également appelé "joker".
Donc : utilisateur-agent : * signifie : tous les robots peuvent explorer toutes les pages de mon site web. Si vous avez des directives différentes pour différents robots, mettez le nom du bot avec l'agent utilisateur. Les directives qui suivent ne s'appliqueront qu'à ce robot, jusqu'à ce que le prochain "User-agent" apparaisse. Par exemple : Agent utilisateur : Googlebot
