Vous souhaitez analyser le robots.txt de votre site ?
Nous détaillons ci-dessous les questions à se poser et les corrections à apporter au besoin.
Si vous ne savez pas encore très bien à quoi sert ce fichier et comment l'implémenter, veuillez vous référez à cet article.
Votre site ne dispose pas de robots.txt
Il est tout à fait possible que votre site n'en ait pas. Pour vérifier, il suffit de chercher sur votre navigateur en ajoutant à la fin de votre URL de domaine "/robots.txt". Vérifiez également les sous-domaines.
Si vous n'avez pas de robots.txt :
en avez-vous besoin ? vérifiez que vous n'avez pas de pages à faible valeur ajoutée qui le requièrent. Exemple : panier d'achat, pages de search de votre moteur de recherche interne, etc
si vous en avez besoin, créez le fichier en respectant les directives plus haut
Votre site dispose d'un robots.txt
Ouvrez le fichier et vérifiez tout simplement les pages bloquées :
Si des pages sont bloquées alors qu'elles ne devraient pas l'être : il faut les retirer
S'il manque des pages qui doivent être bloquées : les ajouter.
Si les pages bloquées sont exactement celles qu'il faut : c'est très bien il n'y a rien à faire
Vous savez à présent tout sur l'analyse du robots.txt !
Découvrez les articles similaires :
Le rapport de couverture Google Search Console :