Vous souhaitez analyser le robots.txt de votre site ?
Nous détaillons ci-dessous les questions à se poser et les corrections à apporter au besoin.
Si vous ne savez pas encore très bien à quoi sert ce fichier et comment l'implémenter, veuillez vous référez à cet article.

Votre site ne dispose pas de robots.txt

Il est tout à fait possible que votre site n'en ait pas. Pour vérifier, il suffit de chercher sur votre navigateur en ajoutant à la fin de votre URL de domaine "/robots.txt". Vérifiez également les sous-domaines.

Si vous n'avez pas de robots.txt :

  • en avez-vous besoin ? vérifiez que vous n'avez pas de pages à faible valeur ajoutée qui le requièrent. Exemple : panier d'achat, pages de search de votre moteur de recherche interne, etc
  • si vous en avez besoin, créez le fichier en respectant les directives plus haut

Votre site dispose d'un robots.txt

Ouvrez le fichier et vérifiez tout simplement les pages bloquées : 

  • Si des pages sont bloquées alors qu'elles ne devraient pas l'être : il faut les retirer 
  • S'il manque des pages qui doivent être bloquées : les ajouter.
  • Si les pages bloquées sont exactement celles qu'il faut : c'est très bien il n'y a rien à faire

Vous savez à présent tout sur l'analyse du robots.txt !

Découvrez les articles similaires :

Le rapport de couverture Google Search Console : 


Avez-vous trouvé votre réponse?