Vous souhaitez analyser le robots.txt de votre site ?
Nous détaillons ci-dessous les questions à se poser et les corrections à apporter au besoin.
Si vous ne savez pas encore très bien à quoi sert ce fichier et comment l'implémenter, veuillez vous référez à cet article.
Votre site ne dispose pas de robots.txt
Il est tout à fait possible que votre site n'en ait pas. Pour vérifier, il suffit de chercher sur votre navigateur en ajoutant à la fin de votre URL de domaine "/robots.txt". Vérifiez également les sous-domaines.
Si vous n'avez pas de robots.txt :
- en avez-vous besoin ? vérifiez que vous n'avez pas de pages à faible valeur ajoutée qui le requièrent. Exemple : panier d'achat, pages de search de votre moteur de recherche interne, etc
- si vous en avez besoin, créez le fichier en respectant les directives plus haut
Votre site dispose d'un robots.txt
Ouvrez le fichier et vérifiez tout simplement les pages bloquées :
- Si des pages sont bloquées alors qu'elles ne devraient pas l'être : il faut les retirer
- S'il manque des pages qui doivent être bloquées : les ajouter.
- Si les pages bloquées sont exactement celles qu'il faut : c'est très bien il n'y a rien à faire
Vous savez à présent tout sur l'analyse du robots.txt !
Découvrez les articles similaires :
- Balise meta robots : en noindex ?
- Fichier robots.txt : utilisation et mise en place
- Fichier sitemap XML : utilisation et mise en place
- Fichier sitemap XML : audit et correction des problèmes
Le rapport de couverture Google Search Console :
- Repérer et analyser les URLs valides
- Repérer et analyser les URLs en avertissement
- Repérer et analyser les URLs en erreur
- Repérer et analyser les URLs exclues