Enlever des pages des résultats des moteurs de recherche
Dans un billet publié à l'occasion du vingtième anniversaire du fichier robots.txt, Olivier Duffez, master-chef de WebRankInfo, est revenu sur l'utilisation de ce fichier et donne plusieurs conseils.
Il évoque le cas d'une URL déjà indexée dans les moteurs de recherche que l'on souhaiterait enlever. Olivier indique, qu'il ne faut pas bloquer cette page avec le robos.txt, car les moteurs de recherche n'auront plus accès à cette page et donc elle ne sera pas traitée.
Deux solutions seront alors possibles pour la faire disparaitre :
Inclure dans l'entête de la page HTML concernée la balise suivante :
<meta name="robots" content="noindex" />
Ou dans le .htaccess en utilisant (à placer dans un dossier à désindexer) :
Header set X-Robots-Tag: "noindex"
Ainsi le moteur de recherche pourra se rendre sur la page concernée et la désindexer grâce à la valeur "noindex". Au bout de quelque temps, votre page ne devrait plus apparaitre dans les moteurs de recherche.
Crédit photo : Ravi Shah