Blog SEO & Tech

Un peu de SEO, beaucoup de Web et quelques coups de gueule.

Indéxer un site malgré que la search console de Google retourne bloqué par le robots.txt

search console google robots txt

Suite au tweet de l’ami Walid, je pensais lui passer un petit skype pour lui souhaiter la bonne année et lui dire comment j’ai fait mais vu que vous êtes nombreux à poser la question, je vais vous partager ce que j’ai fait.

https://twitter.com/lightonseo/status/1217102590368002048

Hier matin, mon cher développeur fier comme bartaban me dit que le nouvel outil de mise en prod marche super bien et qu’il en a fait une jeudi en seulement 10 minutes. Petit réflexe, je fais un site:www.nomdusite.com et là je vois que toutes les metas description sont bloquées. Je vais regarder le fichier robots.txt et le super nouvel outil de mise en production a mis en prod le robots.txt de preprod avec la consigne :

User-agent: *
Disallow: /

Calmement, je lui redis de ne jamais toucher le fichier robots.txt et je lui demande de vite remettre l’ancien. De mon côté, une fois le bon robots.txt de retour, je fais inspecter l’url à Google et tout est réglé. Sauf que comme Walid, j’ai beau faire inspecter l’url du site ou même le nouveau fichier robots.txt, Google répond toujours : “Google n’a pas accès à cette URL.”

Petit coup de stress quand même, car le site commencait à bien se faire désindexer. On tente alors de supprimer le robots.txt et de renouveler l’opération, mais toujours le même résultat. Pour faire bref, j’avais l’impression que Google avait enregistré la consigne Disallow: / et qu’il ne voulait plus revenir crawler le site.

Après plusieurs recherches, je trouve un lien bien pratique : https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/ qui pointe sur l’ancienne search console et qui me permet de voir que la dernière version vue de mon fichier robots.txt date du jeudi 9 janvier 2020 (jour de la mise en prod).

robots txt search console Google

Petit edit après avoir parlé avec Walid :

L’outil permettant de modifier le robots.txt et de l’envoyer à Google, je copie le bon fichier dans la zone de texte et je clique sur “Envoyer”, un pop-up s’ouvre, je clique à nouveau sur “envoyer”. Juste au-dessous, j’ai https://www.monsite.com/ puis le champ de saisie dans lequel je tape robots.txt et je sélectionne Googlebot puis Googlebot-mobile et je contrôle en cliquant sur “Tester”. Pour la première fois, Google me retourne “autorisée”, il arrive enfin à accéder à l’URL du robots.txt. Pour le vérifier, je rafraîchis la page : miracle, je vois bien que la dernière version est datée du jour.

La solution fonctionne tant que nous aurons accès à l’ancienne Search Console mais quid une fois l’accès coupé. Peut-être que Vincent Courson pourra nous éclairer.

Ps : bonne année 2020 Walid 😉

C’est l’histoire d’un bug qui peut vous faire perdre beaucoup…

histoire du bug domraider

Mise à jour du 19 octobre 2017.

La position de Domraider sur le marché des noms de domaine expirés les rend incontournables, c’est pourquoi je continue d’acquérir des domaines par leur biais. Avant-hier, je souhaitais résilier un domaine de mon portefeuille après avoir cliqué le bouton, je n’ai pas vu la page se recharger et me placer sur le domaine suivant, j’ai à nouveau cliqué “Résilier”, ce qui m’a fait perdre un très beau domaine. J’ai immédiatement contacté le support pour savoir s’il pouvait me le récupérer. Lire la suite