Tous les sites rencontrent régulièrement des problèmes de crawl et d’indexation, c’est courant.

Pourtant, c’est comme des bâtons dans les roues pour Google !

Ne pénalisez donc pas votre site en laissant ces problèmes en place, c’est vraiment très simple à corriger avec RM Tech et ce tuto.

La vidéo ci-dessous résume ce que vous allez obtenir dans le tuto
Ce tuto vous intéresse ? Achetez-le ici

En pratique…

Pourquoi acheter ce tuto ?

  • car vous ne devez pas rester avec des erreurs de crawl ou d’indexabilité sur votre site !
  • pour apprendre à corriger les erreurs détectées par RM Tech concernant : fichier robots.txt, code HTTP (301, 302, 404, 410, 500…), noindex et canonical
  • pour savoir quelles pages il faut optimiser en premier (la Search Console ne le dit pas)
  • pour apprendre le fonctionnement des moteurs de recherche (crawl et indexation) avec des explications très claires d’Olivier Duffez (formateur SEO depuis + 15 ans)
  • pour savoir exploiter vous-même toutes les annexes concernées dans RM Tech

Ce tutoriel est-il fait pour vous ?

Il a été conçu pour que vous soyez capable de mettre en place les actions nécessaires, sans nécessiter de compétences particulières.

  • grâce à l’utilisation de notre outil RM Tech, analyser et corriger les problèmes de crawl et indexabilité sont accessibles à tous
  • vous n’aurez PAS besoin d’un développeur pour régler les problèmes
  • que vous ayez lancé un audit RM Tech ou pas encore, de toutes façons le tuto vous sera utile
Vous avez un doute ? Demandez ici un pré-audit RM Tech (on vous l’offre) en précisant que vous êtes intéressé par le tuto sur le crawl et l’indexation.

Quels sont les points abordés ?

Voici le sommaire des différentes vidéos incluses dans le tuto

1 Qu’est-ce que le crawl et l’indexation ?

Points abordés :

  • les étapes des moteurs de recherche : crawl, indexation, ranking
  • quelle est la différence entre indexation et indexabilité ?
  • où aller dans Google Search Console (GSC) pour voir les problèmes de crawl et d’indexation ?
  • quelles sont les 4 principales limitations de GSC pour cette analyse ?
  • comment le rapport d’audit RM Tech aide pour tout ça ?

2 Tout savoir sur le fichier robots.txt

On se focalise ici sur la gestion en amont du crawl, à savoir les autorisations ou interdictions de crawl via le fichier robots.txt :

  • à quoi sert un fichier robots.txt ?
  • quelles sont les contraintes pour chaque fichier robots.txt ?
  • user-agent, disallow, allow : comment ça marche tout ça ?
  • le point subtil à connaître quand on a plusieurs sections user-agent
  • la directive crawl-delay
  • le robots.txt aide-t-il à sécuriser son site ?
  • comment tester si le fichier robots.txt est bien construit sans erreur ?
  • comment obliger Google à prendre en compte immédiatement un fichier robots.txt ?
  • comment étudier les URL bloquées au crawl grâce à la search console ?
  • intérêt de l’analyse des fichiers robots.txt dans un audit RM Tech

3 Comment corriger les problèmes de crawl ?

Points abordés :

  • c’est quoi le code HTTP d’une URL ? comment le connaître ?
  • différence entre code 200, 301, 302, 404, 410, 500, 503, etc.
  • que signifie code 3xx 4xx ou 5xx ?
  • pourquoi c’est mauvais de trouver des URL redirigées pendant un crawl ? que faire dans ce cas ? comment corriger en commençant par les plus prioritaires ?
  • comment traiter les erreurs 404 (et 403, 410, 500, 503, etc.) ? comment savoir celles qui sont plus importantes à corriger que les autres ?
  • comment exploiter toutes les annexes fournies par RM Tech

4 Comment régler les problèmes des pages non indexables ?

Points abordés :

  • rappel : dans quels cas une page est non indexable ?
  • comment interdire l’indexation ? balise meta robots noindex ou none, balise meta googlebot, entête HTTP X-Robots-Tag
  • comment repérer les pages non indexables à cause de l’URL canonique ?
  • comment exploiter toutes les annexes fournies par RM Tech

5 Bonus

On termine par quelques astuces bien pratiques :

  • Après avoir corrigé vos erreurs de crawl et d’indexabilité, comment vérifier rapidement plein d’URL sans avoir à recrawler tout le site ?
  • Les meilleures extensions Chrome pour repérer les problèmes de crawl et d’indexation
  • L’astuce des bookmarklets
  • Les erreurs les plus courantes de crawl et indexation sur la pagination
  • Le erreurs de crawl les plus répandues et comment les éviter
  • Plein de cas de figure où une page peut être non indexable à votre insu 🤔
  • Des erreurs idiotes déjà rencontrées et que vous devez éviter à tout prix
Ce tuto vous intéresse ? Achetez-le ici