Analyse de crawl

Il s'agit d'analyser la manière dont les robots (spiders) de Google et des autres moteurs de recherche explorent les pages d'un site web pour les indexer.

L'analyse de crawl vise notamment à:

• dévoiler le contenu dupliqué;
• connaître la profondeur de l'exploration;
• analyser les temps de réponse du robot indexeur;
• identifier les liens canoniques pour les spécifier de nouveau si nécessaire;
• analyser la fréquence de l'exploration;
• détecter les erreurs d'exploration;
• repérer les pages sources.

Cette analyse permet une optimisation du crawl. En effet, l'optimisation du crawl peut être recherchée pour rendre un site spider friendly.

Il est à noter qu'il est à éviter de suroptimiser un site dans cette optique, en effet la suroptimisation peut mener à la pénalisation d'un site ou de pages web dans les résultats de recherche. Cette pénalisation est consécutive à la volonté du webmaster de trop le rendre spider friendly et de privilégier cette approche au confort de navigation ou de l'expérience utilisateur d'un internaute humain.

L'analyse du crawl peut se faire à  partir de Google webmaster tools ou d'outils de traitement des fichiers logs coté serveurs