L’analyse de logs pour le SEO

Le 14 juin 2021  SEO

L’analyse de logs en SEO est une notion parfois complexe qui peut faire peur ou dérouter. Néanmoins, elle est un atout majeur pour comprendre comment votre site est exploré/parcouru par les robots de Google. Qu’est-ce qu’une analyse de logs ? Comment analyser les données de logs ? Pourquoi réaliser une analyse de logs ? Dans […]

L’analyse de logs en SEO est une notion parfois complexe qui peut faire peur ou dérouter. Néanmoins, elle est un atout majeur pour comprendre comment votre site est exploré/parcouru par les robots de Google. Qu’est-ce qu’une analyse de logs ? Comment analyser les données de logs ? Pourquoi réaliser une analyse de logs ? Dans cet article, notre agence SEO répond à vos questions.

Qu’est-ce qu’une analyse de logs SEO ?

Sur un site disposant d’une volumétrie de pages importante (type e-commerce avec des milliers de produits), c’est un réel plus de procéder à une analyse de logs afin de s’assurer de la bonne santé de votre site et permettre de détecter des points SEO techniques (type spider trap) non relevés durant un audit SEO technique avec un crawl classique.

Elle permet également d’avoir des statistiques basiques sur les visiteurs de votre site (RGPD compliant). Cela est toujours intéressant en complément d’un outil de tracking reposant sur un système par cookies.

Et enfin, l’analyse de logs est aussi un plus pour mettre en place un monitoring SEO précis et détaillé qui pourra se faire en temps réel (un réel avantage pour monitorer une migration de site par exemple).

Capture Screaming Frog - Analyse de logs

Capture d’écran Screaming Log pour l’analyse de logs

Comment se déroule une analyse de logs ?

Afin de réaliser une analyse de logs pour le SEO, il va être important de remplir certains prérequis techniques :

  • Un site d’une volumétrie moyenne/importante ; faire une analyse de logs pour un site d’une dizaine de pages est « overkill » et nous n’apprendrons rien de plus qu’avec un crawl classique.
  • Un accès à vos logs (acces.log) dans un format classique (Apache, Nginx, IIS), sans cela il n’est pas possible de procéder à une analyse, c’est la matière première.
  • Au minimum 1 mois de data de logs, et il est préférable d’avoir 3 mois afin d’avoir un aperçu global. Attention également aux pics de trafic/période forte afin de bien les prendre en compte dans son analyse.

Une fois cette première étape remplie, nous allons devoir vérifier l’intégrité des logs afin de nous assurer que nous avons les bonnes informations. En règle générale un fichier « access.log » contient les informations suivantes :

  • L’adresse IP effectuant la requête/hit.
  • L’heure de requête/hit sur le site.
  • Le type de demande (POST, GET, HEAD, etc.).
  • Les codes de statut de réponse http renvoyés par le site/serveur (200, 404, 503, etc.).
  • Le nombre d’octets envoyés par le serveur.
  • La source de l’URL de la demande (intéressant pour filtrer le trafic provenant de Google).
  • L’user Agent (data importante pour commencer un premier tri/filtrage).

Ensuite, si nous voulons faire un focus sur le comportement des robots de Google (Googlebot) il est préférable de nettoyer/filtrer les logs avec les informations que nous souhaitons, cela permet d’éviter certaines erreurs d’analyse et d’alléger le processus.

Pour cela, nous pouvons filtrer les robots de Google grâce à leur user agent qui est spécifique. Attention nous risquons d’avoir des faux positifs, en effet certains scrapers/bad bots se déclarent avec un user agent Googlebot alors qu’ils ne le sont pas réellement.

Capture d'écran - Log hits lors de l'analyse des logs

Capture d’écran des hits de Googlebot

Idem lorsque vous simulez un crawl sur votre site, il peut être intéressant d’utiliser un user agent Googlebot pour s’assurer qu’il n’y a pas de contenu caché, de redirections trompeuses…, mais cela « pollue » vos logs.

C’est pourquoi il est intéressant de filtrer également sur IP (plage donnée) et/ou sur le reverse DNS (propre à Googlebot : *.googlebot.com). Ainsi si nous combinons les trois méthodes, nous diminuons les risques de faux positifs.

Une fois l’étape de récupération des logs, de vérification et de filtrage de ces derniers effectuée, nous pouvons commencer l’étape de l’analyse des données et ainsi comprendre comment le site est réellement perçu par Google.

Pour en savoir plus concernant notre méthodologie sur l’analyse de logs et comment nous pouvons vous accompagner sur ce sujet, n’hésitez pas à nous contacter !

mobile
AGENCE SEO
SEO TECHNIQUE

Ce que permet de faire une analyse de logs

Comme expliqué ci-dessus, lorsque nous analysons les logs, nous avons pour objectif de comprendre de façon précise et approfondie comment votre site est exploré par Google.

Ainsi, nous pourrons déterminer les pages les plus crawlées, le temps passé sur ces pages, les typologies de pages explorées (une segmentation de la data sera à faire en amont pour une meilleure lisibilité) et leur « importance » aux yeux de Google.

Nous pourrons également détecter différentes anomalies techniques comme une présence anormale de pages en 404, des erreurs 500 (un serveur qui ne suit pas la charge par exemple), un maillage interne comportant de trop nombreuses 301/302, la présence de spider trap due à un tri à facettes non optimisé/mal configuré, etc.

Il est également intéressant de comparer les datas de crawl mobile et desktop des robots de Google, cela permet de vérifier le passage en mobile first et de s’assurer que tout soit fonctionnel et cohérent.

Vous trouverez ci-dessous une liste non exhaustive des éléments SEO remontés durant une analyse de logs :

  • Taux de crawl ;
  • Taux de pages actives ;
  • Répartition du crawl sur vos typologies de pages ;
  • Répartition des codes de réponses (404, 500, 200) ;
  • Typologies de ressources crawlées ;
  • Détection de pages « orphelines » ;
  • Prise en compte de redirections 301 ;
  • Etc.

Chez SEARCH-Factory, il est important de bien cerner le site du client et son contexte avant toute analyse de logs afin d’être le plus efficace possible, c’est pourquoi il est important de personnaliser l’analyse de logs en fonction du site et de sa typologie.

Une première étape de prise de brief avec le client est donc indispensable !

Les outils les plus communs pour effectuer une analyse de logs

Afin de mener à bien une analyse de logs, il va être préférable de s’appuyer sur différents outils permettant le traitement des fichiers logs ainsi que leur segmentation.

Certains outils permettent également d’avoir les principales informations avec des dashboards préconfigurés. Néanmoins, un réel travail de lecture et de compréhension des informations remontées est primordial afin d’établir les bonnes recommandations SEO.

Vous trouverez ci-dessous une liste d’outils vous permettant de réaliser une analyse de logs :

  • Oncrawl (mode SAAS).
  • Botify (mode SAAS, le principal concurrent de Oncrawl).
  • Screaming Log Analyser (notre favori, soft à installer).
  • SEOLyzer (un petit nouveau très prometteur).
  • Pour les plus avancés, utilisation des commandes UNIX « grep, awk, sed ».
  • Etc.

Si vous êtes intéressé par une analyse de logs pour votre site, n’attendez plus et contactez-nous !

mobile
AGENCE SEO
SEO TECHNIQUE