Le 15 avril 2019 SEO
En facilitant la compréhension et l’accès de votre site par Googlebot, cela permet d’optimiser in fine la stratégie SEO de votre site et donc améliorer le référencement de vos pages sur vos mots-clés ciblés. Qu’est-ce que Googlebot ? Googlebot va explorer un site, les pages qui le composent à travers les liens qui y sont présents pour récolter un maximum de […]
En facilitant la compréhension et l’accès de votre site par Googlebot, cela permet d’optimiser in fine la stratégie SEO de votre site et donc améliorer le référencement de vos pages sur vos mots-clés ciblés.
Googlebot va explorer un site, les pages qui le composent à travers les liens qui y sont présents pour récolter un maximum de données et en avoir une description dès plus précise. Googlebot, tout comme les autres robots d’indexation, à tendance à rendre visite aux sites proposant du contenu original. Lorsqu’on ajoute du contenu “nouveau” sur un site cela permet d’attirer les robots plus fréquemment.
Voilà ce que Google dit au sujet de son robot, le Googlebot: “Le robot de Google n’a pas accès à un site web plus d’une fois par seconde.”
Le contenu de chaque site et de chaque page web est analysé lors du crawl du robot de Google.
À savoir qu’avant d’explorer un site, le Googlebot vérifie les règles présentent au niveau du fichier Robots.txt. Celui-ci définit les pages et les liens qu’il a le droit de crawler ou non ainsi que les liens à indexer dans son moteur de recherche. La directive User-agent présente dans le robots.txt aide à définir les règles d’accès pour les robots (ex: balise meta-robots : Allow, Disallow).
Il est important d’également expliquer ici qu’il ne faut pas bloquer à Googlebot l’accès aux fichiers JS et CSS, car cela l’empêche de bien comprendre les pages web.
Googlebot, le robot de Google, passe son temps à explorer des urls. Il n’explore pas en une seule fois toutes les pages d’un site web. Il vient, et revient sur un site et essaie à chacune de ces visites d’explorer au mieux les urls présentes sur un site web en fonction de différents critères :
La notion de budget crawl renvoie au nombre total de pages que Google va explorer sur un site. Le crawl budget est le « temps machine » que Google va décider d’accorder à l’exploration d’un site web.
La fréquence de passage des robots de Google sur un site web est très variable. Cela peut aller de quelques minutes à quelques jours.
En fait Googlebot adapte la fréquence de ses visites en fonction de la fraîcheur de l’information. En effet, tout dépend de votre contenu et de la fréquence à laquelle vous publiez de nouvelles informations sur votre site. Plus les mises à jour sont régulières, plus le site sera considéré comme dynamique et donc, valorisé auprès de Google.
Via la Search Console, dans la section « Couverture » il est possible, pour les webmasters, d’avoir toutes les informations sur les urls souhaitées, sa présence dans le sitemap mais aussi la date de sa dernière exploration par les robots de Google.
L’avantage du Googlebot, c’est que les serveurs de Google sont en relation avec le serveur sur lequel est hébergé votre site. Le serveur a donc un historique des traces laissées par le Googlebot (via les fichiers de log HTTP).
À l’aide d’outils SEO tels que Botify, Oncrawl ou Deepcrawl, permettent de réaliser des analyses de logs. Les résultats du passage de Googlebot peuvent donc être intéressants à analyser afin d’améliorer son SEO.
Lorsque vous créez de nouvelles pages sur votre site, vous souhaitez pouvoir les voir rapidement indexées dans les SERPs de Google.
Pour cela différentes méthodes peuvent accélérer cette indexation mais seul Google est maître de quand il décide d’indexer une nouvelle page.
Le fichier sitemap.XML permet de faciliter l’accès aux pages de votre site pour les robots des moteurs de recherche. Mais ce n’est pas parce que les robots explorent vos pages qu’ils les indexent plus vite. Ce fichier est principalement important pour les gros sites internet comprenant plusieurs milliers d’urls qui ne sont pas toujours bien reliées entre elles.
Avec Google Search Console il faut savoir que l’exploration ne s’effectue pas plus rapidement lorsque vous demandez une ré-exploration pour une même URL.
Il existe différentes méthodes afin de favoriser le passage de Googlebot sur un site.
À savoir que depuis novembre 2018, l’index mobile-first est en place. Il a pour but de classer les sites web en fonction de la manière dont Google a crawlé la version mobile plutôt que la version desktop.
La compréhension du fonctionnement du Googlebot est donc le point de départ pour améliorer son référencement naturel, il est donc important de s’y intéresser pour pouvoir mettre en place une bonne stratégie SEO et avoir une stratégie de marketing digital efficace.
Rédigé par Vincent F.