Crawl Budget pour le SEO, comprendre et optimiser
Le crawl budget est le nombre de pages que les moteurs de recherche, comme Google, explorent sur votre site web en un temps donné. Il est influencé par des facteurs tels que la vitesse du site, l’importance des pages et l’état des URL explorées
Le crawl budget est crucial car il affecte la fréquence à laquelle les pages de votre site sont explorées et indexées par les moteurs de recherche. Une bonne gestion de ce budget garantit que les pages importantes de votre site sont découvertes et mises à jour rapidement, ce qui améliore votre visibilité et vos classements dans les résultats de recherche
Pour vérifier cela, utilisez Google Search Console. Allez dans « Paramètres » -> « Statistiques de crawl » et comparez le nombre de pages explorées quotidiennement avec le nombre total de pages de votre site. Si vous avez beaucoup plus de pages que celles explorées quotidiennement, il est temps d’optimiser votre crawl budget
- Analysez vos fichiers logs pour identifier et corriger les erreurs courantes comme les 404 et les redirections multiples.
- Accélérez la vitesse de votre site en optimisant les images et le code, et en utilisant un CDN.
- Maintenez un sitemap XML propre en incluant uniquement les URL valides et importantes
Les balises noindex permettent de diriger les moteurs de recherche à ne pas indexer certaines pages de faible valeur, comme les pages de résultats de recherche interne ou les variantes de produits. Cela permet de concentrer le crawl budget sur les pages importantes et de réduire le gaspillage
Les erreurs courantes incluent :
- Liens brisés (404) : Consomment inutilement le crawl budget.
- Chaînes de redirection multiples : Réduisent l’efficacité du crawl.
- Contenu dupliqué : Fait gaspiller le crawl budget sur des pages répétitives.
- Pages non essentielles accessibles aux robots : Devraient être bloquées via
robots.txt
Pour les sites utilisant des frameworks JavaScript comme React ou Angular, il est essentiel d’utiliser le rendering dynamique ou le prerendering. Ces techniques permettent aux robots de recherche d’accéder et d’indexer correctement le contenu généré dynamiquement
Une structure de liens internes bien optimisée aide les robots de recherche à découvrir et à explorer les pages importantes de votre site. Assurez-vous que vos pages clés disposent de nombreux liens internes, et utilisez des outils comme AIOSEO’s Link Assistant pour améliorer votre stratégie de liens internes
Les sitemaps XML sont cruciaux pour diriger les robots de recherche vers vos contenus les plus importants. En maintenant un sitemap optimisé, vous assurez une exploration efficace et une indexation rapide de vos pages prioritaires
Le crawl budget est un concept essentiel en SEO qui désigne le nombre de pages qu’un moteur de recherche, comme Google, explore sur votre site au quotidien. Optimiser ce budget est crucial pour garantir que les pages importantes de votre site soient indexées efficacement, améliorant ainsi votre visibilité en ligne. Voici des conseils détaillés pour maximiser votre crawl budget :
1. Analyser et Optimiser les Fichiers Logs
Les fichiers logs de votre serveur sont indispensables pour comprendre le comportement des robots de recherche sur votre site. Utilisez des outils comme Logstash et Kibana pour les grands sites ou Screaming Frog SEO Log File Analyser pour les sites plus petits. Identifiez les erreurs courantes comme les 404 et les 301, et rectifiez-les pour éviter de gaspiller le crawl budget.
2. Accélérer le Temps de Chargement des Pages
Un site rapide permet aux robots de recherche de crawler plus de pages. Améliorez la vitesse de chargement en optimisant vos images, en minifiant le code, et en utilisant un CDN (Content Delivery Network). Des outils comme GTmetrix et Pingdom peuvent vous aider à surveiller et améliorer les performances de votre site
3. Maintenir un Sitemap XML Optimisé
Assurez-vous que votre sitemap XML ne contient que des URL valides et pertinentes. Un bon sitemap aide les moteurs de recherche à découvrir et à indexer les nouvelles pages plus rapidement. Utilisez des outils comme AIOSEO pour gérer et optimiser votre sitemap
4. Utiliser des Balises Noindex pour les Pages Non Essentielles
Appliquez la balise noindex aux pages de faible valeur ou aux contenus en double pour concentrer le crawl budget sur les pages importantes. Cela inclut souvent les pages de résultats de recherche interne et les variantes de produits
5. Optimiser les Liens Internes
Une bonne structure de liens internes aide à la découverte et à l’indexation des pages importantes. Utilisez des outils comme AIOSEO’s Link Assistant pour identifier les pages orphelines et améliorer votre stratégie de liens internes
6. Réduire les Chaînes de Redirection
Les redirections multiples consomment inutilement le crawl budget. Assurez-vous que chaque redirection 301 conduit directement à la destination finale sans passer par plusieurs étapes intermédiaires
7. Gérer les Paramètres d'URL
Les paramètres d’URL peuvent créer des versions multiples de la même page, diluant ainsi le crawl budget. Configurez les paramètres d’URL dans Google Search Console pour indiquer aux robots les paramètres à ignorer
8. Utiliser le Rendering Dynamique pour les Sites en JavaScript
Les sites utilisant des frameworks JavaScript comme React ou Angular peuvent bénéficier du rendering dynamique ou du prerendering pour s’assurer que les moteurs de recherche puissent accéder et indexer correctement le contenu généré dynamiquement
9. Surveiller et Corriger les Liens Brisés
Les liens brisés entraînent un gaspillage de crawl budget. Utilisez des outils comme Broken Link Checker pour détecter et corriger ces liens de manière proactive
10. Utiliser les Canonical Tags pour Éviter le Contenu Dupliqué
Les balises rel="canonical" sont essentielles pour indiquer aux moteurs de recherche quelle version d’une page est la principale, évitant ainsi les duplications inutiles qui peuvent consommer le crawl budget
Quelques raisons du gaspillage de crawl budget !
Il y a de nombreuses raisons du gaspillage de crawl budget mais certaines reviennent très souvent.
- Filtres de produits
- Pages de résultats internes indexables
- Tag pages
Les deux premiers vas sont des pièges pour les robots des moteurs de recherche. Ils ont pour conséquence la création d’un nombre illimité d’URL accessibles pour les robots. Du point de vue de crawl budget c’est un problème important.
Filtres de produits
Chaque critère d’un filtre a au minimum deux valeurs. En combinant ces critères, les visiteurs peuvent trouver facilement le produit qu’ils cherchent. Au niveau expérience utilisateur, c’est très utile. Par contre si les pages de filtres sont accessible pour les robots, un nombre infini d’URL est créé et gaspille votre crawl budget inutilement.
Solution :
- Informez les moteurs de recherche à travers le fichier robots.txt de ne pas accéder aux URL générées par les filtres de produits. Si ce n’est pas possible pour vous, dans Google Search console et dans Bing Webmaster Tools vous pouvez aussi empêcher Google et Bing d’explorer certaines pages.
- Ajoutez rel=”nofollow” aux liens sur les pages filtrées.
Pages de résultats internes indexables
Dans la plupart de cas, il n’est pas approprié de laisser les robots explorer et indexer les pages de résultats de recherche internes. Cela peut engendrer des problèmes avec le contenu dupliqué qu’il faut éviter. Afin d’empêcher l’exploration et l’indexation de ces pages, vous devez informer les moteurs de recherche de ne pas y accéder.
Pour informer les moteurs de recherche de ne pas accéder aux pages de résultats de recherche internes, utilisez le fichier robots.txt. Si ce n’est pas possible pour vous, dans Google Search console et dans Bing Webmaster Tools vous pouvez aussi empêcher Google et Bing d’explorer certaines pages.
Tag pages
Une autre raison d’obtenir un grand nombre de pages non indexables est l’utilisation de tag pages. Si vous avez un blog et vous écrivez beaucoup d’articles, la gestion des tags créer des milliers d’ouvertures pour les robots. Les tag pages ont fait surgir des problèmes avec l’exploration : les moteurs de recherche explorent ces pages, mais ils ne peuvent pas les indexer. Ils y gaspillent pourtant leur crawl budget.
Informez les moteurs de recherche de ne plus accéder aux tag pages à l’aide de votre fichier robots.txt.
Le nombre de pages que nous explorons est sensiblement proportionnel à votre PageRank. Si vous avez donc beaucoup de liens menant à votre page racine, nous l’explorerons sans doute. Cette page racine peut contenir des liens à d’autres pages qui vont obtenir le PageRank et nous les explorerons aussi. Quand vous vous plongez de plus en plus profond sur votre site web, le PageRank tend à diminuer. Même si Google ne met plus à jour en public les valeurs de PageRank des pages, nous pensons qu’elles continuent à faire partie de leur algorithme. Comme le PageRank est un terme déroutant, nous l’appelons autorité de page. Le message essentiel qu’il faut garder en esprit de cette interview est donc : il y a une relation très forte entre l’autorité de page et le crawl budget. Pour augmenter le crawl budget pour votre site web, il faut donc augmenter son autorité. Cela se fait en grande partie en obtenant des liens externes.
