Comprendre le crawl budget de Google : le guide qui change tout

La question revient à chaque audit, presque mot pour mot : « pourquoi Google ne passe pas sur mes nouvelles pages ? » Et neuf fois sur dix, la personne qui pose la question gère un site de 400 pages. Le crawl budget n'est pas son problème. Il ne l'a jamais été.

Il y a quelques mois, j'ai audité une boutique en ligne de 52 000 URL. Googlebot y passait près de 180 000 requêtes par jour. Sur ces 180 000, environ 40 % tombaient sur des pages de filtres à facettes qui généraient du contenu dupliqué à l'infini. Résultat : les vraies fiches produits, celles qui vendaient, attendaient leur tour derrière des milliers de combinaisons de couleurs et de tailles sans intérêt. Voilà le crawl budget. Pas une théorie, un robinet qu'on peut orienter.

Comprendre le crawl budget de Google, c'est d'abord admettre une chose désagréable : la plupart des sites n'en manquent pas, ils le gaspillent.

Le crawl budget, ou pourquoi Google ne lit pas tout votre site

Qu'est-ce que le crawl SEO, d'abord, parce que le vocabulaire s'embrouille vite. Le crawl désigne l'exploration : un robot (Googlebot, mais aussi Bingbot, et de plus en plus de bots d'IA) parcourt vos pages, suit vos liens, et rapporte ce qu'il trouve. Cette exploration est la condition de l'indexation. Une page que le robot n'a jamais visitée n'existe pas pour le moteur.

Le crawl budget, c'est le volume de cette exploration, attribué à votre domaine sur une fenêtre de temps. Et ce volume obéit à deux forces opposées.

Le crawl rate limit et le crawl demand

D'un côté, votre serveur. Si Googlebot envoie 50 requêtes par seconde et que votre hébergement met deux secondes à répondre, le robot ralentit tout seul. C'est le crawl rate limit : la limite imposée par votre infrastructure. Un serveur lent ne se contente pas de frustrer vos visiteurs, il étrangle aussi l'exploration.

De l'autre côté, l'intérêt. Google explore davantage un site qu'il juge utile, mis à jour, populaire. C'est le crawl demand. Une page qui reçoit des liens externes, qui bouge souvent, qui répond à une intention claire sera revisitée plus vite qu'une page orpheline jamais mise à jour.

Franchement, la plupart des gens que j'accompagne cherchent à optimiser le premier levier alors que c'est le second qui coince. Personne ne parle de vos pages. Pourquoi Google s'acharnerait-il à les lire ?

Qui est vraiment concerné ?

Un site vitrine de 12 pages n'a pas de problème de crawl budget. Il n'en aura jamais. Google explore volontiers des milliers d'URL sur un petit domaine, parce que le coût pour lui est dérisoire.

Le sujet devient réel à partir de quelques milliers de pages, et critique au-delà de 10 000. E-commerce avec variantes, annuaires, sites d'actualité, plateformes de petites annonces : voilà le terrain de jeu. Si vous êtes en dessous, fermez cet onglet et allez plutôt travailler votre maillage interne. Ce sera plus rentable.

Comment savoir si vous gaspillez votre crawl budget

Ici, la plupart des articles s'arrêtent. Ils expliquent le concept, citent l'analogie du musée avec un temps de visite limité, et vous laissent avec votre problème. Sauf qu'un budget qu'on ne mesure pas, on ne l'optimise pas.

Le diagnostic tient en trois vérifications, et chacune prend une heure.

Le rapport « Statistiques d'exploration » de la Search Console

Ouvrez-le. Regardez la répartition des requêtes par type de fichier et par code de réponse. Si une part significative de l'exploration atterrit sur des 404, des redirections ou des pages que vous ne voulez pas voir indexées, vous avez votre coupable.

Sur le site de 52 000 URL, ce rapport affichait une courbe d'exploration qui grimpait de 30 % pendant que le nombre de fiches produits indexées stagnait. Les deux courbes racontaient la même histoire : Google travaillait dur, mais sur les mauvaises pages.

Les logs serveur, la vérité brute

La Search Console arrondit. Les logs, non. Filtrez les requêtes par user-agent Googlebot, puis regardez où elles tombent réellement. C'est fastidieux, ça demande un peu de traitement de fichier, mais c'est la seule mesure fiable.

Ce que j'y cherche en priorité :

• La proportion de requêtes sur des URL paramétrées (filtres, tris, pagination infinie)
• Les répertoires qui absorbent du crawl sans générer de trafic organique
• Les chaînes de redirection (une redirection qui pointe vers une autre redirection)
• Et le plus révélateur : les pages à zéro visite organique sur 90 jours qui reçoivent pourtant du crawl chaque semaine

Cette dernière catégorie est un indicateur impitoyable. J'ai vu des sites où 15 % du crawl partait dans des pages taguées, archivées, ou d'anciennes URL de test jamais nettoyées. Quinze pour cent d'un robinet déjà limité. Eh bien voilà, vous avez trouvé un dixième de votre budget.

URL découvertes contre URL indexées

Comparez le nombre d'URL que Google connaît de vous (via la commande site: ou les données de couverture) avec le nombre d'URL réellement présentes dans votre sitemap. Un écart abyssal signale souvent des URL orphelines ou des paramètres générés automatiquement.

Les trois fuites de crawl budget que je rencontre le plus

Il n'y a pas cinquante causes. Il y en a trois, et elles se répètent.

Les filtres à facettes

Un produit avec six tailles, quatre couleurs et trois matières, c'est potentiellement 72 combinaisons d'URL pour un seul article. Multipliez par votre catalogue. La solution classique : bloquer ces paramètres dans le robots.txt ou poser une balise canonical vers la page catégorie. Je préfère la seconde option, moins brutale, parce qu'un blocage total empêche aussi la découverte des vraies variantes utiles.

Les pages mortes et les redirections en chaîne

Les 404 ne sont pas graves en soi. Ce qui est grave, c'est qu'elles consomment de l'exploration. Un lien interne cassé sur votre page d'accueil, et Googlebot repasse dessus à chaque visite. J'ai corrigé une chaîne de quatre redirections successives sur un ancien blog migré trois fois. Googlebot suivait le chemin complet à chaque passage. Quatre requêtes pour arriver à une page qui n'aurait dû en coûter qu'une.

Le contenu dupliqué interne

Pagination, versions imprimables, paramètres de tri, sous-domaines de test restés en ligne. Chaque doublon dilue l'exploration et brouille le signal d'indexation. Rien de spectaculaire, mais l'accumulation finit par coûter cher.

Ce qui marche réellement pour orienter le crawl

Aucune astuce magique. Trois leviers, dans cet ordre de priorité.

1. Accélérez le serveur. Un temps de réponse sous 200 millisecondes autorise Googlebot à augmenter sa cadence. C'est mécanique, et c'est souvent le gain le plus rapide.
2. Renforcez le maillage interne vers les pages qui comptent. Un lien depuis la page d'accueil vaut mille liens depuis une page profonde jamais visitée.
3. Nettoyez. Supprimez les pages inutiles, corrigez les redirections en chaîne, désindexez les doublons. Le crawl que vous récupérez est gratuit.

Petit tableau comparatif, parce que la question « faut-il bloquer ou canonicaliser » revient sans arrêt :

Méthode	Ce que ça fait	Quand l'utiliser
robots.txt	Empêche complètement l'exploration	Pages techniques sans aucune valeur (paniers, recherche interne)
Balise canonical	Explore mais consolide le signal	Variantes de filtres, versions paramétrées proches
Meta noindex	Explore, n'indexe pas	Pages utiles aux visiteurs mais inutiles en recherche (pages taguées, archives)
Redirection 301	Reporte l'autorité vers une page unique	Ancienne URL définitivement remplacée

Sur la boutique de 52 000 URL, la combinaison canonical + nettoyage des redirections a fait passer le crawl des fiches produits de 45 % à 78 % du total en six semaines. Le trafic organique a suivi la même courbe, avec un décalage d'environ trois semaines. Pas de miracle, juste un robinet mieux orienté.

Questions qu'on me pose souvent

Qu'est-ce que le crawl SEO ?

Le crawl SEO, c'est le processus par lequel les moteurs de recherche explorent et indexent les pages web. Un robot suit les liens, lit le contenu, et rapporte ses découvertes. Une stratégie de crawl efficace repose sur une architecture claire, un maillage interne solide, un fichier robots.txt bien pensé et un contenu de qualité. Depuis quelques années, les bots d'IA ajoutent une couche supplémentaire à ce mécanisme : ils explorent aussi, parfois agressivement, et imposent une adaptation continue de la façon dont on laisse — ou non — les robots circuler.

Quels sont les 3 piliers du SEO ?

La formulation classique retient trois piliers : la technique (un site explorable et rapide), le contenu (ce que vous dites, et à quelle intention vous répondez), et la popularité (les liens et signaux externes qui donnent du poids à vos pages). Le crawl budge appartient au premier pilier, celui qu'on néglige le plus souvent parce qu'il ne se voit pas dans les rapports de trafic.

Quels sont les 4 piliers du SEO ?

Une variante ajoute un quatrième pilier, généralement l'expérience utilisateur, parfois l'autorité de domaine selon les écoles. La différence entre trois et quatre piliers relève surtout de la façon dont on découpe la technique. Ce qui ne change pas : le crawl reste la porte d'entrée. Sans exploration, ni contenu ni popularité ne servent à grand-chose.

Quel est le budget idéal pour Google Ads ?

Hors sujet ici, mais la question revient souvent dans les mêmes conversations, alors soyons clairs : il n'existe pas de budget idéal universel. Il dépend de votre coût par clic dans votre secteur, de votre marge, et de l'objectif (notoriété ou conversion directe). Un repère utile : partez du coût par acquisition que vous êtes prêt à payer, puis travaillez à rebours. Ce n'est pas la même logique que le crawl budget, qui n'est pas une somme d'argent mais une ressource d'attention.

Une ressource qu'on ne pense pas à surveiller

Voilà ce que je retiens de ces audits. Le crawl budget n'est pas un réglage qu'on active une fois pour toutes. C'est une ressource vivante, qui se déplace quand vous ajoutez des pages, quand vous changez de CMS, quand vous lancez une nouvelle catégorie de produits.

La question à se poser n'est pas « comment augmenter mon crawl budget ». Elle est : « qu'est-ce que Google lit chez moi en ce moment, et est-ce que ça mérite son temps ? » Posez-vous la question tous les six mois. Et surveillez ce que font les bots d'IA, parce qu'ils grignotent eux aussi une part de cette attention, sans rien vous rendre en trafic.