Robots d’indexation

Des robots qui parcourent le web afin d'en collecter les données et les intégrer dans leur index, pour pouvoir fournir un résultat de recherche qualifié via une logique de classement par algorithme (pertinence par rapport à la requête, ergonomie de la page, popularité, ...).

Les bots sont des scripts chargés de parcourir le web afin d’indexer les informations présentent sur les différents sites web de la toile mondiale.

Un algorithme est ensuite chargé de classer ces informations selon leur pertinence, la notoriété, l’optimisation de l’ergonomie (responsive design, …), … pour proposer le meilleur résultat lorsqu’un internaute effectue une recherche.

Google alloue un budget de crawl qui dépend de la qualité de votre site web  (niveau de mise à jour du contenu, …).

Vous trouverez des statistiques sur l’exploration en connectant votre site web à la Google Search Console :

• Erreurs 404 : contenu inaccessible (lien cassé)
• Erreurs 500 : erreurs serveur (ex. problème de compatibilité, exception levée dans le code source)

Plus votre site web se charge rapidement, moins Google mettra de temps à explorer votre site web, ce qui est favorable à votre budget de crawl.