Crawler

Tout A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Terme Définition
Crawler

Il s'agit d'un programme automatisé ou semi-automatisé qui parcourt le web dans le but d'en collecter les informations, et ce, de façon permanente.

Le crawler, provenant de "crawling" signifiant "indexation de données", aussi appelé "spider" ("araignée" français, en référence au fait qu'il arpente le web ou "toile"), suit les liens hypertextes de page en page et indexe toutes celles qu'il rencontre. Cet index, liste comprenant des millions voire des milliards de références, sert par la suite à l'algorithme du moteur de recherche, qui y pioche les pages correspondant aux requêtes qui lui sont faites par les utilisateurs.

Avec l'avènement de la recherche universelle (concernant tous types de médias et non plus seulement les pages web classiques), les crawlers indexent également des fichiers autres que HTML, comme les images, flux RSS, tweets ou vidéos.

Parmi les crawlers on peut notamment citer Googlebot (robot de Google), Bingbot (Bing), Slurp (Yahoo!, remplacé par Bingbot après un accord passé avec Microsoft) ou Voilabot (Orange).

Articles connexes : Spider, Bot, Robot d'indexation, Robot moteur de recherche, Googlebot

eXTReMe Tracker