Robot d'indexation

Tout A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Terme Définition
Robot d'indexation

Ce terme désigne un programme automatisé ou semi-automatisé qui parcourt le web sans trêve pour en collecter les informations.

Un robot d'indexation, aussi appelé "spider" ou "crawler" ("crawling" signifiant "indexation de données"), suit les liens hypertextes de page en page et indexe toutes celles qu'il rencontre. Cet index, que l'on peut voir comme un annuaire géant, sert par la suite à  l'algorithme du moteur de recherche, qui y pioche les pages correspondant aux requêtes qui lui sont faites par les utilisateurs.
 
Ainsi le moteur de recherche peut proposer le contenu indexé par les spiders dans ses pages de résultats selon la pertinence que ce contenu a avec la requête entrée par l'utilisateur. Le mot spider fait référence à une araignée qui parcourrait la toile mondiale qu'est le web.

Avec l'avènement de la recherche universelle (concernant tous types de médias et non plus seulement les pages web classiques), les spiders indexent également différents fichiers comme les vidéos, les PDF, les données de géolocalisation ou les images.

Parmi les spiders on peut notamment citer Googlebot (robot de Google), Bingbot (Bing), Slurp (Yahoo!, remplacé par Bingbot après un accord passé avec Microsoft) ou Voilabot (Orange).

 

Articles connexes : Spider, Bot, Crawler, Robot moteur de recherche, Googlebot

eXTReMe Tracker