Ogni motore di ricerca ne ha un crawler o spider ed è un insieme di codici (script) che gli permette di scansionare ed indicizzare tutti i siti web presenti online.
In molti lo chiamano Spider, altri lo chiamano Crawler, altri ancora Web Crawler ma il suo nome completo è Web Crawler Spider ed è possibile definirlo come il cervello di un motore di ricerca.
È un elemento fondamentale che oggi ci permette di navigare online e di trovare tutto in pochi secondi.
Spider non è altro che un bot internet che ogni tot di tempo esegue una scansione totale del World Wide Web.
Lo scopo di questo bot non è solo quello di eseguire le scansioni ma di creare un indice completo con tutti i link e siti web presenti online, potremmo quasi definirla una mappa.
Questo software con tecnologia avanzata permette ad ogni motore di ricerca, Google ad esempio, di aggiornare il suo database. Il Crawler funziona molto semplicemente esegue una scansione generale, copia ogni pagina web che incontra e l’archivia, in questo modo il motore di ricerca può poi catalogarla per determinate parole chiave e argomenti trattati.
Eseguendo questa operazione il motore di ricerca è in grado poi di rispondere con precisione alle domande o alle ricerche eseguite da qualsiasi utente che navighi nel web.
La lista che viene generata dallo spider è chiamata crawl frontier ed ogni link al suo interno viene regolarmente rivisitato per poterlo monitorare ed eventualmente registrare aggiornamenti e modifiche eseguite nel tempo.
Ogni volta che avviene e vi è presente una modifica, URL viene inserito nella lista. Quindi la lista è continuamente aggiornata e ricca di contenuti utili, ecco perché viene chiamata rete.