14 maggio 2015
In
SEO
web crawler cosa sono?
I web crawler sono delle componenti dei motori di ricerca (Google, Bing, Yahoo, …) che, attraverso i vari link presenti sul web,
scansionano le varie pagine presenti sui siti e ne permettono l’archiviazione e la successiva indicizzazione.
I web crawler sono componenti totalmente autonome che si muovono liberamente sulla rete, in modo da scovare nuove pagine o documenti.
È possibile andare ad impedire ad alcuni o a tutti i web crawler di leggere i propri contenuti ed indicizzarli,
nell’articolo: “Impedire indicizzazione di una pagina attraverso meta tag “, vi spieghiamo come semplicemente andando ad aggiungere un tag nella pagina di interesse..
Nessun commento