Indicizzazione sui motori di ricerca

Dal lato dei motori di ricerca, l'indicizzazione dei siti web è la loro prima e fondamentale operazione.

Particolari programmi chiamati spider ("ragni"), entrano in un sito e ne incominciano a leggere il codice sorgente alla ricerca di nuove modifiche del contenuto o della struttura. Ogno volta che uno spider trova un link a un'altra pagina del sito o ad un altro sito, analizza anche quest'ultimo.
Quando il motore di ricerca termina la lunga operazione di scansione dei siti già presenti in archivio comincia a scansionare tutti i siti proposti dai webmaster tramite il servizio "add url", per segnalare un sito, che si trova in tutti i motori di ricerca.
Dopo l'analisi delle pagine, a seconda di criteri che variano da motore a motore, alcune di esse vengono inserite nel database e nell'indice del motore di ricerca.
I tempi di indicizzazione di un sito internet possono variare da poche settimane ai tre mesi.
Però se nella root del sito non è presente il file robots.txt e/o nel codice HTML non sono presenti istruzioni precise nei meta  tags ogni tentativo di indicizzare un sito web può essere inutile.
Inoltre Google e la maggior parte dei Motori di ricerca tendono a penalizzare, l'uso di segnalazioni/indicizzazioni automatiche tramite software. Indicizzazioni ripetute della stessa pagina vengono considerate spam.
Nel caso si utilizzi il servizio pay per inclusion l'indicizzazione avviene dopo pochi giorni, versando una somma per ogni pagina che si intende far indicizzare. Con questo metodo l'inserimento della pagina è garantito.