Tagul de Meta Robots poate fi folosit pentru a controla activitatea „spiderilor” motoarelor de cautare, pentru toate motoarele de cautare majore de la nivelul paginii. Sunt cateva modalitati de a folosi meta robotii pentru a controla cum trateaza o pagina motoarele de cautare.
Index/noindex – spune motoarelor de cuatare daca pagina ar trebui sau nu sa fie accesata de crawleri si pastrata in index-ul motoarelor de cautare pentru o retragere. Daca optezi sa folosesti „noindex”, pagina va fi exclusa din motoarele de cautare. Implicit, motoarele de cautare isi asuma ca pot indexa toate paginile, asa ca valoarea „index” nu este in general necesara.
Follow/nofollow – spune motoarelor de cautare daca linkurile de pe pagina ar trebuie sa fie accesate de cralweri. Daca alegi sa folosesti „nofollow”, motoarele de cautare nu vor lua in seama link-urile de pe pagina, atat pentru descopererie si scopuri de clasare. Implicit se presupune ca toate paginile au un atribut „follow”. Exemplu, <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>.
noarchive – este folosit pentru a restrictiona motoarele de cautare din a salva o copie cache a paginii. Implicit, motorul de cautare mentine o copie vizibila a tuturor paginilor pe care el indexau, accesibile pentru cautatori prin intermediul linkului cache in rezultatele cautarilor.
nosnippet – informeaza motoarele de cautare ca ar trebui sa se abtina din afisarea unui bloc descriptiv de text langa titlul de pagina si URL-ul din rezultatele cautarilor.
noodp/noydir – sunt taguri specializate spunand motoarelor de cautare sa nu obtina un snippet descriptiv despre o pagina din Open Directory Project sau directorul Yahoo! pentru a fi afisat in rezultatele cautarilor.
Tagul X-Robots HTTP header directive realizeaza aceste aceleasi obiective. Aceasta tehnica functioneaza foarte bine pentru continutul cu fisiere non-HTML, cum sunt imaginile.
De aceea este foarte bine sa foloseste aceste meta taguri, fiindca ii vei oferi motorului de cautare directive in ceea ce poate sau nu sa faca.