Meta Robots Tag

O tag meta robot é uma meta tag no cabeçalho do respectivo código fonte de um website. O comportamento dos rastreadores (consulte spider) que fazem a varredura da internet para as ferramentas de busca é controlado por este tag. Há, por exemplo, definições tais como follow, nofollow, index ou noindex. Isto especifica se o rastreador deve seguir ou não os hiperlinks no website ou se todo o site deve ser ou não indexado. Um arquivo robots.txt deve ser usado para evitar que diretórios inteiros sejam verificados por um rastreador.