Colocando a casa em ordem - Um pouco da minha experiência com robôs de pesquisa

Essa semana o servidor do interney.net passou por algumas turbulências, em parte devido ao aumento de audiência do InterNey Blogs, essa na verdade é a parte boa, a parte ruim são aquelas visitas que na verdade não são 'visitas de verdade'. São os famosos robôs, existem os robôs do 'bem' e os robôs do' mal', e tem também os seres humanos que agem como se fossem robôs. Seguem alguns exemplos das feras que tive de domar essa semana e como você pode se precaver deles.

1) Robôs de indexação - Esses são os robôs do bem, eles indexam seu site para posteriormente serem encontrados pelos mecanismos de busca. Existem os que indexam as páginas do site e os que indexam os feeds RSS. Os mais famosos são o Googlebot, o Yahoo! Slurp e o msnbot, é importante que seu site tenha algum sistema de cache de dados para que eles não tenham de recriar todas as páginas enquanto estiverem indexando. Os links indicados nesse artigo apontam para as páginas de ajuda desses robôs, onde existem dicas valiosas como, por exemplo, instruções para que eles não indexem seu site rápido demais. Isso evita que seu servidor trave caso a indexação seja feita em horários de pico.

Outro problema que pode ocorrer com robôs que indexam feeds, como o robô do Technorati, é permitir que eles indexem os endereços que geram o RSS sem nenhum tipo de cacheamento, o ideal é redirecionar esses robôs para um feed externo como o Feedburner, esse redirecionamento pode ser feito em PHP usando a função header ou usando um .htaccess no Apache.

2) Robôs de spam - Esses robôs ficam enviando comentários, trackbacks e visitas automaticamente para o seu site. O objetivo deles é expor seus links na sua seção de comentários ou em alguma área do tipo 'últimos sites que enviaram visitas para cá'. Para esses robôs é imprescindível a utilização de scripts que bloqueiem suas visitas em dois níveis, se possível sempre antes de processar a página, e caso não consiga identificá-lo nesse momento permitir que seu comentário seja moderado e posteriormente marcado como spam para evitar futuras invasões.

Se você usa o Wordpress dois excelentes plugins são: Bad Behavior e Askimet. O primeiro tenta barrar os spams antes de chegar aos seus comentários e salvar processamento do servidor, o segundo evita que seu blog vire um mural de propaganda indesejada.

3) Hotlink - Aqui não é nenhum robô escrito por programadores, mas são webmasters que não entendem que linkar imagens diretamente do site dos outros gasta banda, na maioria das vezes o limite de banda pode tirar o site do ar, ou na melhor das hipóteses 'apenas' deixá-lo mais lento. Felizmente você pode se proteger de diversas maneiras, a maneira que adotei recentemente no meu servidor foi seguindo as dicas desse artigo no List Apart (que tomei conhecimento através deste post do Tecnocracia)

Além disso havia uma boa dose de POG em alguns scripts que foram devidamente ajustados esses dias. Se você fez algum remendo de programação para resolver algo rápido não deixe que esse ajuste temporário seja definitivo, gambiarras acumuladas comprometem a saúde do seu servidor e podem te deixar na mão em momentos críticos.

Teoricamente está tudo em ordem agora, mas na informática quase nunca se tem certeza, Murphy não descansa jamais.

Posts similares:
33. O que são feeds RSS ? Como rssficar meu blog ?
Registro de domínios
Alguns bons motivos pra usar o Google Sitemaps

Michel
Excelente esse artigo Grande Ney,
com sempre nota 10! roxxxx
HuaHAUEhauehua. :P

André Kenji - url
Edney

Só um adendo: o Bad Behavior também tem o defeito de impedir que algumas pessoas do bem possa comentar.

Aliás, por causa dele, não consegui editar o blog dentro de uma lan-house.

Edney Souza - url
Poxa, pelo jeito o Bad Behavior é meio exageradinho.

Obrigado pelo feedback André.

Felipe Ferreira - url
ótimo post Edney
parabens

RoninBone - url
Oi Edney,

Que bom que voltou e foi "só" por conta disso... até comentei sua ausência no meu blog. Bom trabalho!

Edney Souza - url
Oi Ronin,

A boa repercurssão do InterNey Blogs além de gerar visitas gera muito trabalho, estou articulando novidades junto com os demais participantes do portal, respondendo muitos e-mails e preparando novidades para o futuro. Isso tem afetado a periodicidade dos posts mas eu gosto de escrever, sempre vou achar um tempinho pra isso

Thássius Veloso - url
Post bastante esclarecedor. O sistema de estatísticas do meu blog em certos momentos acusa vários robôs indexando o conteúdo ao mesmo tempo. Isso acaba por aumentar a necessidade de resposta do servidor.

Charles - url
Informação muito útil para quem está começando....belo post!