Decisão técnica busca garantir velocidade, segurança e melhor experiência aos leitores reais da plataforma.
A TVBR.Stream acaba de implementar uma atualização crítica em seu arquivo robots.txt
, responsável por definir quais bots e rastreadores da internet podem acessar seus conteúdos. A decisão foi motivada por uma análise interna que revelou acessos abusivos por ferramentas automatizadas, como o bot Scrapy, com mais de 36 mil requisições em um único dia.
Além disso, foram detectadas visitas repetidas de rastreadores comerciais como o AhrefsBot (focado em SEO de concorrentes), PetalBot (da Huawei), e o MJ12bot, sem qualquer retorno direto ao projeto da TV. Também constam bots emergentes como o Bytespider, do TikTok/ByteDance, além de robôs anônimos e com nomes falsos, consumindo banda e servidor.
Por outro lado, bots legítimos como o Googlebot, bingbot e o Applebot seguem autorizados, pois são fundamentais para a visibilidade da plataforma em mecanismos de busca confiáveis. O facebookexternalhit, que permite a exibição de prévias ao compartilhar links em redes sociais, também foi mantido.
A medida visa melhorar a performance da TVBR, proteger contra uso indevido de conteúdo e manter o foco nos leitores humanos, especialmente em um momento de crescimento das visualizações e acesso diário às plataformas em nuvem.
O novo padrão também inclui um delay de 10 segundos entre requisições para bots genéricos, reduzindo impactos em horários de pico.
No próximo conteúdo da TVBR, vamos mostrar como proteger suas plataformas em nuvem contra ataques silenciosos de scraping e extração de conteúdo, com dicas práticas e ferramentas acessíveis para criadores e donos de mídia digital.