Robo criado em python para a matéria de Recuperação de informação do CEFETMG
SamuelFernandoBot
Samuel Correa
Fernando Veizaga
Este robô faz parte de um trabalho da disciplina cujo objetivo é desenvolver um web crawler completo. Dessa forma, utilizamos este robô para realizar coletas na web.
Este robo obedece as politicas do robot.txt usando a API do robotparser e é lido as meta tags NOINDEX e NOFOLLOW para garantir que o robo apenas acesse paginas publicas.