Um projeto webcrawling da faculdade iCev para facilitar a extração de dados do site VitalSource.
Objetivo Principal • Bibliotecas • Download
A automação deve entrar e logar no site, baixar um arquivo em CSV, formata-lo para uma tabela em Excel e logo após enviar esse arquivo para um email escolhido.
- Selenium
O Selenium Python é uma biblioteca com diversos métodos que ajudam na automação web. Em suma, as funções permitem controlar o funcionamento de uma página e a interação com ela de forma automática. - Documentação
- Dontev
O Dotenv é uma biblioteca Python poderosa e fácil de usar para carregar variáveis de ambiente em projetos. Com ele, você pode otimizar as configurações do seu projeto, mantendo informações sensíveis fora do código fonte. - Documentação
- Os
O módulo OS em Python é uma biblioteca padrão muito útil quando se trata de interagir com o sistema operacional. Ele nos fornece uma série de funcionalidades para executar ações específicas, como navegar por diretórios, criar novos diretórios, executar comandos no terminal e obter informações do sistema. - Documentação
- Pandas
Pandas é uma biblioteca para Ciência de Dados de código aberto (open source), construída sobre a linguagem Python, e que providencia uma abordagem rápida e flexível, com estruturas robustas para se trabalhar com dados relacionais (ou rotulados), e tudo isso de maneira simples e intuitiva. - Documentação
- Openpyxl
O Openpyxl é uma biblioteca Python de código aberto que permite manipular arquivos do Excel de forma programática. Essa biblioteca oferece diversas vantagens para quem trabalha com planilhas e deseja automatizar tarefas de rotina. - Documentação
- Smtplib
O módulo smtplib do Python é basicamente tudo o que precisamos para enviar e-mails simples, sem linha de assunto ou outra informação adicional. Mas, para e-mails reais, precisamos de linhas de assunto e muitas outras informações - talvez até imagens e anexos. - Documentação
Clone esse repositorio e abra o codigo em sua máquina. Antes de rodar certifique-se de criar um arquivo .env na mesma pasta do código com os seguintes dados.
- Template Arquivo .env:
[email protected]
senha="suasenhaparaentrarnosite"
[email protected]
senhaEmail="senhadesseemail"
[email protected]
Alem disso faça a instalação das bibliotecas, digitando os seguintes comandos no terminal.
- Instalação das bibliotecas
pip install selenium
pip install python-dotenv
pip install pandas
pip install openpyxl
pip install secure-smtplib