murilo-mrs / tech-news

Neste projeto foi desenvolvido uma aplicação para raspagem e manipulação de dados de um site de notícias sobre tecnologia. Esses dados serão armazenados no banco de dados MongoDB para serem persistidos.

Projeto Tech News

Projeto realizado durante módulo de Ciência da Computação do curso de desenvolvimento web da Trybe.

👨‍💻 O que foi feito

Neste projeto foi desenvolvido uma aplicação para raspagem e manipulação de dados de um site de notícias sobre tecnologia. Esses dados são armazenados no banco de dados MongoDB para serem persistidos.

A raspagem de dados tem sido muito útil em trabalhos jornalísticos, fornecendo dados para embasar matérias, mas também pode ser útil para outros fins, como comparar preços de produtos com a concorrência; automatização de processos maçantes como buscar artigos científicos em bases acadêmicas; recuperação de documentos em sites jurídicos; analisar perfis de redes sociais; recuperar dados públicos do governo e muitos outros lugares.

🛼 Como rodar o projeto

Configurações mínimas para execução do projeto:

• Docker

• Docker-compose versão >=1.29.2

  Com Docker:

  ⚠️ Antes de começar, seu docker-compose precisa estar na versão 1.29 ou superior. Veja aqui ou na documentação como instalá-lo. No primeiro artigo, você pode substituir onde está com 1.26.0 por 1.29.2.

• docker-compose up -d mongodb para iniciar o container do banco de dados;

• python3 -m venv .venv && source .venv/bin/activate

• python3 -m pip install -r dev-requirements.txt

• tech-news-analyzer para executar o script.

O menu exibido no terminal escolha primeiro a opção 0 para popular o banco de dados e depois escolha uma das opções de 1 a 4 para realizar as consultas:

Selecione uma das opções a seguir:
 0 - Popular o banco com notícias;
 1 - Buscar notícias por título;
 2 - Buscar notícias por data;
 3 - Buscar notícias por categoria;
 4 - Listar top 5 categorias;
 5 - Sair.

📄 Tecnologias utilizadas

• Python
• Pytest
• Pymongo
• parsel
• BeatifulSoup

🚵 Habilidades

• Utilizar o terminal interativo do Python
• Escrever seus próprios módulos e importá-los em outros códigos
• Aplicar técnicas de raspagem de dados
• Extrair dados de conteúdo HTML
• Armazenar os dados obtidos em um banco de dados

👥 Devs responsáveis

• @Murilo-MRS