diogo-alves / django-scraper

Aplicação django que extrai dados de proxies gratuitos disponíveis no site hidemy.name

Django-Scraper

Aplicação django que extrai dados de proxies gratuitos disponíveis no site hidemy.name.

Preview

Este projeto está disponível para acesso no Heroku.

Iniciando

Pré-requisitos

• Git
• Docker
• Docker-compose
• Python 3.10.2
• Poetry
• Make¹

¹ NOTA: A maioria das distribuições linux já disponibiliza o Make por padrão. Clique aqui para baixar a versão para Windows.

Configuração

1. Clone este repositório:

git clone [email protected]:diogo-alves/django-scraper.git

2. Acesse a pasta do repositório:

cd django-scraper

3. Instale as dependências do projeto:

make install

4. Copie o arquivo.env.example e renomeie sua cópia para .env¹ . Para gerar o valor da variável DJANGO_SECRET_KEY execute:

make secret-key

¹ DICA: Para rodar a aplicação localmente usando o SQLite, basta comentar a variável DATABASE_URL.

Executando o Projeto

Localmente

make local

Com o Docker

make docker

Raspagem de Dados

make local-scrape

ou

make docker-scrape

Testes

make tests-local

ou

make tests-docker

Outros Comandos disponíveis

Para ver a lista de todos os comandos utilitários disponíveis:

make help

Licença

Este projeto está sob os termos da licença MIT.