API para consulta de CEP's
- MongoDB
- Python 2.7
- iPython (recomendado)
As dependências estão listadas no arquivo requirements.txt.
- requests
- lxml
- pymongo
- bottle
- nosetests
- webtest
- packtrack
- celery
Executar o comando:
make test
na raiz do projeto.
$ python PostmonServer.py
ou
$ ipython -i PostmonServer.py
>> _standalone()
Caso queira rodar em outra porta, basta passá-la como parametro no chamado do _standalone
Para rodar o Scheduler:
$ celery worker -B -A PostmonTaskScheduler -l info
Recomenda-se a utilização do Supervisord para manter o Celery rodando. Exemplo de configuração para o supervisord.conf:
[program:celeryd]
command=celery worker -B -A PostmonTaskScheduler -l info
directory=POSTMON_HOME/repositorio
stdout_logfile=POSTMON_LOG_DIR/celeryd.log
stderr_logfile=POSTMON_LOG_DIR/celeryd_err.log
autostart=true
autorestart=true
startsecs=10
stopwaitsecs=600
Se o seu MongoDB possui autenticação habilitada você deverá configurar o banco do postmon e também exportar duas variavéis de ambiente.
mongo
> use postmon
> db.addUser('admin', '123456')
Agora que seu Mongo está com password exporte as variaveis de ambiente.
export POSTMON_DB_USER=admin
export POSTMON_DB_PASSWORD=123456
O Postmon conta com um scheduler baseado na ferramenta Celery. Até o momento, a única funcionalidade implementada nessa estrutura é a rotina de coleta de dados do IBGE.
O Celery usa, como Broker, a mesma instância do MongoDB utilizada no módulo de CEP.
O comando apresentado na seção rodando a aplicação pode ser quebrado em dois caso seja necessário rodar o Celery Worker separado do Celery Beat. Para mais informações sobre essa questão leia a documentação do Celery.
Além do Broker, o Celery Beat depende internamente de uma base de dados, criada automaticamente na primeira execução, onde são armazenadas informações sobre os schedules. Por padrão essa base fica em um arquivo chamado celerybeat_schedule, criado no diretório onde o Celery Beat foi executado. Esse local pode ser alterado através do switch -s, conforme exemplo abaixo:
$ celery worker -B -A PostmonTaskScheduler -l info -s /novo/caminho/para/arquivo/celerybeat_schedule
O Postmon fornece as seguintes informações extraídas do site do IBGE:
- Código do município/UF
- Área territorial (em km²)
Essas informações estão presentes nos atributos estado_info e cidade_info da rota de busca de cep, bem como nas seguintes rotas:
- /uf/{sigla-uf}
- /cidade/{sigla-uf}/{nome-cidade}
Exemplos:
- /uf/SP
- /cidade/SP/São Paulo
- /cidade/SP/Araraquara
- /cidade/RJ/Macaé
A rotina de atualização desses dados está configurada para rodar diariamente.