datosgobar / arquitectura Goto Github PK
View Code? Open in Web Editor NEWPrueba de concepto sobre una arquitectura para automatizar las tareas de ETL al portal de datos.
License: MIT License
arquitectura's People
Contributors
Stargazers
Watchers
arquitectura's Issues
Implementar Scheduler
Armar doc con usos estimados(servidores, recursos sistema) y su costo en gcloud
Probar playbook en Digital Ocean
Bajar automáticamente dataset presupuesto
http://sitiodelciudadano.mecon.gov.ar/sici/ejecucion_presupuestaria.html
Nombre archivo: Cuadros Avanzados > Gastos Listado General Para Descargar
Crear módulo de escritura en la base de datos
Documentación inicial de arquitectura, incluyendo especificaciones de las diferentes instancias
Ejecutar script data cleaner sobre el archivo bajado
Instalar pentaho DI en Docker
Cuando esté listo la estandarización de scripts de creación de DB recrear schemas y data y ver si todo funciona
Implementar UI de monitoreo del scheduler.
Armar Playbook e instancia Docker Pentaho DI
Caso de aplicación: Bajar link de presupuesto, procesar CSV, realizar transformación básica (minusculas a mayusculas), guardar en DB dejar CSV "limpio" en un directorio.
Deployear a entorno de desarrollo
Armar una v0 dummy que traslade un dato entre las distintas partes de la arquitectura
Documento de requerimientos de uso
Armar container Docker con Pentaho BI
Buscar mejor forma de ejecutar script de limpieza con Pentaho
Timeboxeado a 2 días
Revisar Readme en github y publicar el repo
Modulo ScrapingHub
Pushear resultados a CKAN Dev
Spike Workflow Manager: Airflow y Documentar
Integración de módulos para hacer end-to-end
Probar con un CSV la arquitectura completa
Hacer el pedido del ambiente en ARSAT de acuerdo a las posibilidades planteadas por ellos y de acuerdo al documento de arquitectura
Tomar como referencia los requerimientos del server de BI y DI de Pentaho.
Investigar Manejo de Base de Datos con varias instancias de Docker
Probar arquitectura deployeada con otro desarrollador fuera del proyecto
Definir interfaces
Documentar prueba con Workflow Manager: Luigi
Contenedor genérico para módulos del scheduler
Hacer prueba de actualizar schema y datos de DB una vez al día con cron y que se actualice en todas las instancias de Docker levantadas
Modulo de DataRefine
Hablar con ARSAT y evaluar posibilidades de entornos
Consulta Docker
Consumir API previamente mencionada para mostrar data básico via web
Verificar el proceso completo
Una vez creado el container docker y realizada la prueba inicial con Presupuesto replicar la configuración de Pentaho asegurándose que no se escriba a la Base de Datos.
El usuario es un operario contratado por SECOM que realiza pruebas por línea de comando, pasándole el ZIP del paquete a validar.
La respuesta debe ser Válido o No Válido + el csv con los problemas detectados.
Pruebas de talend en gCloud
Armar API de conexión al Data Warehouse
Definir estructura ETL
Output:
Documentar toda la estructura!
Implementar modulo para cargar datos
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.