dapivei / data-product-architecture-final-project Goto Github PK

• Guardar pickle en S3
• Guardar metadatos en RDS

La idea sería validar y garantizar que todo corre correctamente en Luigi hasta este punto del pipeline en AWS.

• Guardar información en S3
• Guardar metadatos en RDS

Corregir el redme. Incluir el nuevo problema

• Raw
• Preprocessed
• Cleanned
• ML Preprocessed
• Modeling

• EDA y Limpieza Notebook (Trabajar en Zepelin)
• Python Script - Limpieza

Task

• Actualizar el README.md hasta la parte de modeling.

En AWS actualmente para el schema preprocessed la información se guarda en formato parquet utilizando pandas, quedando toda la información comprimida en un solo archivo parquet, sin embargo, no se ha podido hacer con pyspark para comprimir un archivo en varias particiones parquet.

• Guardar información en particiones parquet utilizando pyspark

Implementación en Luigi:

• Clean
• Feature

Algunos metadatos que aparecen en lista deben ser incluidos y otros deben ser organizados.

• Faltantes (editar):

  • status obtenido directamente del task
  • tamaño de los archivos en S3 para ELT

• Organizar los metadatos de los modelos.

  • nombre del modelo
  • hiper-parametros que incluye por default el modelo (bien sea en sklearn o en la librería a usar)

Tratar de implementar tareas especializadas de luigi para evitar triangulación:

• guardado de metadatos en rds: Copytotable
• ejecución de Spark jobs (cuando sea implementados): PySparkTask.

• Definir cual será el grupo de referencia, nuestro atributo protegido. ¿Cuáles serán nuestras métricas de fairness? (definirlas de acuerdo a nuestro problema)

• Actualizar - Pruebas Unitarias.

• Guardar información en S3
• Guardar metadatos en RDS

• Generar metadatos
• Crear tablas para los schemas Clean y Feature
• Insertar metadatos en RDS

• Feature engineering y transformación de datos notebook (Trabajar en Zepelin)
• Python Script - Feature engineering y transformación de datos

Agregar variable "distrito" para cumplir con el requerimiento de atributo protegido y grupo de referencia.

• Actualizar python script

Tasks:

• Generar fronts (dashboard) que puedan visualizar la metadata -información- que se está generando en nuestros pipelines.

• Toca revisar los cambios que hice en estos dos documentos:

ETL-Luigi Tasks

lui_tasks_S3

• Falta revisar las gráficas e integrar en el flujo de los tasks. Te mandé link al sitio donde trabajé las gráficas por correo.

• Quedan dos tasks pendientes:

Fetch y save de metada relacionada con la parte del extract

Fetch y save de metadata relacionada con el la parte del transform

• Actualizar imagen en docker incluyendo instalaciones en Spark
• Mejorar entorno para reemplazar la utilización de pipenv
• Incluir de modo nativo la paquetería necesaria utilizada en el pipenv del proyecto en script de configuración de la EC2.

• Python Script - Modelado

Pensar en la implementación de magic loop para ser ejecutado en luigi, conservando atomicidad de las tareas en el orquestador (que se ejecute una sola cosa en cada task).

• Los tasks de modelo deben guardar todos los hiper-parametros que el modelo utiliza (incluyendo los que están por default en sklearn)
• Si se ejecutan varios modelos a la vez, los metadatos de sus combinaciones deben quedar guardados (también sus pickles).
• Empezar a ver implementación tanto en sklearn tradicional y también en su versión paralelizada utilizando pyspark.

Dar formato a la información para que aequitas pueda leerla.

Notas:
La idea seria buscar en S3 los pickles de modelos que se han ejecutado para generar predicciones y a estas predicciones darles el formato correcto para correr aequitas. (Output CSV)

Realizar pruebas unitarias para los niveles:

• Clean
• Feature

Notas:

• Ocupar MARBLES y que cada nivel tenga 2 pruebas unitarias. (Revisar implementacion de MARBLES, documentar errores, clean y Feature)
• Solo considerar que para feature engeering hagamos uno con PANDAS. (Seccion particular de pandas para hacer unit testing)

Incluir la creación de estas variables en el código de generación de metadatos.

• Log
• Variables (columnas)
• {Actualizar}