Contiene la presentación del proyecto de datos realizado a propósito de la materia "Data Product Architecture": 1) Producto de datos funcional: Video de corrida final del producto de datos; 2) Presentación de "front"; 3) Entrega de documento final en repositorio; 4) Último commit del proyecto
En AWS actualmente para el schema preprocessed la información se guarda en formato parquet utilizando pandas, quedando toda la información comprimida en un solo archivo parquet, sin embargo, no se ha podido hacer con pyspark para comprimir un archivo en varias particiones parquet.
Guardar información en particiones parquet utilizando pyspark
Definir cual será el grupo de referencia, nuestro atributo protegido. ¿Cuáles serán nuestras métricas de fairness? (definirlas de acuerdo a nuestro problema)
Pensar en la implementación de magic loop para ser ejecutado en luigi, conservando atomicidad de las tareas en el orquestador (que se ejecute una sola cosa en cada task).
Los tasks de modelo deben guardar todos los hiper-parametros que el modelo utiliza (incluyendo los que están por default en sklearn)
Si se ejecutan varios modelos a la vez, los metadatos de sus combinaciones deben quedar guardados (también sus pickles).
Empezar a ver implementación tanto en sklearn tradicional y también en su versión paralelizada utilizando pyspark.
Dar formato a la información para que aequitas pueda leerla.
Notas:
La idea seria buscar en S3 los pickles de modelos que se han ejecutado para generar predicciones y a estas predicciones darles el formato correcto para correr aequitas. (Output CSV)