datosgobar / analytics Goto Github PK

Series_features.ipynb pasaría a llamarse series-exploracion-features.ipynb para que sea consistente con el nuevo que las genera a partir del análisis de este.

En la distribución de IPs según la cantidad de llamadas se ven N grupos, estos grupos se diferencian por alguna otra cosa?

• días en las que operan
• horas del día en la que operan (grupo, e ips)
• dispersión de las horas en las que operan (grupo, e ips)
• variedad de series que consultan (grupo, e ips)

En el notebook series-generacion-features-usuarios.ipynb buscamos generar una tabla reproducible de características de los usuarios de la API de series (definidos por 1 usuario = 1 IP).

La idea es interpretar el análisis del notebook exploratorio en busca de features útiles para describir a los usuarios de la API, e implementarlas de forma tal que la generación de cada una esté encapsulada en una función que pueda ser ejecutada independientemente contra el input original, y agregue una nueva columna, con una nueva característica.

• La función debe documentar en su docstring la "definición" del indicador / característica que se calcula.
• Los nombres de las funciones tienen que seguir una consistencia entre ellas (van a ser muchas) y arrancar con un prefijo que permita identificarlas como "esta es una función que genera una feature / indicador / característica del usuario" (después más adelante vamos a usar esto para documentar automáticamente aparte todos los indicadores generados
• Todas las funciones deben aplicarse al final del notebook contra el input, generando un dataframe con todas las features, que se guarda en CSV
• No se debe guardar ningún CSV en Github que tenga una IP hay que anonimizarlas de entrada cuando se toma el input, si es que no están ya anonimizadas.

Segmentar la población según el porcentaje de llamadas que hace de 8 a 21hs:

• evaluar dispersión de los IDs que consulta
• cantidad de llamadas que realiza

Usar el Makefile de la carpeta de series para descargar un nuevo dump de analytics desde el 2018-07-01.

MVP

Notebook prolijo que extrae el crudo de analytics, parsea y agrega columnas relevantes y las utiliza para generar el informe.

• Armar un makefile para descargar los analytics (series/Makefile)
• Hacer el primer notebook de informe series/series-informe-bcra.ipynb

Estructura

0. Carga y normalización de analytics

• Generación de columnas auxiliares
• Normalización y parseo
• DFs filtrados para BCRA

1. Resumen ejecutivo

• Generación de números globales
• Informe breve de los números globales

2. Sección de cantidad de llamadas

• Perfil semanal de consulta de las series del BCRA
• Evolución (diaria, semanal, mensual) de consulta de las series del BCRA

3. Sección de cantidad de "usuarios"

• Comportamiento de usuarios segmentados por tipo de consumo (grupos de cantidad)

Notas

• Siempre calcular el número global total de hits, ips, etc a series del BCRA primero y mostrar evolución después.
• Agregar al crudo de analytics las columnas auxiliares que parezcan útiles / necesarias para explotar los datos más fácilmente en secciones más adelante.

Distribución de IPs según la cantidad de días que estuvieron activas