aflatoune / huawei

Ramp challenge Huawei

Optical Access Network Challenge

Preparing data

The raw data is located in the subfolder /data. It consists in a set of a few thousand time series that spear around 20 days of time.

data/
    city_A/
        source.npy
        source_labels.npy
    city_B/
        target.npy
        target_labels.npy
        test.npy
        test_labels.npy

However, the challenge consists in predicting failure using only a single week of data. Hence, we preprocess the original data with the following code

~/hackathon/data $ python prepare_data.py

This program will consider the original data and will output a pickle file that will generate sub time-series of a 1 week length. The output will be located as follow

    city_A/
        ramp_train.pickle
    city_B/
        ramp_target.pickle
        ramp_test.pickle

These file are the one that will be read by problem.py.

Be careful: we leave you the original data so you can explore it. But the private dataset has been generated using the original prepare_data.py program. So mess with it, we do not forget how the private dataset is processed :)

huawei's Issues

Préparer le jeu de données

• ajouter les données de chaque ville (A et B) labélisées
• Voir les corrélations avec les autres variables pour chaque observation
• Choisir une unité de temps et des métriques d'aggrégation
• sélectionner les variables à utiliser
• tester l'apport de first-diff
• gérer les valeurs extrêmes

Créer un modèle

• voir si un effet crescendo d'unité temporelle (d'abord par jour, puis dernier jour par heure, puis dernières heures (3h avant ?) par 15 mins)
• tester plusieurs modèle (LGBM, XGBoost, RandomForests)
• tuner les modèles et voir les courbes d'apprentissages

Imputer les valeurs manquantes

• estimer le nombre de NA (par variable, par observation et par unité de temps)
• trouver une méthode d'imputation selon ce qui est trouvé