lokrau / ml_project_credit_card

Machine Learning Projekt - Lorenz Krause (1840200)

Daten

Die entscheidung fiel darauf die Datenbeschaffung und die Verarbeitung in zwei Notebooks zu separieren, um zu vermeiden, dass die Daten bei mehrfacher Ausführung des Notebooks erneut heruntergeladen werden müssen.

Datenbeschaffung

Die im Rahmen dieses Projekts verwendeten Daten werden von Kaggle heruntergeladen. Dazu wird ein Kaggle Account mit einem API Roken benötigt. Dieser Token kann wie hier zu sehen erstellt werden. Der Download der Daten erfolgt über das Notebook data_download.ipynb.

Datenverarbeitung

Die Daten werden anschließend im Notebook data_preperation weiterverarbeitet, um sie für das Training der Modelle vorzubereiten. Dabei erfolgt eine Unterteilung in Trainings-, Test- und Validierungsdaten.

Training und Tuning

Das Training und Tuning der Modelle erfolgt in vier unterschiedlichen Notebooks. Dabei wird zwei mal das selbe neuronale Netzwerk mit zwei unterschiedlichen Tunern optimiert und ein weiteres Modell mit einem Random Forest trainiert. Dabei wird für beide neuronale Netzwerke die Batch Size so optimiert, dass der Validierungsverlust möglichst gering ausfällt. Die Notebooks sind wie folgt benannt:

• train_keras_tuning.ipynb: Neuronales Netzwerk mit Keras Tuner optimiert
• wandb_tuning.ipynb: Neuronales Netzwerk mit Weights and Biases Sweeps optimiert
• train_wandb_tuned.ipynb: Das in wandb_tuning.ipynb optimierte Modell wird trainiert
• train_random_forest.ipynb: Random Forest Modell

Das Ziel ist in wandb_tuning.ipynb und train_wandb_tuned aufzuzeigen, wie der komplette Prozess samt des Hyperparameter Tunings mit Weights and Biases durchgeführt und aufgezeichnet werden kann. In train_keras_tuning.ipynb wird das gleiche Modell mit dem Keras Tuner optimiert, um die Unterschiede zu verdeutlichen und das Vorgehen mit einem anderen Tuner zu zeigen. In train_random_forest.ipynb wird ein Random Forest Modell trainiert, um zu untersuchen, ob es in diesem Fall wirklich einen Vorteil bringt, ein neuronales Netzwerk zu verwenden.

Weiterhin gibt es das Notebook train_wandb_tuning.ipynb. Hier ist der Prozess aus wandb_tuning.ipynb und train_wandb_tuned.ipynb nochmals in einem Notebook zusammengefasst. Allerdings hatte ich probleme nach dem Tuning mit den Sweeps einen neuen Wandb run zu starten, da das Training dann den letzten Sweep überschreibt, obwohl dieser wandb run bereits beendet wurde und das Training nicht zuverlässig durchläuft. Ich fand dieses Verhalten aber interessant und wollte es deshalb hier festhalten.

Zusammenfassung: Reihenfolge der Notebooks

1. data_download.ipynb
2. data_preperation.ipynb
3. train_keras_tuning.ipynb
4. wandb_tuning.ipynb
5. train_wandb_tuned.ipynb (hier müssen am Anfang des Notebooks die Sweep-ID und das Projekt angepasst werden)
6. train_random_forest.ipynb