edwinb-ai / deep-workshop

Taller/ejercicios para tener los elementos necesarios de Deep Learning

Edwin Bedolla 💻

Education

• BSc. in Physics.
• MSc in Applied Sciences, my thesis can be read here or in the arXiv.
• Currently: PhD candidate at Utrecht University in Prof. Marjolein Dijkstra's group.

These are some of my interests:

• Soft Matter Physics and Computer Simulations.
• Numerical Methods and Scientific Computing.
• Optimization and metaheuristics.

Some of the programming languages that I can work with (in order of preference):

• Julia
• Python
• Fortran
• C/C++
• R

deep-workshop's Issues

Agregar ejemplo/ejercicio de batch normalization

Para comprobar la eficacia de batch normalization se debe agregar un ejemplo/ejercicio que lo implemente, con alguna base de datos estándar o de otro tipo más general.

Implementar VGG16

La CNN VGG16 es una red neuronal que tuvo excelentes resultados cuando salió. Lo más importante de esta red neuronal es que es muy utilizada para efectos de codificación de datos en redes neuronales médicas.

Regularización de pesos

Una de las formas más comunes hoy en día de reducir el sobreajuste es con la regularización de pesos, ya sea aplicando Ridge, Lasso o ElasticNet. Aplicar estas regularizaciones en un mismo conjunto de datos para comparar los resultados. Aplicar también otras técnicas de regularización con Batch Normalization para tener un ejemplo más completo de una implementación robusta.

Regularización por ruido y Dropout

Una de las formas de regularización es agregar ruido a la entrada, o a la salida, o a los pesos.

Por otro lado, Dropout es otra forma de regularización que funciona mediante la selección aleatoria de unidades conectadas, para al final hacer un estimado de los valores encontrados.

Aplicar estas técnicas, por separado o en conjunto, para observar la regularización que pueden proveer en un modelo.

Transfer Learning

Es una estrategia de aprendizaje donde se entrena alguna red neuronal con un conjuntod de datos lo suficientemente grande para aprender muchas características, después se emplea esta red neuronal preentrenada con un nuevo conjunto de datos.

En este ejemplo se quiere implementar esta estrategia mediante una clasificación de imágenes con alguna de las redes neuronales ya entrenadas.

Ejemplo básico de MLP

En este ejemplo se pretende realizar una red neuronal básica que haga clasificación y regresión, con conjuntos de datos básicos si es posible.

El propósito es describir las partes fundamentales de las MLP, sus elementos principales, y algunas perspectivas de diseño de arquitecturas.

Actualizar a TensorFlow 2.0

Ejemplos y soluciones, libretas y todo debe estar en la nueva API de TensorFlow 2.0

Convolutional Neural Networks

Son un tipo de redes neuronales que permiten la generación de conocimiento de imágenes mediante sus rasgos más básicos.

En este ejemplo se pretende crear algunas de las más básicas y conocidas arquitecturas de CNN e implementarlas en bases de datos estándar para comprobar su eficacia.

Aumento de datos

No siempre se puede tener mucha información, como se quisiera, y en estos caso se pueden realizar varias metodologías que se han propuesto en la literatura.

En este ejemplo se pretende emplear el aumento de datos particularmente para imágenes, donde se rotan, giran, invierten, entre otras operaciones, para crear un conjunto de datos más grande que en realidad es el mismo. Debería proveer mejores resultados de clasificación y predicción.

Incluir Early Stopping

Uno de los métodos de ajuste para el learning rate, inicialización de pesos y otras cosas es Early Stopping.

Implementar un ejemplo completo utilizando solamente este tipo de metodología, o combinado con otra forma de regularización.