Técnicas Avanzadas de Machine Learning III: Deep Learning

Profesor: Manuel Mendoza García, Científico Titular del CSIC 

Objetivo de los Cursos

Aprender a aplicar con R las principales técnicas de Aprendizaje automático en investigación científica, comprendiendo en profundidad cómo funcionan. El curso tiene una fuerte componente práctica (≈ 80%), con 82 ejercicios prácticos en total procedentes de investigaciones reales, cuya programación, resolución e interpretación se va viendo simultáneamente con la teoría.

A quién va dirigido

Investigadores de cualquier nivel académico.

Requisitos

Conocimientos básicos de R.

Haber cursado el módulo Técnicas Avanzadas de Machine Learning I: Árboles de Decisión ó alguno de los cursos ofertados en convocatorrias anteriores, puesto que cada uno de ellos se apoya en los conocimientos del anterior. Los alumnos recientes pueden saltarse los dos primeros, para hacer el 3º, aunque el segundo está bastante ampliado y mejorado. Los alumnos que hicieron el curso de menos de 40 horas deberían hacer el 2, también, si quieren hacer el 3.

Material incluido en el curso

Los códigos (explicados) de los 82 ejercicios del curso.

Guía del curso en Power Point, que incluye la explicación de todos los conceptos fundamentales y la síntesis de los resultados de la mayoría de los ejercicios.

PROGRAMA

TÉCNICAS AVANZADAS DE MACHINE LEARNING III

Deep learning

1. Introducción

1.1 Redes Neuronales (RN)

1.2 Redes Neuronales Artificiales (RNA) vs. Redes Neuronales Biológicas (RNB)

1.3 Funcionamiento general del aprendizaje profundo

1.4 Optimización con Descenso por Gradiente (DpG)

Gradiente de una función escalar

Gradiente de una FdP

1.5 Otros algoritmos de optimización

2. Redes Neuronales Feedforward (RNF)

2.1 Entrenamiento (con DpG)

Forward propagation

Backward propagation

Bucle de entrenamiento

2.2 Función de activación (FdA)

2.3 Programación de RN extremadamente simples

Ejercicio 3.2.1. Activación de la única neurona de una RN con la FdA ReLU y actualización de sus pesos. Script DL

Ejercicio 3.2.2. Programar paso a paso una RN feedforward con una sola capa (oculta) y una sola neurona, sin utilizar ningún paquete.
 

Trade-off entre sesgo y varianza en DL

3. Introducción a la librería Keras

3.1 Hiperparámetros (Hpps) básicos

Ejercicio 3.3.1. Estimar con RNF la riqueza de especies de aves invernantes a partir de predictores ambientales, a) Optimizar el nº de épocas con checkpoint_callback, b) Inferir la riqueza de especies esperable en una nueva localidad (NvLoc). Script Numspc.

Ejercicio 3.3.2. (Solos) Estimar con RNF la masa corporal de las aves a partir de su morfología, a) Optimizar el nº de épocas con checkpoint_callback, b) estimar la masa corporal de Accipiter brachyurus, Cincloramphus cruralis y Tigriornis leucolopha (datos reales pero no de una investigación real). Script AVONET

Ejercicio 3.3.3. Entrenar un modelo de RNF para predecir si una comunidad estará depauperada a partir de una serie de factores de impacto humano. Optimizar el nº de épocas con checkpoint_callback. Script Human impact.

Ejercicio 3.3.4. (Solos) Entrenar un modelo de RNF para diagnosticar la posible malignidad de un tumor a partir de 10 características diferentes que pueden tomarse a partir de imágenes digitalizadas de una aguja de biopsia del seno. Optimizar el nº de épocas con checkpoint_callback. Script BreastCancer.

Ejercicio 3.3.5. Entrenar un modelo de RNF para predecir el comportamiento migratorio de las aves a partir de su morfología (clasificación multiclase). a) Optimizar el nº de épocas con checkpoint_callback, b) predecir el comportamiento migratorio de Accipiter brachyurus, A. brevipes y A. Butler (testspcs). Script AVONET

Ejercicio 3.3.6. Entrenar un modelo de RNF para predecir la riqueza de especies invertívoras (IFd) a partir del clima, con datos de validación independientes (datos estructurados espacialmente). Script CLiMod.

4. Redes Neuronales Convolucionales (CNN)

4.1 Ventajas

4.2 Diferencias (de las CNN) con las RNF

4.3 Tensores

4.4 Clasificación de imágenes con MNIST

Ejercicio 3.4.1 Entrenar con keras una CNN para el reconocimiento de dígitos escritos a mano. Script MNIST_CNN

Ejercicio 3.4.2 Entrenar una CNN para el reconocimiento de 5 grandes grupos de mamíferos acuáticos (castores, delfines, nutrias, focas y ballenas) a partir de 500 fotos de ejemplares de cada grupo. Testar con otras 100 fotos/grupo dando la matriz de confusión y el coeficiente kappa. Script AqMammals.

5 Redes Neuronales recurrentes (RNN)

5.1 Análisis de Series Temporales (ST): regresión multivariada

Ejercicio 3.5.1. Entrenar un modelo de Red Neuronal Recurrente (RNN) utilizando capas LSTM para predecir el nivel de ozono a partir de ciertas características ambientales y ciertos indicadores de contaminación. Script AirQuality

5.2 Análisis de Series Temporales: Auto-regresión basada en ventanas temporales

Ejercicio 3.5.2: Entrena un modelo de RNN utilizando capas LSTM bidireccionales que permita predecir la temperatura a lo largo de un día, a partir de los registros de temperatura de las 24 horas anteriores (registrados cada 10 minutos). Script Jenaclim

5.3 Procesamiento del Lenguaje Natural (PLN) con el Conjunto de Datos Reuters

Ejercicio 3.5.3: Entrenar una RNN con capas feedforward y BiRNN para predecir las categorías temáticas de noticias de la Agencia de Información Reuters, a partir de su contenido textual. Script Reuters

5.4 Optimización de los hiperparámetros (Hpps)

Ejercicios 3.5.4 – 3.5.6. Optimización con rejilla aleatoria de los hpps de los ejercicios 3.3.1 a 3.3.3

Ejercicios 3.5.7 – 3.5.8. Optimización bayesiana de los hpps de los ejercicios 3.4.2 y 3.5.2

5.5 Optimización de los hiperparámetros con keras tuner

Ejercicios 3.5.9. Optimización con keras tuner de los hpps de los ejercicios 3.4.2 y 3.5.2