Estabilidad en Machine Learning a través de sus algoritmos 

Objetivos 

​

​​

1. Clarificar los conceptos fundamentales de Machine Learning en diversos algoritmos tales como overfitting, regularización y costo computacional. 

2. Conocer los detalles de tres célebres y útiles algoritmos (modelos) en Machine Learning: Redes Neuronales, Support Vector Machines y Árboles de Decisión. 

3. Invitar a los alumnos al método de Boosting con un enfoque en sus aplicaciones a Machine Learning así como sus limitaciones. 

4. Estudiar los detalles detrás de algunos algoritmos estocásticos en Machine Learning.

5. Una vez cumplidos los objetivos anteriores buscamos iniciar a los alumnos en las ideas de estabilidad dentro de Machine Learning, lo haremos mediante ejemplos concretos con los algoritmos y meta-algoritmos detallados en el temario. 

​

Temario 

​

1. Principios de redes neuronales 

• Perceptrón lineal

• Justificación teórica del Perceptrón

• Regularización del perceptrón

• Algoritmo del gradiente

• Redes neuronales en general

• Forecasting vía redes neuronales

  2.  Support Vector Machines​

• Definiciones básicas y complementos de probabilidad

• Comparación con el Perceptrón 

• Estabilidad en SVM

  3.  Árboles de decisión ​

• Algoritmos básicos

• Entropía y su relación con la teoría de la información.

• Estabilidad de los árboles de decisión

  4.  Boosting​

• Boosting conjuntista 

• Boosting estocástico

• Composición de algoritmos lineales

• Estabilidad de Boosting

  5.  Stochastic Gradient Descent 

• Repaso sobre el método del gradiente

• Método del gradiente estocástico para el perceptrón

• Gradiente estocástico para SVM

• Gradiente estocástico para redes neuronales en general

  6.  Invitación a los Algoritmos de aproximación estocástica (si el tiempo lo permite)

• Urnas de Polya 

• Principios de Martingalas 

• Funciones de Lyapunov

• Aproximación estocástica