La regularización en Machine Learning es un concepto fundamental que permite algunas veces hacer predicciones o cuando los métodos tradicionales no lo permiten. En este curso explicamos algunas de las razones por las cuales podría ser necesario utilizar algún tipo de regularización tales como: la maldición de la dimensión, la correlación o la dependencia algebraica. Estudiaremos distintos algoritmos que hace uso de este importante concepto como Ridge, Lasso, Árboles de decisión, SVM o Boosting.

 

1. Regresiones lineales y su regularización

• ​Repaso Espacios de Probabilidad y Variables Aleatorias

• Definición formal de sobre-ajuste

• Método de Gauss para mínimos cuadrados: caso inyectivo

• Repaso de inversión de matrices y cálculo diferencial

• Soluciones exactas y analíticas (método del gradiente)

• Cualidades estadísticas del método de Gauss

• Test estadísticos e intervalos de confianza

• Caso no inyectivo y regularización de Ridge (norma L2)

• Regularización de Lasso y comparación (norma L1)

• Repaso de distribuciones continuas y Teorema Límite Central

• Interpretación Bayesiana Ridge (Normal) y Lasso (Laplace)

• Regresiones robustas (OPCIONAL)

 

2. Redes neuronales y su regularización

• Algoritmo del Perceptrón clásico

• Justificación teórica del Perceptrón en el caso lineal

• Solución analítica (on-line) del Perceptrón

• Regularización del Perceptrón y SVM

• Redes neuronales en general

• Regularización en general para redes neuronales

 

3. Árboles de decisión y su regularización

• Clasificación no lineal

• Definición formal de los árboles de decisión

• El concepto de entropía

• Álgoritmos de aprendizaje

• Regularización para árboles de decisión

​

4. Estabilidad

• Estabilidad y regularización

• Estabilidad en regresiones logísticas

• Estabilidad en boosting

• Estabilidad en máquinas de soporte vectorial

​

​

​

​

​

​

​

​