RMSProp

RMSProp o Root Mean Square Propagation es una variación de AdaGrad propuesta por Geoffrey Hinton en la que, en lugar de mantener un acumulado de los gradientes, se utiliza el concepto de "ventana" para considerar solo los gradientes más recientes, aplicándose a éstos una media exponencial ponderada para suavizar los cambios aplicados a los parámetros. Este enfoque puede ayudar a evitar que las tasas de aprendizaje se vuelvan excesivamente pequeñas.