Punto de silla

Impacto del optimizador

En esta tercera situación de la que se parte de un punto con bajo gradiente (un punto con poca pendiente) el comportamiento recuerda a la anterior situación: Momentum y NAG "exploran" en la dirección inicial y tardan más en encontrar el camino correcto. NAG, cuando lo hace, aplica incrementos superiores a los de RMSProp y Adagrad que, en este caso particular, son los que antes se orientan en la dirección correcta.