Este parámetro, η, es el llamado tasa de aprendizaje o Learning rate en inglés, y tiene como objetivo evitar que los incrementos que se aplican a los parámetros internos del modelo (los pesos de la neurona en nuestro caso) sean demasiado grandes.
Obsérvese que una tasa de aprendizaje menor supone incrementos menores -con lo que resultará más fácil encontrar los valores óptimos para los pesos-, pero también supone que serán necesarios más cambios en los pesos para dar con ellos.
Habitualmente suele ser un valor pequeño (como 0.001), aunque se han ido desarrollando estrategias cada vez más eficientes para gestionar este parámetro. Así, la tasa de aprendizaje puede ser un valor constante (y así ocurría con el Perceptrón) o puede variar durante el proceso de entrenamiento del algoritmo.
