Un factor crítico en el proceso descrito es el llamado Learning rate o Tasa de aprendizaje. Siguiendo con la metáfora de quien está de noche en una montaña, la tasa de aprendizaje sería la longitud del paso que da cada vez que decide cambiar de posición. Si damos pasos muy grandes, es posible que lleguemos al punto de menor altura que estamos buscando y lo pasemos de largo, en cuyo caso, al volver a plantearnos hacia dónde dirigirnos, escogeríamos una dirección de nuevo hacia el punto objetivo y, de nuevo, podríamos saltarlo. Por el contrario, si damos pasos muy pequeños es más difícil que nos saltemos el mínimo buscado, pero tardaremos mucho más en llegar a él.
En la práctica, la tasa de aprendizaje suele ser un valor muy pequeño, como 0.01 o 0.001.
