Un factor crítico en el proceso descrito es el ya conocido Learning rate o Tasa de aprendizaje. Siguiendo con la metáfora de quien está de noche en una montaña, la tasa de aprendizaje podría ser la longitud del paso que damos cada vez que decidimos cambiar de posición. Si damos pasos muy grandes, es posible que lleguemos al punto de menor altura que estamos buscando y lo pasemos de largo, en cuyo caso, al volver a plantearnos hacia dónde dirigirnos, escogeríamos la dirección que nos llevase de vuelta hacia el punto objetivo y, una vez más, correríamos el riesgo de saltarlo. Por el contrario, si damos pasos muy pequeños es más difícil que nos saltemos el mínimo buscado, pero tardaremos mucho más en llegar a él.
En la práctica, la tasa de aprendizaje suele ser un valor pequeño, como 0.01 o 0.001.
