Para concretar un poco más lo visto hasta ahora, llevemos "al papel" la idea de los pequeños incrementos. Sigamos suponiendo que estamos trabajando con una red neuronal con dos únicos parámetros, a y b, en la que, por lo tanto, la función de error depende de éstos:
error=f(a, b)