Este proceso continuaría con las demás muestras, pasando una por una y modificándose los pesos en cada caso si las predicciones realizadas por la neurona no coinciden con la etiqueta de la muestra siendo considerada.
El paso de todas las muestras por la neurona es lo que se conoce como un epoch.
Es posible que, tras un epoch, la neurona todavía no haya convergido (es decir, es posible que los pesos no hayan tomado todavía sus valores óptimos), especialmente si la tasa de aprendizaje es pequeña, por lo que podemos repetir el proceso durante epochs adicionales.