Se ha comentado que una de las diferencias entre las primeras neuronas artificiales y las modernas es el tipo de función de activación usada. Y es que las primeras funciones usadas (la función escalón de Rosenblatt y la función identidad de la Adaline) han ido dejando paso a otras funciones que se han mostrado mucho más eficientes. Se muestran a continuación algunos ejemplos de funciones de activación (se incluyen la función escalón y la función identidad solo por motivos pedagógicos):
Nombre | Ecuación | Gráfica |
---|---|---|
Binary step | ![]()
|
![]()
|
Identity | ![]()
|
![]()
|
Sigmoid or Logistic | ![]()
|
![]()
|
Rectified Linear Unit (ReLU) | ![]()
|
![]()
|
SoftPlus | ![]()
|
![]()
|
Gaussian | ![]()
|
![]()
|
De éstas, una de las más usadas es la Rectified Linear Unit (frecuentemente llamada ReLU).