Funciones de activación

Se ha comentado que una de las diferencias entre las primeras neuronas artificiales y las modernas es el tipo de función de activación usada. Y es que las primeras funciones usadas (la función escalón de Rosenblatt y la función identidad de la Adaline) han ido dejando paso a otras funciones que se han mostrado mucho más eficientes. Se muestran a continuación algunos ejemplos de funciones de activación (se incluyen la función escalón y la función identidad solo por motivos pedagógicos):

Nombre Ecuación Gráfica
Binary step Binary step

 

Binary step

 

Identity Identity

 

Identity

 

Sigmoid or Logistic Sigmoid or Logistic

 

Sigmoid or Logistic

 

Rectified Linear Unit (ReLU) Rectified Linear Unit (ReLU)

 

Rectified Linear Unit (ReLU)

 

SoftPlus SoftPlus

 

SoftPlus

 

Gaussian Gaussian

 

Gaussian

 

 

De éstas, una de las más usadas es la Rectified Linear Unit (frecuentemente llamada ReLU).