Parámetros e hiperparámetros

Y la mención a la tasa de aprendizaje nos lleva a otra distinción importante: durante el entrenamiento del Perceptrón se van a ajustar sus parámetros internos (pesos y bias) de forma tal que, a partir de las características predictivas del conjunto de entrenamiento, se obtengan sus etiquetas (o que, al menos, se minimice el error cometido). Estos pesos y bias que se van a ajustar en función de los datos reciben el nombre de parámetros del algoritmo.

Sin embargo, hay otros valores que también van a influir en el comportamiento del modelo resultante. Por ejemplo, la tasa de aprendizaje. Pero fijémonos en que este otro valor va a depender, no de los datos, sino de la elección arbitraria que nosotros realicemos: puedo escoger una tase de aprendizaje de 0.001, o de 0.0001, o una tasa que varíe a lo largo del entrenamiento. Este tipo de “parámetros” del algoritmo que dependen del analista reciben el nombre de hiperparámetros del algoritmo y, como elecciones arbitrarias que son, deberán ser validadas (comparando el comportamiento del modelo obtenido con el comportamiento de otros modelos configurados con otros hiperparámetros).