Las preguntas relativas a las capas ocultas no tienen una respuesta sencilla pues, en función de los datos con los que entrenemos la red neuronal, será más conveniente una opción u otra.
En la práctica se utilizan frecuentemente métodos heurísticos basados, por ejemplo, en entrenar y validar el modelo probando un cierto conjunto de valores para los hiperparámetros que queremos determinar.
Por ejemplo, podemos validar el modelo generado usando una o dos capas ocultas conteniendo cada una 5, 10 o 20 neuronas y usando como función de activación la función sigmoide o ReLu. Tras obtener el mejor resultado de estas combinaciones podríamos seguir realizando pruebas con valores próximos a los mejores obtenidos hasta ese momento para optimizar el modelo.
