Norbert Wiener (1894 - 1964) fue un matemático estadounidense al que se reconoce como el padre de la cibernética. El año de su muerte publicó un ensayo al que llamó "God & Golem, Inc" (que en español suele traducirse por "Dios y Golem S.A."). En él escribió lo siguiente:
"Para empezar con las máquinas discentes, un sistema organizado puede definirse como aquel que transforma un cierto mensaje de entrada en uno de salida, de acuerdo con algún principio de transformación. Si tal principio está sujeto a cierto criterio de validez de funcionamiento, y si el método de transformación se ajusta a fin de que tienda a mejorar el funcionamiento del sistema de acuerdo con ese criterio, se dice que el sistema aprende."
Podemos resumir esto diciendo que, según Norbert Wiener, si un sistema recibe un mensaje de entrada, lo transforma en otro mensaje de salida, la calidad de esta transformación es medible según algún criterio, y esta calidad mejora con el tiempo, podemos decir que el sistema aprende.
Esta definición explica extraordinariamente bien el tipo de aprendizaje que se produce cuando se entrena un algoritmo de Machine Learning o, al menos, cuando entrenamos "ciertos" algoritmos de Machine Learning.
