Regularización L1

Si interpretamos los parámetros como un vector, podemos penalizar el modelo según la norma del vector (según su longitud, medida ésta según algún criterio). Pues bien, la regularización L1, también conocida como regularización de Lasso, agrega una penalización equivalente a la suma de los valores absolutos de los parámetros (la llamada distancia Manhattan). Así, en el ejemplo anterior, el vector era:

w = [8523, -1627, 4920, -3250]

y su norma L1:

||w|| = |8523| + |-1627| + |4920| + |-3250| = 8523 + 1627 + 4920 + 3250 = 18320

(recordemos que |a| representa el valor absoluto de a)

El valor obtenido, 18320, se añadiría a la función de coste (multiplicado por un cierto coeficiente de regularización) penalizando aquellas combinaciones de parámetros con valores mayores, y favoreciendo las combinaciones con valores menores.