La Regresión Rigde, también denominada regresión contraída o Tikhonov regularization, regulariza el modelo resultante imponiendo una penalización al tamaño de los coeficientes de la relación lineal entre las características predictivas y la variable objetivo. En este caso, los coeficientes calculados minimizan la suma de los cuadrados de los residuos penalizada al añadir el cuadrado de la norma L2 del vector formado por los coeficientes:
...donde λ es un parámetro que controla el grado de penalización: cuanto mayor éste, los coeficientes serán menores resultando más robustos a la colinealidad. Cuando α es igual a cero, Ridge es equivalente a la regresión lineal.
La norma L2 es equivalente a la distancia Euclidea del vector al centro de coordenadas, por lo que la penalización es proporcional a los cuadrados de los coeficientes. Por poner un ejemplo sencillo, si el vector de coordenadas es (2, 3) -supongamos que estamos trabajando solo con dos características predictivas-, la "norma 2" (L2) de este vector sería la distancia del punto (2, 3) a (0, 0), es decir, la raíz cuadrada de 22 + 32: 3.16 aproximadamente. La penalización sería el cuadrado de este valor: 10 (resultante de sumar los cuadrados de los coeficientes).
Nótese que el término de regularización solo se añade a la función de coste durante el entrenamiento: la evaluación del rendimiento del modelo se realiza considerando solo la función de coste sin regularizar.
Scikit-Learn implementa este algoritmo en la clase sklearn.linear_model.Ridge (entrenado usando la ecuación normal), aunque también puede entrenarse vía Gradient Descent usando la clase class sklearn.linear_model.SGDRegressor y especificando penalización l2
