Ya comentamos el meta-algoritmo (o la familia de meta-algoritmos) Gradient Boosting al hablar de modelos basados en árboles de decisión. A semejanza de lo que ocurre en AdaBoost, Gradient Boosting entrena un número de aprendices débiles en secuencia, intentando que cada uno de ellos se centre en los errores que el anterior haya cometido. La mayor diferencia con AdaBoost es que Gradient Boosting entrena cada aprendiz no en los datos de entrenamiento, sino en los errores residuales cometidos por el aprendiz que lo precede, es decir, en la diferencia entre los valores de la variable objetivo y las predicciones del aprendiz anterior.
El parámetro learning_rate determina el grado de contribución de cada aprendiz al resultado final.
