Bootstrap aggregation, también llamado bagging, consiste en entrenar los diferentes modelos con subconjuntos del conjunto de entrenamiento, dando a cada resultado obtenido un voto con el mismo peso. Por defecto, las muestras escogidas para cada aprendiz son escogidas con reemplazo (lo que significa que una muestra dada puede ser escogida más de una vez en cada bloque de entrenamiento aleatorio). Si la selección se realiza sin reemplazo, el método se denomina pasting.
El ejemplo más clásico de bagging es Random Forest, algoritmo que ya hemos visto.
Scikit-learn implementa esta funcionalidad en las clases sklearn.ensemble.BaggingRegressor y sklearn.ensemble.BaggingClassifier.