La técnica de bucket of models (lo que podríamos traducir como "cubo de modelos") se basa en escoger el modelo que mejor resultado dé entre los modelos siendo considerados. Si estamos probando nuestros modelos en un escenario particular, un bucket of models no va a dar mejor resultado que el mejor de los modelos, pero si se están evaluando los modelos en diferentes escenarios, el resultado del bucket of models va a mejorar, habitualmente, el comportamiento de los modelos individuales.
Una aproximación frecuente a esta técnica es el uso de la "validación cruzada" que ya hemos visto: el conjunto de entrenamiento de divide recursivamente en bloques de entrenamiento y validación, y se generan modelos que son entrenados con los primeros y probados con los segundos. Normalmente los resultados obtenidos se combinan de cierta forma (calculando un promedio, por ejemplo, o por mayoría en una votación simple) pero si se escogiese el que mejor resultado hubiese obtenido se estaría implementando un bucket of models.
