Frecuentemente se habla de aprendices débiles y fuertes (weak learners y strong learners en inglés, respectivamente). Aunque hay definiciones matemáticas de este tipo de aprendices, el concepto que hay detrás es relativamente sencillo: un aprendiz fuerte es aquel que, dado el suficiente número de muestras para el análisis, es capaz de cometer un error inferior a cualquier límite que se imponga. Por el contrario, un aprendiz débil es aquel que solo puede limitar su error a un cierto valor mínimo. Otra forma de definir al aprendiz débil es diciendo que éste tiene un comportamiento solo ligeramente superior al que tendría un aprendiz que predijese de forma puramente aleatoria.
Existe toda una familia de "meta-algoritmos" de ensamblado de aprendices capaces de convertir un conjunto de aprendices débiles en un aprendiz fuerte. Esta familia de meta-algoritmos se denomina boosting. Repasaremos el concepto de ensamblado de modelos un poco más adelante.
