Regresión y clasificación

Cuando pasamos de manipular datos a empezar a construir modelos hay que hablar de dos conceptos clave en los modelos predictivos: la regresión y la clasificación.

El aprendizaje supervisado comprende una gran variedad de aplicaciones, desde el reconocimiento de imágenes hasta la predicción de valoraciones en bolsa o la traducción automática. Sin embargo, desde un punto de vista conceptual, todas ellas pueden entenderse como la solución a un problema de predicción (de un valor futuro, o pasado y desconocido, o no observado nunca, etc.). Concretamente todo serían variantes de dos grandes tipos de problemas: problemas de regresión, si se trata de predecir un número, y problemas de clasificación, si se trata de predecir una categoría. Como veremos, muchas tareas complejas en realidad no son más que combinaciones de ambos enfoques.

Variables continuas o discretas

El aprendizaje supervisado busca «modelar» (también podríamos decir «aproximar») una función y = f(X) a partir de ejemplos que están etiquetados (he ahí la «supervisión» de que los datos están correctos y que para cada xi tenemos el yi que le corresponde). La naturaleza de la variable objetivo y es precisamente la que define la frontera entre los dos grandes pilares de esta disciplina.

• Regresión: Si la variable objetivo y es continua (pertenece al dominio de los números reales) entonces el modelo que estamos creando es capaz de predecir magnitudes numéricas (ej. predecir el tiempo en segundos que le queda a un jugador para morir). Se usa esta palabra tan inapropiada («regresión») porque Francis Galton, investigando la altura de los hijos con respecto a los padres en el siglo XIX, dijo que los datos «regresaban hacia la media»… aunque en realidad estaba creando un método más genérico, que sirve para predecir variables numéricas continuas… ¡regresen o progresen, o vayan hacia donde vayan! 😉
• Clasificación: Si por el contrario la variable objetivo y es discreta (números aislados, generalmente enteros) o categórica (etiquetas o categorías sueltas), entonces el modelo que estamos creando es capaz de asignar una categoría (o etiqueta) a cada entrada recibida… es como si las estuviera «clasificando». Hablamos de clasificación binaria cuando sólo hay 2 categorías o etiquetas en las que clasificar las entradas, y hablamos de clasificación multiclase si hay mas de 2.

Frontera de decisión

Tanto en regresión como en clasificación, podemos entender que el modelo genera a nivel geométrico una superficie en el espacio de características (features). En clasificación, esto se traduce en la frontera de decisión, la superficie que separa las regiones asignadas a cada categoría. Como decíamos antes, la mayoría de los clasificadores modernos no devuelven simplemente una etiqueta, sino una distribución de probabilidad de pertenencia a cada una de las clases (lo que permite que en un videojuego podamos usar por ejemplo Utility AI y otros mecanismos de decisión basados en teoría de la probabilidad).

Una vez visto los dos grandes tipos de problemas, regresión y clasificación, ya entraremos a ver los modelos concretos para resolverlos (árboles de decisión, SVMs, clasificadores bayesianos, ensamblados, métodos basados en instancias como k-NN, etc.)

Más información

Para complementar es recomendable consultar otros documentos.

• …