Regresión y clasificación

Cuando pasamos de manipular datos a empezar a construir modelos hay que hablar de dos conceptos clave en los modelos predictivos: la regresión y la clasificación.

El aprendizaje supervisado comprende una gran variedad de aplicaciones, desde el reconocimiento de imágenes hasta la predicción de valoraciones en bolsa o la traducción automática. Sin embargo, desde un punto de vista conceptual, todas ellas pueden entenderse como la solución a un problema de predicción (de un valor futuro, o pasado y desconocido, o no observado nunca, etc.). Concretamente todo serían variantes de dos grandes tipos de problemas: problemas de regresión, si se trata de predecir un número, y problemas de clasificación, si se trata de predecir una categoría. Como veremos, muchas tareas complejas en realidad no son más que combinaciones de ambos enfoques.

Variables continuas o discretas

El aprendizaje supervisado busca «modelar» (también podríamos decir «aproximar») una función y = f(X) a partir de ejemplos que están etiquetados (he ahí la «supervisión» de que los datos están correctos y que para cada xi tenemos el yi que le corresponde). La naturaleza de la variable objetivo y es precisamente la que define la frontera entre los dos grandes pilares de esta disciplina.

• Regresión: Si la variable objetivo y es continua (pertenece al dominio de los números reales) entonces el modelo que estamos creando es capaz de predecir magnitudes numéricas (ej. predecir el tiempo en segundos que le queda a un jugador para morir). Se usa esta palabra tan inapropiada («regresión») porque Francis Galton, investigando la altura de los hijos con respecto a los padres en el siglo XIX, dijo que los datos «regresaban hacia la media»… aunque en realidad estaba creando un método más genérico, que sirve para predecir variables numéricas continuas… ¡regresen o progresen, o vayan hacia donde vayan! 😉
• Clasificación: Si por el contrario la variable objetivo y es discreta (números aislados, generalmente enteros) o categórica (etiquetas o categorías sueltas), entonces el modelo que estamos creando es capaz de asignar una categoría (o etiqueta) a cada entrada recibida… es como si las estuviera «clasificando». Hablamos de clasificación binaria cuando sólo hay 2 categorías o etiquetas en las que clasificar las entradas, y hablamos de clasificación multiclase si hay mas de 2.

Métricas de evaluación para regresión

Para evaluar un modelo de regresión hay que medir la magnitud de las desviaciones de sus predicciones respecto a los valores correctos. No basta con una única métrica, ya que cada una penaliza los errores de forma diferente:

• Error Absoluto Medio (MAE): Proporciona la media de los errores absolutos. Es directamente interpretable en las mismas unidades que la variable objetivo, y resulta robusto frente a valores atípicos (los famosos outliers).
• Error Cuadrático Medio (MSE) y su Raíz (RMSE): Elevan los errores al cuadrado antes de promediar. Esto penaliza severamente los errores grandes, lo cual es fundamental cuando un fallo grave en la predicción tiene un coste muy alto (ej. si estimar mal la cantidad de electricidad que producimos puede provocar un apagón en el país).
• Coeficiente de Determinación (R²): Indica qué proporción de la varianza total de los datos es explicada por el modelo, es decir, hasta qué punto las variables de entrada determinan o explican la variable objetivo… o dicho de otro modo, cómo de «mejor» es nuestro modelo que un «modelo tonto» que siempre predijera la media. Va de 0 a 1 (o tiene valores negativos si nuestro modelo es peor que dicho «modelo tonto»).

Métricas de evaluación para clasificación

Para evaluar un modelo de clasificación, sólo evaluar la precisión simple (accuracy) suele ser engañoso, especialmente si las distintas clases (categorías o etiquetas) están muy desequilibradas (unas son muy grandes, otras muy pequeñas).

• Matriz de Confusión: Esta es la herramienta fundamental para descomponer los aciertos y fallos en Verdaderos Positivos (VP), Falsos Positivos (FP), Verdaderos Negativos (VN) y Falsos Negativos (FN).
• Precisión y Sensibilidad (Recall): La precisión mide qué porcentaje de los casos etiquetados como positivos lo eran realmente, mientras que la sensibilidad mide qué porcentaje de los casos positivos reales o correctos logró capturar el modelo.
• F1-Score y Curva ROC-AUC: El F1-Score busca el equilibrio (la media armónica) entre precisión y sensibilidad, mientras que la curva ROC y el área bajo la curva (AUC) evalúan la capacidad del clasificador para discriminar entre clases al variar el umbral de decisión probabilístico (porque normalmente los clasificadores no devuelven directamente una categoría, sino una probabilidad de pertenecer a una categoría… y el umbral típico que solemos usar para afirmar que pertenece es que esa probabilidad sea mayor o igual al 50%).

Frontera de decisión

Tanto en regresión como en clasificación, podemos entender que el modelo genera a nivel geométrico una superficie en el espacio de características (features). En clasificación, esto se traduce en la frontera de decisión, la superficie que separa las regiones asignadas a cada categoría. Como decíamos antes, la mayoría de los clasificadores modernos no devuelven simplemente una etiqueta, sino una distribución de probabilidad de pertenencia a cada una de las clases (lo que permite que en un videojuego podamos usar por ejemplo Utility AI y otros mecanismos de decisión basados en teoría de la probabilidad).

Una vez visto los dos grandes tipos de problemas, regresión y clasificación, ya entraremos a ver los modelos concretos para resolverlos (árboles de decisión, SVMs, clasificadores bayesianos, ensamblados, métodos basados en instancias como k-NN, etc.)

Más información

Para complementar es recomendable consultar otros documentos.

• …