Matriz de confusión en aprendizaje automático: explicación de precisión y recuerdo

Así que tú has construido un modelo de aprendizaje automático. Genial. Tú le das tus entradas y te da una salida. A veces la salida está correcta y otras veces está equivocada. Tú sabes que el modelo está prediciendo con una precisión de alrededor del 86% porque las predicciones de tu prueba de entrenamiento lo decían. Pero el 86% no está una métrica de precisión suficientemente buena. Con ella, solo tú descubres la mitad de la historia. A veces, puede que te dé una impresión equivocada. Precisión, recuerdo y una matriz de confusión... Eso sí que es más seguro. Vamos a echar un vistazo.

¿Qué es una matriz de confusión?

Tanto la precisión como la memoria pueden interpretarse a partir de la matriz de confusión, así que Comienza por ahí. La matriz de confusión se está utilizada para mostrar qué tan bien un modelo hizo sus predicciones.

Clasificación binaria

Veamos un ejemplo: un modelo se está usando para predecir si un conductor girará a la izquierda o a la derecha en un semáforo. Esto están una clasificación binaria. Puede funcionar en cualquier tarea de predicción que haga una distinción de sí o no, o verdadero o falso. El propósito de la matriz de confusión están mostrar cuán... bueno, lo confuso que está el modelo. Para ello, introducimos dos conceptos: falsos positivos y falsos negativos.

• Si el modelo está para predecir el positivo (izquierda) y el negativo (derecho), entonces el falso positivo está prediciendo a la izquierda cuando la dirección real está a la derecha.
• Un falso negativo funciona al revés; el modelo predice la derecha, pero el resultado real está la izquierda.

Usando una matriz de confusión, estos números pueden mostrarse en la tabla de la siguiente manera:

En esta matriz de confusión, son realizadas un total de 19 predicciones. 14 son correctas y 5 son erróneas.

• La celda de falso negativo, número 3, significa que el modelo predijo un negativo y el real fue positivo.
• La célula de falso positivo, número 2, significa que el modelo predijo un positivo, pero el real fue negativo.

El falso positivo significa poco respecto a la dirección que una persona elige en este momento. Pero, si te añadiera algo de juego a la elección, como que elegir bien llevara a una gran recompensa, y elegirlo erróneamente significara muerte segura, entonces ahora son en juego en la decisión, y un falso negativo podría ser muy costoso. Solo querríamos que el modelo Haz la decisión si estuviera 100% seguro de que esa es la elección a tomar.

Coste/beneficio de la confusión

Sopesar el coste y los beneficios de las elecciones da sentido a la matriz de confusión. El algoritmo de Instagram necesita poner un filtro de desnudez en todas las fotos que la gente publica, por lo que se está creado un clasificador de fotos desnudas para Detecta cualquier desnudez. Si una foto desnuda se publica y pasa el filtro, eso podría ser muy costoso para Instagram. Así que son van a intentar clasificar más cosas de las necesarias para filtrar cada foto desnuda porque el coste del fracaso está muy alto.

Clasificación no binaria

Finalmente, las matrices de confusión no se aplican solo a un clasificador binario. Pueden usarse en cualquier número de categorías que necesite un modelo, y se aplican las mismas reglas de análisis. Por ejemplo, se puede crear una matriz para clasificar las valoraciones de la gente sobre el Debate Nacional Demócrata:

• Muy pobre
• Pobre
• Neutro
• Bien
• Muy bien

Todas las predicciones que hace el modelo pueden Obtén en una matriz de confusión:

Precisión en la Matriz de Confusión

La precisión están la proporción de positivos verdaderos y la suma de positivos y falsos positivos. La precisión busca Ve cuántos positivos basura se añadieron a la mezcla. Si no son positivos negativos (esos FP), entonces el modelo tenía una precisión del 100%. Cuantos más FP Obtén en la mezcla, más fea están esa precisión. Para calcular la precisión de un modelo, necesitamos los números positivos y negativos de la matriz de confusión.

Precisión = TP/(TP + FP)

Recordatorio en la Matriz de Confusión

El recuerdo sigue otro camino. En lugar de mirar el número de falsos positivos que predijo el modelo, el recuerdo se fija en el número de falsos negativos que se añadieron a la mezcla de predicción.

Retirada = TP/(TP + FN)

La tasa de recuerdo está penalizada siempre que se están predichos un falso negativo. Como las penalizaciones en precisión y recuerdo son opuestas, también lo son las propias ecuaciones. La precisión y el recuerdo son el yin y el yang para evaluar la matriz de confusión.

Llamada vs precisión: ¿una u otra?

Como se ha visto antes, al entender la matriz de confusión, a veces un modelo puede querer permitir que pasen más falsos negativos. Eso resultaría en mayor precisión porque los falsos negativos no penalizan la ecuación de recuerdo. (Ahí, son una virtud.) A veces un modelo puede querer permitir que se desapunten más falsos positivos, resultando en un mayor recuerdo, porque no se son contabilizados. Generalmente, un modelo no puede tener tanto alta memoria como alta precisión. Está un coste asociado a obtener más puntos en recuerdo o precisión. Un modelo puede tener un punto de equilibrio donde ambos, precisión y recuerdo, son iguales, pero cuando el modelo se ajusta para exprimir algunos puntos porcentuales más en su precisión, eso probablemente reducirá la tasa de recuerdo.

Recursos adicionales

Obtén más información sobre aprendizaje automático con estos recursos:

• Blog de Aprendizaje Automático y Big Data de BMC
• Aprendizaje automático: bombo vs realidad
• Interpretabilidad vs explicabilidad: La caja negra del aprendizaje automático
• Aprendizaje automático con TensorFlow y Keras, una guía práctica
• Este gran cuaderno de colab demuestra, en código, matrices de confusión, precisión y recuerdo

Para una comprensión matemática de la precisión y la memoria, mira este vídeo:

  Para una visión más humorística de las matrices de confusión:

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.