Wie berechnen Sie die Genauigkeit und den Rückruf für die Klassifizierung mehrerer Klassen mithilfe der Verwirrungsmatrix?

Ich frage mich, wie man die Präzision berechnet und eine Verwirrungsmatrix für ein Klassifizierungsproblem mit mehreren Klassen verwendet. Insbesondere kann eine Beobachtung nur ihrer wahrscheinlichsten Klasse / Kennzeichnung zugeordnet werden. Ich würde gerne berechnen:

• Präzision = TP / (TP + FP)
• Rückruf = TP / (TP + FN)

für jede Klasse, und berechnen Sie dann das mikro-gemittelte F-Maß.

In einem Fall mit 2 Hypothesen ist die Verwirrungsmatrix normalerweise:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

wo ich so etwas wie deine notation benutzt habe:

• TP = true positive (deklarieren Sie H1, wenn in Wahrheit H1),
• FN = falsch negativ (deklarieren Sie H0, wenn in Wahrheit H1 ist),
• FP = falsch positiv
• TN = richtig negativ

Ausgehend von den Rohdaten entsprechen die Werte in der Tabelle normalerweise den Zählwerten für jedes Vorkommen über den Testdaten. Daraus sollten Sie die Mengen berechnen können, die Sie benötigen.

Bearbeiten

Die Verallgemeinerung für Mehrklassenprobleme besteht darin, über Zeilen / Spalten der Verwirrungsmatrix zu summieren. Vorausgesetzt, dass die Matrix wie oben ausgerichtet ist, dh dass eine bestimmte Zeile der Matrix einem bestimmten Wert für die "Wahrheit" entspricht, haben wir:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Das heißt, Präzision ist der Bruchteil von Ereignissen, in denen wir korrekt aus allen Fällen deklariert haben , in denen der Algorithmus deklariert hat . Umgekehrt ist der Rückruf der Bruchteil von Ereignissen, bei denen wir aus allen Fällen, in denen der wahre Zustand der Welt ist, korrekt deklariert haben .ich ich $i$$i$$i$$i$

Gutes zusammenfassendes Papier, das diese Metriken auf Probleme mit mehreren Klassen untersucht:

• Sokolova, M. & Lapalme, G. (2009). Eine systematische Analyse von Leistungskennzahlen für Klassifizierungsaufgaben. Informationsverarbeitung und -verwaltung, 45 , p. 427-437. ( pdf )

Das Abstract lautet:

In diesem Artikel wird eine systematische Analyse von vierundzwanzig Leistungsmaßstäben vorgestellt, die im gesamten Spektrum der Klassifizierungsaufgaben des maschinellen Lernens verwendet werden, dh binär, mehrklassig, mehrfach gekennzeichnet und hierarchisch. Für jede Klassifizierungsaufgabe verknüpft die Studie eine Reihe von Änderungen in einer Verwirrungsmatrix mit bestimmten Merkmalen von Daten. Die Analyse konzentriert sich dann auf die Art der Änderungen an einer Verwirrungsmatrix, die eine Kennzahl nicht ändern, und behält daher die Bewertung eines Klassifikators bei (Kennzahlinvarianz). Das Ergebnis ist die Taxonomie der Maßinvarianz in Bezug auf alle relevanten Änderungen der Etikettenverteilung in einem Klassifizierungsproblem. Diese formale Analyse wird durch Anwendungsbeispiele untermauert, bei denen Invarianzeigenschaften von Maßnahmen zu einer zuverlässigeren Bewertung von Klassifikatoren führen.

Sklearn und numpy benutzen:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Verwenden Sie dann, um allgemeine Maßstäbe für Präzision und Abruf zu erhalten

np.mean(recall)
np.mean(precision)