Interpretation der Fläche unter der PR-Kurve

10

Ich vergleiche derzeit drei Methoden und habe die Genauigkeit, auROC und auPR als Metriken. Und ich habe folgende Ergebnisse:

Methode A - acc: 0,75, auROC: 0,75, auPR: 0,45

Methode B - acc: 0,65, auROC: 0,55, auPR: 0,40

Methode C - acc: 0,55, auROC: 0,70, auPR: 0,65

Ich habe ein gutes Verständnis für Genauigkeit und auROC (um mich gut zu erinnern, versuche ich oft, einen Satz wie "auROC = charakterisiere die Fähigkeit, die positive Klasse gut vorherzusagen" zu finden, obwohl es nicht genau richtig ist, hilft es mir, mich zu erinnern). Ich hatte noch nie zuvor auPR-Daten und obwohl ich verstehe, wie sie aufgebaut sind, kann ich das "Gefühl" dahinter nicht bekommen.

Tatsächlich verstehe ich nicht, warum die Methode C eine unglaublich hohe Punktzahl für auPR hat, während sie für die Genauigkeit und auPR schlecht / durchschnittlich ist.

Wenn mir jemand helfen könnte, es mit einer einfachen Erklärung ein wenig besser zu verstehen, wäre das wirklich großartig. Vielen Dank.

machine-learning roc precision-recall AdrienNK
quelle

Antworten:

11

Eine Achse der ROC- und PR-Kurven ist dieselbe, dh TPR: Wie viele positive Fälle wurden von allen positiven Fällen in den Daten korrekt klassifiziert?

Die andere Achse ist anders. ROC verwendet FPR, dh wie viele fälschlicherweise deklarierte Positive von allen Negativen in den Daten. PR-Kurve verwendet Präzision: Wie viele echte Positive von allen, die als Positive vorhergesagt wurden. Die Basis der zweiten Achse ist also anders. ROC verwendet das, was in den Daten enthalten ist, PR verwendet das, was in der Vorhersage enthalten ist, als Grundlage.

Die PR-Kurve wird als informativer angesehen, wenn die Daten ein hochklassiges Ungleichgewicht aufweisen. Weitere Informationen finden Sie in diesem Dokument unter http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .

inzl
quelle
1
Für den auROC ist 0,5 das Minimum (weil weniger besser wäre, wenn die Vorhersage invertiert würde). Gibt es ähnliche Regeln für das auPR? Auch in Bezug auf meine Messungen: Was könnte ich behaupten, wenn ich mir die Ergebnisse der Methode C anschaue? Da ich in den drei Fällen mit demselben Datensatz arbeite und aus meiner Sicht für einen Datensatz mit mehr oder weniger gleichmäßiger Verteilung auf die Klassen, ist es nicht sinnvoll, dass auROC und auPR für mich nicht dem gleichen Ranking folgen Methoden.
AdrienNK
1
Was ist die zufällige Klassifikatorbewertung in auPR? Ich weiß, dass es in auROC 0,5 ist, aber ich kann es in auPR nicht wissen.
Jack Twain
9
Der erwartete auPR-Wert für einen zufälligen Klassifikator ist nur der Anteil der wirklich positiven Fälle im Datensatz. Das ist die Präzision, die Sie erwarten würden, wenn Sie die Klasse erraten würden, und Sie würden diese Präzision für alle Rückrufebenen erhalten. Die erwartete PR-Kurve für einen zufälligen Klassifikator ist also nur ein Rechteck mit den Seitenlängen "Anteil der echten Positiven" x 1. Wenn Ihr Datensatz beispielsweise 10% positive Fälle und 90% negative Fälle enthält, beträgt der erwartete zufällige auPR 0,1.
Lizzie Silver