Was ist eine gute AUC für eine Präzisionsrückrufkurve?

11

Da ich einen sehr unausgewogenen Datensatz habe (9% positive Ergebnisse), entschied ich, dass eine Präzisionsrückrufkurve geeigneter ist als eine ROC-Kurve. Ich habe das analoge zusammenfassende Flächenmaß unter der PR-Kurve erhalten (.49, wenn Sie interessiert sind), bin mir aber nicht sicher, wie ich es interpretieren soll. Ich habe gehört, dass .8 oder höher eine gute AUC für ROC ist, aber wären die allgemeinen Grenzwerte für die AUC für eine Präzisionsrückrufkurve gleich?

user52568
quelle

Antworten:

12

Weder für AUC-ROC noch für AUC-PR gibt es einen magischen Grenzwert. Höher ist natürlich besser, aber es ist vollständig anwendungsabhängig.

Wenn Sie zum Beispiel rentable Investitionen mit einer AUC von 0,8 oder, was auch immer vom Zufall unterscheidbar ist, erfolgreich identifizieren könnten, wäre ich sehr beeindruckt und Sie wären sehr reich. Andererseits liegt die Klassifizierung handgeschriebener Ziffern mit einer AUC von 0,95 immer noch erheblich unter dem aktuellen Stand der Technik.

Während die bestmögliche AUC-ROC garantiert in [0,1] liegt, gilt dies nicht für Präzisionsrückrufkurven, da es "nicht erreichbare" Bereiche des PR-Raums geben kann, abhängig davon, wie verzerrt die Klassenverteilungen sind. (Siehe dieses Papier von Boyd et al. (2012) für Details).

Matt Krause
quelle
Ich dachte, dort sind auch Teile der AUC nicht erreichbar. Könnte aber falsch sein.
Charles
4
In dem von mir verlinkten Artikel heißt es: "Eine verwandte, aber bisher nicht erkannte Unterscheidung zwischen den beiden Kurventypen besteht darin, dass zwar jeder Punkt im ROC-Raum erreichbar ist, aber nicht jeder Punkt im PR-Raum erreichbar ist." oben auf Seite 2. Ich denke, das liegt daran, dass Sie alle Dokumente in Ihrer Sammlung nach P / R ordnen müssen, damit selbst das pessimistischste System irgendwann einen relevanten Artikel abruft. Für ROC können Sie jedoch alle positiven Beispiele "-" und alle negativen Beispiele "+" nennen, was eine 100% falsch positive / 100% falsch negative Rate ergibt.
Matt Krause
Vielen Dank! Ich hätte mir vor dem Kommentieren das Papier ansehen sollen.
Charles
Ich stimme zu, dass es keine magische Zahl gibt. Es ist jedoch auf jeden Fall sinnvoll zu verstehen, dass ein AUC-ROC von 0,95 beispielsweise bedeutet, dass Sie das Problem im Wesentlichen gelöst haben und einen sehr, sehr guten Klassifikator haben. Während eine AUC von 0,6 für die Suche nach rentablen Anlagen streng genommen besser als zufällig sein könnte, aber nicht viel besser. Das heißt, wie Sie bereits erwähnt haben, wäre es angeblich immer noch vom Zufall zu unterscheiden und könnte Ihnen eine gute Strategie bringen.
Shiri
0

.49 ist nicht großartig, aber seine Interpretation unterscheidet sich von der ROC AUC. Wenn Sie für die ROC AUC eine .49 mit einem logistischen Regressionsmodell erhalten haben, würde ich sagen, dass Sie nicht besser als zufällig abschneiden. Für .49 PR AUC könnte es jedoch nicht so schlimm sein. Ich würde in Betracht ziehen, die individuelle Präzision zu betrachten und mich zu erinnern, vielleicht ist das eine oder andere das, was Ihre PR AUC antreibt. Rückruf wird Ihnen sagen, wie viel von dieser 9% positiven Klasse Sie tatsächlich richtig erraten. Präzision wird Ihnen sagen, wie viele Sie positiv erraten haben, die nicht waren. (Fehlalarm). 50% Rückruf wären schlecht, was bedeutet, dass Sie nicht viele Ihrer unausgeglichenen Klassen erraten, aber vielleicht wäre 50% Präzision nicht schlecht. Kommt auf deine Situation an.

David
quelle
0

Ein zufälliger Schätzer hätte in Ihrem Fall eine PR-AUC von 0,09 (9% positive Ergebnisse), sodass Ihre 0,49 definitiv eine erhebliche Steigerung darstellt.

Wenn dies ein gutes Ergebnis ist, kann es nur im Vergleich zu anderen Algorithmen bewertet werden, aber Sie haben keine Details zu der Methode / den Daten angegeben, die Sie verwendet haben.

Darüber hinaus möchten Sie möglicherweise die Form Ihrer PR-Kurve bewerten. Eine ideale PR-Kurve verläuft von der oberen linken Ecke horizontal zur rechten Ecke und gerade nach unten zur unteren rechten Ecke, was zu einer PR-AUC von 1 führt. In einigen Anwendungen zeigt die PR-Kurve zu Beginn stattdessen zu schnell eine starke Spitze Lassen Sie sich wieder in die Nähe der "Zufallsschätzerlinie" fallen (in Ihrem Fall die horizontale Linie mit einer Genauigkeit von 0,09). Dies würde auf eine gute Erkennung von "starken" positiven Ergebnissen hinweisen, aber auf eine schlechte Leistung bei den weniger klaren Kandidaten.

Wenn Sie einen guten Schwellenwert für den Cutoff-Parameter Ihres Algorithmus finden möchten, können Sie den Punkt auf der PR-Kurve berücksichtigen, der der rechten Ecke am nächsten liegt. Oder noch besser, erwägen Sie nach Möglichkeit eine Kreuzvalidierung. Möglicherweise erzielen Sie Präzisions- und Rückrufwerte für einen bestimmten Grenzparameter, die für Ihre Anwendung interessanter sind als der Wert der PR-AUC. Die AUCs sind am interessantesten beim Vergleich verschiedener Algorithmen.

Edgar
quelle