Vergleich zweier Modelle, wenn sich die ROC-Kurven kreuzen

13

Eine gebräuchliche Maßnahme zum Vergleich von zwei oder mehr Klassifizierungsmodellen besteht darin, die Fläche unter der ROC-Kurve (AUC) als Mittel zur indirekten Bewertung ihrer Leistung zu verwenden. In diesem Fall wird ein Modell mit einer größeren AUC normalerweise als leistungsstärker interpretiert als ein Modell mit einer kleineren AUC. Laut Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ) ist ein solcher Vergleich nicht mehr gültig, wenn sich beide Kurven kreuzen. Wieso ist es so?

Was kann man zum Beispiel an den Modellen A, B und C anhand der ROC-Kurven und der folgenden AUCs feststellen?

Bildbeschreibung hier eingeben

machine-learning classification roc auc model-evaluation Edu
quelle

Antworten:

19

Eine ROC- Kurve visualisiert TPR und FPR für alle möglichen Schwellenwerte .

  • Wenn Sie zwei ROC-Kurven 'A' und 'B' zeichnen und sie sich nicht kreuzen , schneidet einer Ihrer Klassifikatoren eindeutig besser ab, da Sie für alle möglichen FPR-Werte einen höheren TPR erhalten. Offensichtlich wird auch die Fläche unter der Republik China größer sein.

  • Wenn sie sich kreuzen , gibt es einen Punkt, an dem FPR und TPR für beide Kurven 'A' und 'B' gleich sind . Sie können nicht mehr sagen, dass eine ROC-Kurve eine bessere Leistung erbringt, da dies jetzt davon abhängt, welchen Kompromiss Sie bevorzugen. Möchten Sie eine hohe Präzision / einen niedrigen Rückruf oder eine niedrige Präzision / einen hohen Rückruf ?

Beispiel: Wenn ein Klassifikator bei einem FPR von 0,2 viel besser abschneidet, es jedoch wichtig ist, einen hohen Rückruf zu erreichen, schneidet er bei einem Schwellenwert gut ab, an dem Sie nicht interessiert sind.

Informationen zu den ROC-Kurven in Ihrem Diagramm: Sie können leicht feststellen, dass 'A' eine viel bessere Leistung erbringt, ohne zu wissen, was Sie erreichen möchten. Sobald die violette Kurve die anderen kreuzt, kreuzt sie sie erneut. Sie sind wahrscheinlich in nicht interessiert kleinen Teil , wo ‚B‘ und ‚C‘ ausführen slighty besser .

In der folgenden Grafik sehen Sie zwei ROC-Kurven, die sich auch kreuzen. Hier kann man nicht sagen, welche besser ist, da sie sich gegenseitig ergänzen .

ROC-Kurven kreuzen

Beachten Sie , dass am Ende des Tages, die Sie interessieren Kommissionierung eine Schwelle für die Klassifizierung und die AUC nur gibt Ihnen eine Schätzung , wie gut ein Modell führt im Allgemeinen .

Laksan Nathan
quelle
Nur zur Bestätigung, wenn ich in meinem Beispiel einen sehr hohen Grenzwert wähle, bei dem die Präzision groß ist, würde das Modell A B und C um einen guten Abstand übertreffen.
Edu
Woher wissen Sie, wo Präzision groß ist? Dies ist ein ROC, keine Precision-Recall-Kurve. Für die Genauigkeit überprüfen Sie die Wahrscheinlichkeit von True Positive, vorausgesetzt, Ihr Klassifikator sagt Positive.
Laksan Nathan