Wie werden ROC-Kurven in einer Mehrklassenklassifizierung dargestellt?

66

Mit anderen Worten, anstatt ein Zwei-Klassen-Problem zu haben, beschäftige ich mich mit 4 Klassen und möchte immer noch die Leistung unter Verwendung der AUC bewerten.

Rob Hyndman
quelle
Ist eine Dimensionsreduzierung eine Option?
Shane
2
Wir haben 4 Klassen, nicht wirklich
Weka macht das perfekt und nutzt die Strategie gegen alle Klassen.

Antworten:

53

Anscheinend suchen Sie nach einer ROC-Analyse für mehrere Klassen, einer Art Optimierung für mehrere Ziele, die in einem Tutorial auf der ICML'04 behandelt wird. Wie bei mehreren Problemen mit mehreren Klassen besteht die Idee im Allgemeinen darin, einen paarweisen Vergleich durchzuführen (eine Klasse gegen alle anderen Klassen, eine Klasse gegen eine andere Klasse, siehe (1) oder die Elemente des statistischen Lernens ) Aufsatz von Landgrebe und Duin zu diesem Thema, Annäherung der Mehrklassen-ROC durch paarweise Analyse , Pattern Recognition Letters 2007 28: 1747-1758. Nun, zu Visualisierungszwecken, habe ich vor einiger Zeit einige Artikel gesehen, bei denen sich die meisten unter der ROC-Oberfläche (VUS) oder im Cobweb-Diagramm um die Lautstärke drehen .

Ich weiß jedoch nicht, ob es eine R-Implementierung dieser Methoden gibt, obwohl ich denke, dass die stars()Funktion für die Darstellung von Spinnennetzen verwendet werden könnte. Ich bin gerade auf eine Matlab-Toolbox gestoßen, die eine mehrstufige ROC-Analyse zu bieten scheint, PRSD Studio .

Andere Artikel, die auch als erster Start für die Visualisierung / Berechnung nützlich sein können:

Literaturhinweise:
1. Allwein, EL, Schapire, RE und Singer, Y. (2000). Reduzieren von Multiklassen auf Binär: Ein einheitlicher Ansatz für Margin-Klassifikatoren. Journal of Machine Learning Research , 1 : 113–141.

chl
quelle
7

Ich habe kürzlich dieses pROC- Paket in R gefunden, das eine Mehrklassen-ROC mit der von Hand and Till (2001) angegebenen Technik zeichnet . Sie können die Funktion multiclass.roc verwenden.

Garak
quelle
6

Die Antworten hier sind ziemlich vollständig, aber ich möchte trotzdem meine 5 Cent hinzufügen. In dieser Frage finden Sie ein Beispiel für R-Code zur Erstellung von ROC-Kurven mit dem One-Vs-All-Ansatz und der ROCR- R-Bibliothek.

Dies ist die Handlung aus dieser Antwort:

ROC-Kurve

Alexey Grigorev
quelle
5

Während die Mathematik für mich unverständlich ist, enthält dieser allgemeine Übersichtsartikel einige Referenzen, an denen Sie wahrscheinlich interessiert sind, und enthält eine kurze Beschreibung von ROC-Diagrammen für mehrere Klassen.

Eine Einführung in die ROC-Analyse von Tom Fawcett Pattern Recognition Letters, Band 27, Ausgabe 8, Juni 2006, Seiten 861-874

Link zum pdf wie von gd047 zur Verfügung gestellt - danke

Andy W
quelle
2
Ich würde das gleiche sagen und einen anderen Link bereitstellen google.gr/…
George Dontas
1
Und hier ist eine andere, die in direktem Zusammenhang mit dem Mehrklassenproblem steht: Mehrklassen-ROC-Analyse aus der Perspektive der Mehrzieloptimierung, Pattern Recognition Letters 2006 27 (8): 918-927 ( j.mp/9AMgzq ).
Chl
1
Vielen Dank für die anderen Links, anscheinend ist diese ganze Ausgabe sehr beliebt, und ihr Archiv zu Science Direct finden Sie hier: sciencedirect.com/
Andy W