Gründe für die Verwendung von AUC?

Insbesondere auf der computerwissenschaftlich orientierten Seite der Literatur zum maschinellen Lernen ist die AUC (Fläche unter der Kennlinie des Empfängeroperators) ein beliebtes Kriterium für die Bewertung von Klassifikatoren. Was sind die Gründe für die Verwendung der AUC? Gibt es beispielsweise eine bestimmte Verlustfunktion, für die die optimale Entscheidung der Klassifikator mit der besten AUC ist?

Für binäre Klassifikatoren die für die Rangfolge verwendet werden (dh für jedes Beispiel wir in dem Intervall ), aus dem die AUC gemessen wird, entspricht die AUC der Wahrscheinlichkeit, dass wobei ein wahres positives Beispiel und ein wahres negatives Beispiel ist. Die Auswahl eines Modells mit der maximalen AUC minimiert somit die Wahrscheinlichkeit, dass . Das heißt, minimiert den Verlust der Einstufung eines echten Negativs mindestens so groß wie ein echtes Positiv.$C$$e$$C(e)$$[0, 1]$$C(e_1) > C(e_0)$$e_1$$e_0$$C(e_0) \geq C(e_1)$

Nehmen wir ein einfaches Beispiel für die Identifizierung einer guten Tomate aus einem Pool von guten + schlechten Tomaten. Nehmen wir an, die Anzahl der guten Tomaten beträgt 100 und die Anzahl der schlechten Tomaten 1000. Insgesamt also 1100. Jetzt müssen Sie so viele gute Tomaten wie möglich identifizieren. Ein Weg, um alle guten Tomaten zu bekommen, ist die Einnahme aller 1100 Tomaten. Aber es heißt eindeutig, dass Sie nicht in der Lage sind, zwischen gut und schlecht zu unterscheiden .

Also, was ist der richtige Weg, um zu differenzieren? Wir müssen so viele gute bekommen, während wir nur sehr wenige schlechte aufgreifen. Also brauchen wir ein Maß, das sagen kann, wie viele gute wir aufgenommen haben und was die schlechten zählen es. Die AUC-Messung ergibt mehr Gewicht, wenn mehr gute mit wenigen schlechten ausgewählt werden können, wie unten dargestellt. was sagt, wie gut Sie in der Lage sind, zwischen gut und schlecht zu unterscheiden.

Im Beispiel können Sie beobachten, dass beim Aufnehmen von 70% guten Tomaten die schwarze Kurve etwa 48% der schlechten (Verunreinigungen) aufgenommen hat, während die blaue 83% schlechte (Verunreinigungen) aufweist. Die schwarze Kurve hat also einen besseren AUC-Wert als die blaue.