Können wir die hintere Wahrscheinlichkeit, die von einem Klassifikator erhalten wird, der einen vorhergesagten Klassenwert und eine Wahrscheinlichkeit ausgibt (zum Beispiel logistische Regression oder Naive Bayes), als eine Art Vertrauensbewertung interpretieren, die diesem vorhergesagten Klassenwert zugewiesen wird?
Wie in anderen Antworten richtig angegeben, handelt es sich bei den angegebenen Wahrscheinlichkeiten aus Modellen wie logistische Regression und naive Bayes um Schätzungen der Klassenwahrscheinlichkeit. Wenn das Modell wahr wäre, wäre die Wahrscheinlichkeit tatsächlich die Wahrscheinlichkeit einer korrekten Klassifizierung.
Es ist jedoch sehr wichtig zu verstehen, dass dies irreführend sein kann, da das Modell geschätzt wird und daher kein korrektes Modell ist. Es gibt mindestens drei Probleme.
Die Unsicherheit ist nur die allgegenwärtige Tatsache, dass die Wahrscheinlichkeit nur eine Schätzung ist. Ein Konfidenzintervall der geschätzten Klassenwahrscheinlichkeit könnte eine Vorstellung von der Unsicherheit (der Klassenwahrscheinlichkeit, nicht der Klassifikation) geben.
Wenn das Schätzverfahren (absichtlich) eine voreingenommene Schätzung liefert , sind die Klassenwahrscheinlichkeiten falsch. Das sehe ich bei Regularisierungsmethoden wie Lasso und Ridge für die logistische Regression. Während eine kreuzvalidierte Wahl der Regularisierung zu einem Modell mit guter Klassifizierungsleistung führt, werden die daraus resultierenden Klassenwahrscheinlichkeiten in Testfällen deutlich unterschätzt (zu nahe an 0,5). Das ist nicht unbedingt schlecht, aber wichtig zu wissen.
Für einen Testfall (bestimmte Eingabe) ist die Vorhersagewahrscheinlichkeit seiner Klasse (z. B. die Bezeichnung 1 für die Binärausgabe) die Wahrscheinlichkeit, dass das Testbeispiel zu dieser Klasse gehört. In vielen solchen Testfällen tendiert der Anteil der Klasse 1 zur prädiktiven Wahrscheinlichkeit. Vertrauen hat Konnotationen von Vertrauensintervallen, die etwas ganz anderes sind.
Wenn ein Klassifizierer eine bestimmte Klasse mit einer Wahrscheinlichkeit vorhersagt, kann diese Zahl als Proxy für den Grad des Vertrauens in diese Klassifizierung verwendet werden. Nicht zu verwechseln mit Konfidenzintervallen. Wenn zum Beispiel der Klassifizierer P zwei Fälle mit einer Wahrscheinlichkeit von 80% und 60% als +1 und -1 vorhersagt, ist es richtig zu sagen, dass die +1-Klassifizierung sicherer ist als die -1-Klassifizierung. Die durch p (1-p) gemessene Varianz ist auch ein gutes Maß für die Unsicherheit. Beachten Sie, dass das Grundvertrauen 50% und nicht 0 ist.
Bei einem Klassifikator mit 2 Klassen (z. B. einem linearen Diskriminanten oder einem logistischen Regressionsklassifikator mit 2 Klassen) kann der Diskriminantenwert für beide Klassen auf eine Softmax-Funktion angewendet werden, um eine Schätzung der posterioren Wahrscheinlichkeit für diese Klasse zu erhalten:
P1 = exp (d1) / (exp (d1) + exp (d2))
Wo P1 die hintere Wahrscheinlichkeitsschätzung für Klasse 1 ist, sind d1 und d2 Unterscheidungswerte für die Klassen 1 bzw. 2. In diesem Fall kann die geschätzte hintere Wahrscheinlichkeit für eine bestimmte Klasse als Vertrauensgrad in die Klasse angesehen werden, da P1 für einen bestimmten Fall 1 - P2 entspricht.