Warum ist der naive Bayes-Klassifikator für einen 0: 1-Verlust optimal?

Der Naive Bayes-Klassifikator ist der Klassifikator, der Elemente einer Klasse auf der Grundlage der Maximierung des hinteren für die Klassenzugehörigkeit zuordnet und davon ausgeht, dass die Merkmale der Elemente unabhängig sind.C P ( C | x $x$$C$$P(C|x)$

Der 0-1-Verlust ist der Verlust, der einer Fehlklassifizierung einen Verlust von "1" und einem Verlust von "0" eine korrekte Klassifizierung zuweist.

Ich habe oft gelesen (1), dass der "Naive Bayes" -Klassifikator für den 0-1-Verlust optimal ist. Warum ist das so?

(1) Eine beispielhafte Quelle: Bayes-Klassifikator und Bayes-Fehler

Eigentlich ist das ganz einfach: Bayes - Klassifikator wählt die Klasse , die hat größte a posteriori Wahrscheinlichkeit des Auftretens (sogenannte maximum a posteriori ). Die 0-1-Verlustfunktion bestraft Fehlklassifizierungen, dh sie ordnet den geringsten Verlust der Lösung zu, die die meisten korrekten Klassifizierungen aufweist. So in beiden Fällen sprechen wir über die Schätzung Modus . Erinnern Sie sich, dass der Modus der häufigste Wert im Datensatz oder der wahrscheinlichste Wert ist , sodass sowohl die Maximierung der hinteren Wahrscheinlichkeit als auch die Minimierung des 0-1-Verlusts zur Schätzung des Modus führen.

Wenn Sie einen formellen Beweis benötigen, finden Sie diesen in der Einführung in die Bayesianische Entscheidungstheorie von Angela J. Yu:

Die 0-1-Binärverlustfunktion hat die folgende Form:

$$l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$$

Dabei ist die Kronecker-Delta-Funktion. (...) der erwartete Verlust beträgt:$\delta$

$$\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$$

Dies gilt im Allgemeinen für eine maximale a posteriori-Schätzung. Also , wenn Sie wissen , die posterior Verteilung, dann unter der Annahme , 0-1 Niederlage, die optimalste Klassifikationsregel den Modus der hinteren Verteilung zu nehmen ist, nennen wir dies eine optimale Bayes - Klassifikator . In der Praxis kennen wir die posteriore Verteilung meist nicht, sondern schätzen sie ein. Der Naive Bayes-Klassifikator approximiert den optimalen Klassifikator, indem er die empirische Verteilung betrachtet und die Unabhängigkeit von Prädiktoren voraussetzt. Der naive Bayes-Klassifikator ist selbst nicht optimal, nähert sich jedoch der optimalen Lösung an. In Ihrer Frage scheinen Sie diese beiden Dinge zu verwechseln.