Wie kann die statistische Signifikanz der Genauigkeit eines Klassifikators bewertet werden?

Ich habe die Klassifikatorgenauigkeit in Prozent und die Anzahl der Eingangsabtastwerte ausgegeben. Gibt es einen Test, der anhand dieser Informationen feststellen kann, wie statistisch signifikant das Ergebnis ist?

Vielen Dank

Sie möchten die Verteilung der Genauigkeit des Vermutens definieren. Vielleicht ist dies wie wobei Binomial ( , ) für einige bekannte (sagen wir 50%).$X/n$n p $X \sim$$n$$p$$p$

Berechnen Sie dann die Wahrscheinlichkeit, die Ergebnisse zu beobachten, die Sie erzielt haben, wenn dieses Nullmodell wahr wäre. In R können Sie binom.testes direkt mit verwenden oder berechnen pbinom.

Normalerweise möchten Sie die Genauigkeit nicht mit "Raten" vergleichen, sondern mit einer alternativen Methode. In diesem Fall können Sie den McNemar-Test verwenden . in R , mcnemar.test.

Ich sehe nicht, wo das Testen gegen völlige Zufälligkeit so hilfreich ist. Ein Klassifikator, der nur reine Zufallsraten schlagen kann, ist nicht sehr nützlich. Ein größeres Problem ist die Verwendung von Proportionen, die korrekt als Genauigkeitsbewertung klassifiziert wurden. Dies ist eine diskontinuierliche falsche Bewertungsregel, die leicht manipuliert werden kann, da sie willkürlich und unempfindlich ist. Eine (von vielen) Möglichkeiten, die Mängel zu erkennen, besteht darin, den korrekt klassifizierten Anteil zu berechnen, wenn Sie ein Modell mit nur einem Achsenabschnitt haben. Es wird hoch sein, wenn die Prävalenz nicht nahe bei 0,5 liegt.

Sobald Sie eine geeignetere Regel ausgewählt haben, ist es hilfreich, ein Konfidenzintervall für den Index zu berechnen. Die statistische Signifikanz ist von geringem Wert.

Sicher können Sie ein Konfidenzintervall berechnen . Wenn Ihre Genauigkeit ist, die für einen Testsatz von Elementen geschätzt wird , gilt Also Sie können also sagen: Zum Beispiel können Sie das Wilson-Intervall berechnen . N a c c - $\mbox{acc}$$N$P(acc-

$$\frac{acc-p}{\sqrt{p(1-p)/N}} \sim \mathcal{N}(0,1)$$ $$P\bigg( \frac{acc-p}{\sqrt{p(1-p)/N}} \in [-z_{\alpha/2},+z_{\alpha/2}]\bigg) \approx 1 - \alpha$$ $$P(p \in [l,u]) \approx 1 - \alpha$$ $$l = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 - z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$ $$u = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 + z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$

Ich denke, Sie können berechnen, wie sehr sich Ihre Leistung von einer zufälligen unterscheidet, die den Gewinn berechnet . Die Genauigkeit eines Zufallsklassifizierers ist: wobei die empirische Häufigkeit der Klasse , die auf dem geschätzt wird, und die Zahl ist von verschiedenen Klassen. Im Durchschnitt klassifiziert ein zufälliger Klassifizierer, der das zufällige Erraten der Klasse anhand der Wahrscheinlichkeit des klassifiziert, Beispiele für Klasse korrekt. Wobei die Anzahl der Datensätze der Klasse

$$\mbox{acc}_r = \sum_{i=1}^{c} p_i^2$$ $p_i$$i$$c$$i$$p_i\cdot n_i = \frac{n_i}{N} \cdot n_i$$i$$n_i$$i$im Testset. Somit ist Vielleicht werfen Sie einen Blick auf eine meiner Fragen . $$\mbox{acc}_r = \frac{p_1 \cdot n_1 + \dots + p_c \cdot n_c}{n_1 + \dots + n_c} = \frac{p_1\cdot n_1}{N} + \dots + \frac{p_c\cdot n_c}{N} = \sum_{i}^{c} p_i^2$$

Der Gewinn ist:

$$\mbox{gain} = \frac{\mbox{acc}}{\mbox{acc}_r}$$

Ich denke tatsächlich, dass ein statistischer Test skizziert werden kann. Der Zähler kann als normale Zufallsvariable , aber Sie sollten herausfinden, welche Art von Zufallsvariable der Nenner könnte sein.acc$\mathcal{N}(\mbox{acc},p(1-p)/N)$$\mbox{acc}_r$

Sie könnten an folgenden Artikeln interessiert sein:

• Eric W. Noreen, Computerintensive Methoden zum Testen von Hypothesen: Eine Einführung, John Wiley & Sons, New York, NY, USA, 1989.
• Alexander Yeh, Genauere Tests zur statistischen Signifikanz von Ergebnisunterschieden, in: Proceedings of the 18. International Conference on Computational Linguistics, Band 2, Seiten 947-953, 2000.

Ich denke, sie decken ab, worüber Dimitrios Athanasakis spricht.

Ich habe eine Option von Yeh so implementiert, wie ich es verstehe:

http://www.clips.uantwerpen.be/~vincent/software#art

Ich denke, eine Sache, die Sie ausprobieren könnten, wäre ein Permutationstest. Einfach ausgedrückt, permutieren Sie die gewünschten Eingabe-Ausgabe-Paare, die Sie Ihrem Klassifizierer mehrmals zuführen, zufällig. Wenn es nicht gelingt, über 100 verschiedene Permutationen auf derselben Ebene etwas zu reproduzieren, ist es im 99% -Intervall von Bedeutung und so weiter. Dies ist im Grunde der gleiche Prozess, der verwendet wird, um p-Werte zu erhalten (die der Wahrscheinlichkeit entsprechen, eine lineare Korrelation derselben Mangnitude nach zufälliger Permutation der Daten zu erhalten) und so weiter.