Wie ist der quadratische Mittelwertfehler (RMSE) gegenüber der Standardabweichung zu interpretieren?

21

Nehmen wir an, ich habe ein Modell, das mir projizierte Werte liefert. Ich berechne den RMSE dieser Werte. Und dann die Standardabweichung der Istwerte.

Ist es sinnvoll, diese beiden Werte (Varianzen) zu vergleichen? Was ich denke ist, wenn RMSE und Standardabweichung ähnlich / gleich sind, dann ist der Fehler / die Varianz meines Modells derselbe wie der, der tatsächlich vor sich geht. Aber wenn es nicht einmal Sinn macht, diese Werte zu vergleichen, könnte diese Schlussfolgerung falsch sein. Wenn mein Gedanke wahr ist, bedeutet das dann, dass das Modell so gut ist, wie es sein kann, weil es nicht zuschreiben kann, was die Varianz verursacht? Ich denke, dass der letzte Teil wahrscheinlich falsch ist oder zumindest mehr Informationen benötigt, um zu antworten.

jkim19
quelle

Antworten:

22

Angenommen, unsere Antworten lauten und unsere vorhergesagten Werte lauten .y1,,yny^1,,y^n

Die Stichprobenvarianz (wobei der Einfachheit halber anstelle von ) ist während die MSE . Somit gibt die Stichprobenvarianz an, wie stark die Antworten um den Mittelwert variieren, während die MSE angibt, wie stark die Antworten um unsere Vorhersagen variieren. Wenn wir von dem Gesamtmitteln denken als der einfachste Prädiktor ist , dass wir jemals in Betracht gezogen würden, dann durch den MSE auf die Stichprobenvarianz der Antworten zu vergleichen können wir sehen , wie viel mehr Variation wir mit unserem Modell erklärt haben. Genau das macht der Wert in der linearen Regression.nn-11nich=1n(yich-y¯)21nich=1n(yich-y^ich)2y¯R2

Betrachten Sie das folgende Bild: Die Stichprobenvarianz von ist die Variabilität um die horizontale Linie. Wenn wir alle Daten auf die Achse projizieren, können wir dies sehen. Die MSE ist der mittlere quadratische Abstand zur Regressionslinie, dh die Variabilität um die Regressionslinie (dh das ). Die durch die Stichprobenvarianz gemessene Variabilität ist also der gemittelte quadratische Abstand zur horizontalen Linie, der wesentlich größer ist als der durchschnittliche quadratische Abstand zur Regressionslinie. yichY.y^ichBildbeschreibung hier eingeben

jld
quelle
5

ich(yich-y^ich)2n-p,

ich(yich-y¯)2n-1,
y¯yich

y^ich=y¯y¯

y^ich

ich(yich-y^ich)2n,

das ist am einfachsten zu berechnen.

Xiao-Feng Li
quelle
Ich habe kein Privileg, die Antwort von @Chaconne zu kommentieren, aber ich bezweifle, dass seine letzte Aussage einen Tippfehler enthält, in dem er sagt: "Die durch die Stichprobenvarianz gemessene Variabilität ist also der gemittelte quadratische Abstand zur horizontalen Linie, den wir können see ist wesentlich kleiner als der durchschnittliche quadratische Abstand zur Linie ". Aber in der Abbildung in seiner Antwort ist die Vorhersage der y-Werte mit der Linie ziemlich genau, was bedeutet, dass die MSE klein ist, zumindest viel besser als die "Vorhersage" mit einem Mittelwert.
Xiao-Feng Li
3

1nich=1n(yich-y¯)2

1nich=1n(yich-y^ich)2

Dieses Argument gilt nicht nur für RMSE, sondern auch für andere Fehlermaßstäbe. Das RMSE ist besonders attraktiv für den direkten Vergleich mit dem SD, da seine mathematischen Formeln analog sind.

Dreiteilig
quelle
Dies ist die beste Antwort, da hier erklärt wird, wie der Vergleich nützlich sein kann, anstatt nur die Unterschiede zu beschreiben.
Hans