Warum Root Mean Squared Error (RMSE) anstelle von Mean Absolute Error (MAE) verwenden?
Hallo
Ich habe den in einer Berechnung generierten Fehler untersucht. Anfangs habe ich den Fehler als Root Mean Normalized Squared Error berechnet.
Wenn ich etwas genauer hinschaue, sehe ich, dass das Quadrieren des Fehlers größeren Fehlern mehr Gewicht verleiht als kleineren, wodurch die Fehlerschätzung in Richtung des ungeraden Ausreißers verschoben wird. Dies ist im Nachhinein ganz offensichtlich.
Meine Frage: In welchem Fall wäre der mittlere quadratische Fehler ein geeigneteres Maß für den Fehler als der mittlere absolute Fehler? Letzteres scheint mir passender zu sein oder vermisse ich etwas?
Um dies zu veranschaulichen, habe ich unten ein Beispiel angehängt:
Das Streudiagramm zeigt zwei Variablen mit einer guten Korrelation.
Die beiden Histogramme rechts zeigen den Fehler zwischen Y (beobachtet) und Y (vorhergesagt) unter Verwendung von normalisiertem RMSE (oben) und MAE (unten).
In diesen Daten sind keine signifikanten Ausreißer enthalten, und MAE gibt einen geringeren Fehler als RMSE an. Gibt es irgendeinen Grund, außer dass MAE vorzuziehen ist, um ein Fehlermaß dem anderen vorzuziehen?
quelle
Antworten:
Dies hängt von Ihrer Verlustfunktion ab. In vielen Fällen ist es sinnvoll, Punkten, die weiter vom Mittelwert entfernt sind, mehr Gewicht zu geben - das heißt, eine Abweichung von 10 ist mehr als doppelt so schlimm wie eine Abweichung von 5. In solchen Fällen ist RMSE ein geeigneteres Maß für Fehler.
Wenn es nur doppelt so schlimm ist, um zehn Uhr abzulehnen, wie um fünf Uhr abzulehnen, ist MAE angemessener.
In jedem Fall ist es nicht sinnvoll, RMSE und MAE wie in Ihrem vorletzten Satz miteinander zu vergleichen ("MAE gibt einen geringeren Fehler als RMSE"). MAE wird aufgrund der Art und Weise, wie sie berechnet werden, niemals höher als RMSE sein. Sie sind nur im Vergleich zum gleichen Fehlermaß sinnvoll: Sie können RMSE für Methode 1 mit RMSE für Methode 2 oder MAE für Methode 1 mit MAE für Methode 2 vergleichen, aber Sie können nicht sagen, dass MAE besser ist als RMSE für Methode 1 weil es kleiner ist.
quelle
Hier ist eine andere Situation, in der Sie (R) MSE anstelle von MAE verwenden möchten: Wenn die bedingte Verteilung Ihrer Beobachtungen asymmetrisch ist und Sie eine unvoreingenommene Anpassung wünschen. Die (R) MSE wird durch das bedingte Mittel , die MAE durch den bedingten Median minimiert . Wenn Sie also die MAE minimieren, liegt die Anpassung näher am Median und ist voreingenommen.
Natürlich hängt das alles wirklich von Ihrer Verlustfunktion ab.
Das gleiche Problem tritt auf, wenn Sie die MAE oder (R) MSE verwenden, um Vorhersagen oder Prognosen auszuwerten . Beispielsweise weisen Verkaufsdaten mit geringem Volumen typischerweise eine asymmetrische Verteilung auf. Wenn Sie die MAE optimieren, werden Sie möglicherweise überrascht sein, dass es sich bei der für die MAE optimalen Prognose um eine flache Nullprognose handelt.
Hier ist eine kleine Präsentation darüber , und hier ist ein kürzlich eingeladener Kommentar zum M4-Prognosewettbewerb, in dem ich diesen Effekt erklärt habe .
quelle
N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)? Die "Differenz" der prädiktiven Dichten wäre minimal, aber die tatsächlicheyhatwäre nutzlos. Zugegeben, das ist ein extremer Fall. (Ich könnte etwas Offensichtliches vermissen, entschuldige mich dafür im Voraus - ich habe keinen Zugriff auf das Papier, nur auf die Präsentation.)RMSE ist eine natürlichere Methode zur Beschreibung des Verlusts in der euklidischen Distanz. Wenn Sie es also in 3D grafisch darstellen, hat der Verlust eine Kegelform, wie Sie oben in Grün sehen können. Dies gilt auch für höhere Dimensionen, obwohl es schwieriger ist, diese zu visualisieren.
MAE kann als Blockdistanz betrachtet werden. Es ist nicht ganz so selbstverständlich, Verluste zu messen, wie Sie in der blauen Grafik sehen können.
quelle