Können RMSE und MAE den gleichen Wert haben?

9

Ich implementiere eine Kreuzvalidierung und berechne Fehlermetriken wie RMSE, R.2 , MAE, MSE usw.

Können RMSE und MAE den gleichen Wert haben?

Perl
quelle
1
Ja. Warum nicht? Sei immer 0 und ein Prädiktor für X immer 1 . Da haben Sie esX.0X.1
David

Antworten:

17

Ja, theoretisch. Der einfachste Fall, den ich mir vorstellen kann, ist ein Datensatz, bei dem alle Vorhersagefehler (dh Residuen) genau ± 1 sind. RMSE und MAE geben identische Werte von 1 zurück. Man kann auch andere Szenarien konstruieren, aber keine scheint sehr wahrscheinlich.

EDIT: Dank an @DilipSarwate für den Hinweis (weiter ausgeführt von @ user20160 in ihrer ausgezeichneten Antwort), dass dieses Ergebnis genau dann möglich ist, wenn die absoluten Werte aller Vorhersagefehler identisch sind. Mit anderen Worten, der Wert ± 1 ist in meinem Beispiel nichts Besonderes . Jede andere Zahl würde anstelle von 1 funktionieren.

mkt - Monica wieder einsetzen
quelle
1
Können Sie ein Beispiel für die anderen Szenarien geben, die Sie sich vorstellen? Ich meine ein anderes Beispiel als ein skalares Vielfaches (wenn alle Residuen statt ± 1 sind ) des obigen Beispiels. ±σ±1
Dilip Sarwate
@DilipSarwate Ich habe darüber nachgedacht, als user20160 eine viel bessere Antwort hinzufügte, die es detaillierter behandelt, als ich konnte.
mkt - Monica
1
@mkt Danke für die freundlichen Worte. Ihre Antwort ist richtig und prägnant (+1)
user20160
@ DilipSarwate Danke für die Eingabe
mkt - Reinstate Monica
1
Ein paar zusätzliche Verzierungen zu Ihrer Antwort: (i) muss gerade sein (sagen wir n = 2 k ) und (ii) genau k Residuen müssen den Wert + σ haben und genau k Residuen müssen den Wert - σ haben , was natürlich bedeutet, dass Alle Residuen haben den absoluten Wert σ, wie Sie angeben, aber (ii) stellt sicher, dass die Residuen wie erforderlich zu 0 summieren . Die Residuen sind die Abweichungen vom Mittelwert und müssen sich daher zu Null summieren. nn=2kk+σk- -σσ0
Dilip Sarwate
23

Der mittlere absolute Fehler (MAE) kann unter bestimmten Bedingungen dem mittleren quadratischen Fehler (MSE) oder dem mittleren quadratischen Fehler (RMSE) entsprechen, was ich unten zeigen werde. Es ist unwahrscheinlich, dass diese Bedingungen in der Praxis auftreten.

Vorbereitungen

Sei rich=|yich- -y^ich|bezeichnen den absoluten Wert des Residuums für den ich ten Datenpunkt und sei r=[rich,,rn]]T. ein Vektor, der absolute Residuen für alle n Punkte im Datensatz enthält. Wenn 1 einen n×1 Vektor von Einsen bezeichnet, können MAE, MSE und RMSE wie folgt geschrieben werden:

(1)M.EINE.=1n1T.rM.S.E.=1nrT.rR.M.S.E.=1nrT.r

MSE

Wenn Sie die MSE gleich der MAE setzen und neu anordnen, erhalten Sie:

(2)(r- -1)T.r=0

MSE und MAE sind für alle Datensätze gleich, bei denen die absoluten Residuen die obige Gleichung lösen. Zwei offensichtliche Lösungen sind: r=0 (es gibt keinen Fehler) und r=1 (die Residuen sind alle ±1 , wie mkt erwähnt). Es gibt jedoch unendlich viele Lösungen.

Wir können Gleichung (2) geometrisch wie folgt interpretieren : Die LHS ist das Punktprodukt von r- -1 und r . Das Nullpunktprodukt impliziert Orthogonalität. MSE und MAE sind also gleich, wenn durch Subtrahieren von 1 von jedem absoluten Residuum ein Vektor erhalten wird, der orthogonal zu den ursprünglichen absoluten Residuen ist.

Durch Ausfüllen des Quadrats kann Gleichung (2) wie folgt umgeschrieben werden:

(3)(r- -121)T.(r- -121)=n4

Diese Gleichung beschreibt eine n dimensionale Kugel, die bei [ 1] zentriert ist[12,,12]]T.mit Radius12n . MSE und MAE sind genau dann gleich, wenn die absoluten Residuen auf der Oberfläche dieser Hypersphäre liegen.

RMSE

Wenn Sie den RMSE gleich dem MAE einstellen und neu anordnen, erhalten Sie:

(4)rT.EINr=0

EIN=(nich- -11T.)

wo ich die Identitätsmatrix bin . Die Lösungsmenge ist der Nullraum von EIN ; das heißt, die Menge aller r so dass EINr=0 . Um den Nullraum zu finden, beachten Sie, dass EIN eine n×n Matrix mit diagonalen Elementen gleich n- -1 und allen anderen Elementen gleich - -1 . Die Aussage EINr=0 entspricht dem Gleichungssystem:

(5)(n- -1)rich- -jichrj=0ich

Oder Dinge neu ordnen:

(6)rich=1n- -1jichrjich

richEIN

{rr=c1c0}}

RMSE und MAE sind also genau dann gleich, wenn die absoluten Werte der Residuen für alle Datenpunkte gleich sind.

user20160
quelle
1
r
+1 Tolle Antwort!
mkt - Monica
1
Tatsächlich war die Frage, ob RMSE und MAE jemals gleich sein können und nicht, ob MSE und MAE jemals gleich sein können. Vielleicht ist die Antwort von @ mkt (oder die verallgemeinerte Version davon, die ich in einem Kommentar vorgeschlagen habe) die einzige Antwort auf die Frage RMSE = MAE?
Dilip Sarwate
@ DilipSarwate, Ja, nachdem ich dies gepostet hatte, wurde mir klar, dass ich den 'R'-Teil übersprungen hatte. Ich habe jetzt RMSE hinzugefügt. Ich glaube, die von Ihnen vorgeschlagene Version ist in diesem Fall die einzig mögliche Antwort.
user20160
2
@Hiyam Wenn es nur 1 Wert gibt, muss RMSE per Definition gleich MAE sein. Da es nur einen Fehler gibt, gibt das Quadrieren und das Ziehen der Wurzel nur den absoluten Wert des ursprünglichen Fehlers zurück.
mkt - Reinstate Monica