Wird der mittlere quadratische Fehler verwendet, um die relative Überlegenheit eines Schätzers gegenüber einem anderen zu bewerten?

13

Angenommen, wir haben zwei Schätzer α1 und für einen Parameter . Um festzustellen, welcher Schätzer "besser" ist, betrachten wir den MSE (Mean Squared Error)? Mit anderen Worten, wir betrachten wobei die Abweichung des Schätzers und die Varianz des Schätzers ist. Wer eine größere MSE hat, ist ein schlechterer Schätzer?α2x

MSE=β2+σ2
βσ2
Damien
quelle

Antworten:

10

Wenn Sie zwei konkurrierende Schätzer & theta; 1 und θ 2 , ob oder ob nicht M S E ( θ 1 ) < M S E ( θ 2 ) besagt, dass θ 1 ist die bessere Schätzer ganz auf Ihre Festlegung ist abhängig von "Beste". Zum Beispiel, wenn Sie unvoreingenommene Schätzer und „besser“ vergleichen Sie bedeuten eine geringere Varianz dann, ja, würde dies bedeuten , dass θ 1 ist besser. M S Eθ^1θ^2

MSE(θ^1)<MSE(θ^2)
θ^1θ^1MSEwegen seiner Verbindung zu einem beliebten Kriterium der kleinsten Quadrate ist und die Gaußsche Log-Likelihood aber, wie viele statistische Kriterien sollte man verwenden , werden verwarnt MSE blind als Maß für die Schätzer Qualität ohne die Aufmerksamkeit auf die Anwendung zu zahlen.

Es gibt bestimmte Situationen , in denen ein Schätz Auswahl zu minimieren MSE eine besonders sinnvolle Sache zu tun sein kann , nicht. Zwei Szenarien kommen in den Sinn:

  • Wenn ein Datensatz sehr große Ausreißer enthält, können diese die MSE drastisch beeinflussen, und daher kann der Schätzer, der die MSE minimiert, von solchen Ausreißern in unangemessener Weise beeinflusst werden. In solchen Situationen sagt die Tatsache, dass ein Schätzer die MSE minimiert, nicht viel aus, da Sie, wenn Sie die Ausreißer entfernt haben, eine völlig andere Schätzung erhalten können. In diesem Sinne ist die MSE für Ausreißer nicht "robust". Im Kontext der Regression motivierte diese Tatsache den Huber M-Estimator (den ich in dieser Antwort diskutiere), der eine andere Kriteriumsfunktion (dh eine Mischung aus quadratischem Fehler und absolutem Fehler) minimiert, wenn es Long-tailed-Fehler gibt .

  • Wenn Sie einen begrenzten Parameter sind zu schätzen, zu vergleichen s nicht geeignet sein können , da sie nachteilige Auswirkungen auf und understimation anders in diesem Fall. Angenommen, Sie schätzen eine Varianz, σ 2 . Wenn Sie die Größe bewusst unterschätzen, kann Ihre M S E höchstens σ 4 betragen , während eine Überschätzung eine M S E hervorrufen kann, die σ 4 weit übersteigt , möglicherweise sogar um einen unbegrenzten Betrag.MSEσ2MSEσ4MSEσ4

Um diesen Nachteil mehr klar zu machen, werde ich ein konkretes Beispiel geben , wenn aufgrund dieser Probleme, die kann kein geeignetes Maß für Schätzer Qualität sein.MSE

Angenommen , Sie eine Probe haben aus einer t- Verteilung mit ν > 2 Freiheitsgraden und wir versuchen, die Varianz zu schätzen, die ν / ( ν - 2 ) ist . Betrachten wir zwei konkurrierende Schätzer: θ 1 : t h e u n b i a s e d s a m p l e v eine r iX1,...,Xntν>2ν/(ν2) und θ 2 = 0 , r e g a r d l e s s o f t h e d a t a Offensichtlich M S E ( θ 2 ) = ν 2

θ^1:the unbiased sample variance
θ^2=0, regardless of the data
, und es ist eine TatsachedaßMSE( θ 1)={wenn  ν 4 ν 2MSE(θ^2)=ν2(ν2)2was sich ausder in diesem Thread diskutierten Tatsacheundden Eigenschaften dert-Verteilungableiten lässt. Sodie naiven Schätzer übertreffen in Bezug aufMSEunabhängig von der Probengrößewennν<4, die eher befremdlich ist. Es ist auch besser als(2
MSE(θ^1)={if ν4ν2(ν2)2(2n1+6n(ν4))if ν>4.
tMSEν<4, dies ist jedoch nur für sehr kleine Stichprobengrößen relevant. Die oben geschieht wegen der langen Schwanz Natur dertVerteilung mit kleinen Freiheitsgraden, die machen θ 2auf sehr große Werte und die anfälligMSEbestraft stark für die Überschätzung, während θ 1dieses Problem nicht hat.(2n1+6n(ν4))>1tθ^2MSEθ^1

MSEMSEθ^

S(θ^)=θ^ν/(ν2)1log(θ^ν/(ν2))

S(θ^1)=

Makro
quelle
(+1) Nette Diskussion. Um fair zu sein, sollte wahrscheinlich darauf hingewiesen werden, dass ähnliche Argumente auch für und gegen andere Kriterien (andere Verlustfunktionen) vorgebracht werden können.
MånsT
2
Normalerweise bewertet man Schätzer anhand ihrer Risikofunktionen, in denen der erwartete Verlust gegen die Parameter aufgetragen ist. Hier haben Sie möglicherweise durch Festlegen der Parameter eine irreführende Analyse erstellt. Schließlich ist es immer so , dass ein dummer (konstanter, datenunabhängiger) Schätzer einen sehr geringen erwarteten Verlust verursachen kann: Setzen Sie ihn einfach auf den richtigen Parameter! Ich frage mich daher, was die Simulation hier wirklich gezeigt hat.
whuber
@whuber, ich habe diese Antwort geändert, um das Beispiel analytisch darzustellen, was es vielleicht klarer macht. Ich habe auch eine alternative Verlustfunktion angeboten, die möglicherweise geeigneter ist.
Makro
ν
2

L(αi)=(αiα)2

JMS
quelle
2

f(x)=x2

f(x)=|x|

MSE ist wahrscheinlich eine gute Wahl, wenn die Fehlerbedingungen normal verteilt sind. Wenn sie dickere Schwänze haben, ist eine robustere Wahl wie der absolute Wert vorzuziehen.

aprokopiw
quelle
0

In Case & Berger Statistical Inference, 2. Ausgabe, heißt es, dass MSE für Überschätzung und Unterschätzung gleichermaßen bestraft wird, was im Fall der Lokalisierung in Ordnung ist. Im Skalierungsfall ist 0 jedoch eine natürliche Untergrenze, sodass das Schätzproblem nicht symmetrisch ist. Die Verwendung von MSE ist in diesem Fall eher zu unterschätzen.

Möglicherweise möchten Sie überprüfen, welcher Schätzer die UMVUE-Eigenschaften erfüllt. Dies bedeutet, dass Sie die Cramer-Rao-Untergrenze verwenden. Seite 341.

Tu.2
quelle