Wird der mittlere quadratische Fehler verwendet, um die relative Überlegenheit eines Schätzers gegenüber einem anderen zu bewerten?

Angenommen, wir haben zwei Schätzer $\alpha_1$ und für einen Parameter . Um festzustellen, welcher Schätzer "besser" ist, betrachten wir den MSE (Mean Squared Error)? Mit anderen Worten, wir betrachten wobei die Abweichung des Schätzers und die Varianz des Schätzers ist. Wer eine größere MSE hat, ist ein schlechterer Schätzer?$\alpha_2$$x$

$$MSE = \beta^2+ \sigma^2$$ $\beta$$\sigma^2$

Wenn Sie zwei konkurrierende Schätzer & theta; 1 und θ 2 , ob oder ob nicht M S E ( θ 1 ) < M S E ( θ 2 ) besagt, dass θ 1 ist die bessere Schätzer ganz auf Ihre Festlegung ist abhängig von "Beste". Zum Beispiel, wenn Sie unvoreingenommene Schätzer und „besser“ vergleichen Sie bedeuten eine geringere Varianz dann, ja, würde dies bedeuten , dass θ 1 ist besser. M S E$\hat \theta_1$$\hat \theta_2$

$${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$$ $\hat \theta_1$$\hat \theta_1$$\rm MSE$wegen seiner Verbindung zu einem beliebten Kriterium der kleinsten Quadrate ist und die Gaußsche Log-Likelihood aber, wie viele statistische Kriterien sollte man verwenden , werden verwarnt $\rm MSE$ blind als Maß für die Schätzer Qualität ohne die Aufmerksamkeit auf die Anwendung zu zahlen.

Es gibt bestimmte Situationen , in denen ein Schätz Auswahl zu minimieren ${\rm MSE}$ eine besonders sinnvolle Sache zu tun sein kann , nicht. Zwei Szenarien kommen in den Sinn:

• Wenn ein Datensatz sehr große Ausreißer enthält, können diese die MSE drastisch beeinflussen, und daher kann der Schätzer, der die MSE minimiert, von solchen Ausreißern in unangemessener Weise beeinflusst werden. In solchen Situationen sagt die Tatsache, dass ein Schätzer die MSE minimiert, nicht viel aus, da Sie, wenn Sie die Ausreißer entfernt haben, eine völlig andere Schätzung erhalten können. In diesem Sinne ist die MSE für Ausreißer nicht "robust". Im Kontext der Regression motivierte diese Tatsache den Huber M-Estimator (den ich in dieser Antwort diskutiere), der eine andere Kriteriumsfunktion (dh eine Mischung aus quadratischem Fehler und absolutem Fehler) minimiert, wenn es Long-tailed-Fehler gibt .

• Wenn Sie einen begrenzten Parameter sind zu schätzen, zu vergleichen s nicht geeignet sein können , da sie nachteilige Auswirkungen auf und understimation anders in diesem Fall. Angenommen, Sie schätzen eine Varianz, σ 2 . Wenn Sie die Größe bewusst unterschätzen, kann Ihre M S E höchstens σ 4 betragen , während eine Überschätzung eine M S E hervorrufen kann, die σ 4 weit übersteigt , möglicherweise sogar um einen unbegrenzten Betrag.$\rm MSE$$\sigma^2$$\rm MSE$$\sigma^4$$\rm MSE$$\sigma^4$

Um diesen Nachteil mehr klar zu machen, werde ich ein konkretes Beispiel geben , wenn aufgrund dieser Probleme, die kann kein geeignetes Maß für Schätzer Qualität sein.$\rm MSE$

Angenommen , Sie eine Probe haben aus einer t- Verteilung mit ν > 2 Freiheitsgraden und wir versuchen, die Varianz zu schätzen, die ν / ( ν - 2 ) ist . Betrachten wir zwei konkurrierende Schätzer: θ 1 : t h e u n b i a s e d s a m p l e v eine r $X_1, ..., X_n$$t$$\nu>2$$\nu/(\nu-2)$ und θ 2 = 0 , r e g a r d l e s s o f t h e d a t a Offensichtlich M S E ( θ 2 ) = ν

$$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$$ $$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$$ , und es ist eine TatsachedaßMSE( θ 1)={ ∞ wenn  ν ≤ 4 ν $\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$was sich ausder in diesem Thread diskutierten Tatsacheundden Eigenschaften dert-Verteilungableiten lässt. Sodie naiven Schätzer übertreffen in Bezug aufMSEunabhängig von der Probengrößewennν<4, die eher befremdlich ist. Es ist auch besser als( $${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$$ $t$$\rm MSE$$\nu < 4$, dies ist jedoch nur für sehr kleine Stichprobengrößen relevant. Die oben geschieht wegen der langen Schwanz Natur dertVerteilung mit kleinen Freiheitsgraden, die machen θ 2auf sehr große Werte und die anfälligMSEbestraft stark für die Überschätzung, während θ 1dieses Problem nicht hat.$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$$t$$\hat \theta_{2}$$\rm MSE$$\hat \theta_1$

$\rm MSE$$\rm MSE$$\hat \theta$

$$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$$

$S(\hat \theta_1)=\infty$

$L(\alpha_i) = (\alpha_i - \alpha)^2$

$f(x) = x^2$

$f(x) = |x|$

MSE ist wahrscheinlich eine gute Wahl, wenn die Fehlerbedingungen normal verteilt sind. Wenn sie dickere Schwänze haben, ist eine robustere Wahl wie der absolute Wert vorzuziehen.

In Case & Berger Statistical Inference, 2. Ausgabe, heißt es, dass MSE für Überschätzung und Unterschätzung gleichermaßen bestraft wird, was im Fall der Lokalisierung in Ordnung ist. Im Skalierungsfall ist 0 jedoch eine natürliche Untergrenze, sodass das Schätzproblem nicht symmetrisch ist. Die Verwendung von MSE ist in diesem Fall eher zu unterschätzen.

Möglicherweise möchten Sie überprüfen, welcher Schätzer die UMVUE-Eigenschaften erfüllt. Dies bedeutet, dass Sie die Cramer-Rao-Untergrenze verwenden. Seite 341.