MSE-Zerlegung in Varianz und Bias-Quadrat

Indem gezeigt wird, dass MSE in Varianz plus das Quadrat der Abweichung zerlegt werden kann, hat der Beweis in Wikipedia einen Schritt, der im Bild hervorgehoben ist. Wie funktioniert das? Wie wird die Erwartung vom 3. bis zum 4. Schritt in das Produkt umgesetzt? Wenn die beiden Begriffe unabhängig sind, sollte die Erwartung nicht auf beide Begriffe angewendet werden? und wenn nicht, ist dieser Schritt gültig? Bildbeschreibung hier eingeben

random-variable expected-value mse statBeginner
quelle

Antworten:

Der Trick ist , dass $\mathbb{E}(\hat{\theta}) - \theta$ eine Konstante ist.

AdamO
quelle

Oh ich verstehe. Das einzig Unbekannte ist hier der Schätzer. Recht?

statBeginner

Ja. Erwartung Mittel nehmen , dass der Schätzer geht, was auch immer es zu schätzen, das ist , was das macht

gehen auf 0

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

Adamo

Entschuldigung, dieser Satz ergibt für mich keinen Sinn. Wenn ein Schätzer zu dem gehen würde, was er schätzt, würde das ihn dann nicht unvoreingenommen machen? Kann es mit den Worten erklärt werden

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

user1158559

@ user1158559 Der Produktbegriff in der Mitte ist eine Konstante mal etwas mit dem erwarteten Wert 0. Auch wenn der Theta-Hut voreingenommen ist, ist es immer noch eine Konstante mal 0.

AdamO

ist eine Variable und keine Konstante. Auch ist der Trick weniger trivial und

mit

eine Konstante ungleich 0 als Standard geworden ist (zum Beispiel

). Der eigentliche Trick liegt in der Tatsache, dass

die Konstante ist (und aus einem Integral herausgenommen werden kann), also

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

Sextus Empiricus

Adams Antwort ist richtig über den Trick , dass eine Konstante ist. Es hilft jedoch, das Endergebnis zu finden, und erklärt die Frage nach dem spezifischen Schritt im Wikipedia-Artikel nicht klar (Bearbeiten: Was ich jetzt sehe, war zweideutig, was das Highlight und den Schritt von Zeile drei zu Zeile vier betrifft ). $E(\hat{\theta}) - \theta$

(beachten Sie die Frage über die Variable , die sich von konstanten in der Antwort von Adam ich das falsch in meinem Kommentar schrieb Erweiterung der Bedingungen für mehr Klarheit. der. Variable ist die geschätzte , Konstanten sind die Erwartung dieser Schätzung und der wahre Wert ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Trick 1: Überlegen Sie

die Variable $x=\hat{\theta}$

die Konstante $a=\mathbb{E}\left[ \hat{\theta} \right]$

und die Konstante $b = \theta$

Dann kann die Beziehung geschrieben werden leicht die Transformationsregeln mit Hilfe der Momente der variablen exprimierenden etwa in Bezug auf die Momente der Variablen etwa . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Trick 2: Im zweiten Moment enthält die obige Formel drei Terme in der Summe. Wir können einen von ihnen beseitigen (der Fall ) , da $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Hier kann man auch argumentieren, dass etwas eine Konstante ist. Nämlich , wenn eine Konstante ist und mit , die eine Konstante ist, erhalten Sie . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Intuitiver: Wir haben den Moment von ungefähr gleich einem zentralen Moment gemacht (und die ungeraden zentralen Momente sind Null). Wir bekommen ein bisschen Tautologie. Durch Subtrahieren des Mittelwert aus den , erzeugen wir eine Variable mit Mittelwert Null. Und der Mittelwert von 'einer Variablen mit dem Mittelwert Null' ist Null. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

Der Wikipedia-Artikel verwendet diese beiden Tricks in der dritten und vierten Zeile.

Die verschachtelte Erwartung in der dritten Zeile

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

wird , indem der konstante Teil vereinfacht außerhalb desselben (trick 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Der Ausdruck gelöst ist (als gleich Null) unter Ausnutzung der Tatsache , dass die Variable hat im Mittel null (trick 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

Sextus Empiricus
quelle

ist keine Konstante. $E(\hat{\theta}) - \theta$

Der Kommentar von @ user1158559 ist eigentlich der richtige:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

little_monster
quelle

Ich verstehe nicht, was du zu zeigen versuchst. Auch die Vorspannung darf nicht Null sein, aber das bedeutet nicht, dass es keine Konstante ist.

Michael R. Chernick

Es ist keine Konstante , da

, wo

eine Trainingsdaten gegeben ist, die auch eine Zufallsvariable ist. Daher ist seine Erwartung keine Konstante.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

little_monster

Auch die Tatsache, dass es keine Konstante ist oder nicht, kann nicht erklären, wie Schritt 4 ab Schritt 3 möglich ist. Andererseits erklärt der Kommentar von @ user1158559 dies.

little_monster

@Michael, die Frage hat Verwirrung gestiftet. Der markierte Teil enthält diesen Ausdruck

, aber in dem Text der Frage wird erwähnt, dass es , statt über die Änderung von der dritten Leitung zur vierten Leitung ist, die Änderung die Verschachtelung Erwartungen.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

Sextus Empiricus