Warum bedeutet Unparteilichkeit nicht Beständigkeit?

Ich lese Deep Learning von Ian Goodfellow et al. Es führt Bias als

B. ich ein s (θ) = E. (\hat{θ}) - - θ

$Bias(\theta)=E(\hat\theta)-\theta$ wo und werden die geschätzten Parameter und der zugrunde liegende reelle Parameter, respectively.

\hat{θ}

$\hat\theta$

θ

$\theta$

Konsistenz, auf der anderen Seite, ist definiert durch was bedeutet , dass für jede , als

{l ich m}_{m \to \infty} {\hat{θ}}_{m} = θ

$\mathrm{lim}_{m\to\infty}\hat\theta_m=\theta$

ϵ > 0

$\epsilon > 0$

P (| {\hat{θ}}_{m} - θ | > ϵ) \to 0

$P(|\hat\theta_m-\theta|>\epsilon)\to0$

m \to \infty

$m\to\infty$

Dann heißt es, dass Konsistenz Unvoreingenommenheit impliziert, aber nicht umgekehrt:

Die Konsistenz stellt sicher, dass die vom Schätzer induzierte Verzerrung mit zunehmender Anzahl von Datenbeispielen abnimmt. Das Gegenteil ist jedoch nicht der Fall - asymptotische Unparteilichkeit bedeutet keine Konsistenz. Betrachten Sie beispielsweise die Schätzung des mittleren Parameters μ einer Normalverteilung N (x; μ, σ2) mit einem Datensatz, der aus m Stichproben besteht: . Wir könnten die erste Stichprobe des Datensatzes als Schätzer verwenden: . In diesem Fall ist so dass der Schätzer unabhängig von der ist. Dies impliziert natürlich, dass die Schätzung asymptotisch unvoreingenommen ist. Dies ist jedoch kein konsistenter Schätzer, da es nicht der Fall ist, dass as ${x^{(1)}, . . . , x^{(m)}}$ $x^{(1)}$ $\hatθ = x^{(1)}$ $E(\hat θ_m) = θ$ $\hatθ_m → θ$ $m → ∞$

Ich bin mir nicht sicher, ob ich den obigen Absatz und die Konzepte von Unparteilichkeit und Konsistenz richtig verstanden habe. Ich hoffe, jemand könnte mir helfen, ihn zu überprüfen. Danke im Voraus.

Soweit ich weiß, impliziert Konsistenz sowohl Unparteilichkeit als auch geringe Varianz, und daher reicht Unparteilichkeit allein nicht aus, um Konsistenz zu implizieren.

estimation bias unbiased-estimator consistency Könnte sein
quelle

Wenn Bias = 0 und Varianz-> 0 ist, ist es konsistent. Und wenn Bias-> 0 und Varianz-> 0 sind, ist es konsistent; Dies ist "asymptotische Unparteilichkeit". Beide ergeben sich aus der Tatsache, dass der erwartete quadratische Fehler = Bias ^ 2 + Varianz ist.

user54038

Es heißt nicht, dass Konsistenz Unvoreingenommenheit impliziert, da dies falsch wäre. Beispielsweise ist der Schätzer ein konsistenter Schätzer für den Stichprobenmittelwert, aber nicht unvoreingenommen. Was der obige Ausschnitt sagt, ist, dass Konsistenz die Menge an Vorspannung verringert, die durch einen Vorspannungsschätzer induziert wird!. Im Fall der Probe Mittelwert, die Differenz zwischen und wird als vernachlässigbar zunimmt

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

N

$N$

N - 1

$N-1$

N

$N$

Yannis Vassiliadis

Bist du sicher, dass es unvoreingenommen ist? Ich glaube, es ist unvoreingenommen: 1 / n-mal wäre die Summe voreingenommen.

eSurfsnake

@eSurfsnake, das ist für die Stichprobenvarianz. Für den oben erwähnten Stichprobenmittelwert ist sowohl unvoreingenommen als auch konsistent, während nur konsistent ist.

\frac{1}{N} \sum_{i} x_{i}

$\frac{1}{N} \sum_i x_i$

\frac{1}{N - 1} \sum_{i} x_{i}

$\frac{1}{N-1} \sum_i x_i$

Yannis Vassiliadis

OK - ich hatte gedacht, Sie fragen nach der Varianz.

eSurfsnake

Antworten:

In diesem Absatz geben die Autoren ein extremes Beispiel, um zu zeigen, dass Unparteilichkeit nicht bedeutet, dass eine Zufallsvariable auf irgendetwas konvergiert.

Die Autoren nehmen eine Zufallsstichprobe und möchten schätzen . Wenn wir feststellen, dass , können wir einen unverzerrten Schätzer für erzeugen, indem wir einfach alle unsere Daten außer dem ersten Punkt ignorieren . Aber das ist eindeutig eine schreckliche Idee, daher ist Unparteilichkeit allein kein gutes Kriterium für die Bewertung eines Schätzers. Wenn wir mehr Daten erhalten, möchten wir, dass unser Schätzer immer weniger von , und genau das sagt die Konsistenz: Für jede Entfernung ist die Wahrscheinlichkeit, dass mehr als von $X_1,\dots, X_n \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $E(X_1) = \mu$ $\mu$ $X_1$ $\mu$ $\varepsilon$ $\hat \theta_n$ $\varepsilon$ $\theta$ geht auf als . Und dies kann auch dann passieren, wenn für ein endliches voreingenommen ist. Ein Beispiel hierfür ist der Varianzschätzer in einer normalen Stichprobe. Dies ist voreingenommen, aber konsistent. $0$ $n \to \infty$ $n$ $\hat \theta$ $\hat \sigma^2_n = \frac 1n \sum_{i=1}^n(y_i - \bar y_n)^2$

Intuitiv ist eine Statistik unvoreingenommen, wenn sie im Durchschnitt über alle möglichen Stichproben genau der Zielmenge entspricht. Wir wissen jedoch, dass der Durchschnitt einer Reihe von Dingen nicht in der Nähe der gemittelten Dinge liegen muss. dies ist nur eine schicke Version, wie der Durchschnitt von und ist , obwohl weder noch sind besonders nahe (je nachdem , wie Sie messen „close“). $0$ $1$ $1/2$ $0$ $1$ $1/2$

Hier ist ein weiteres Beispiel (obwohl dies fast dasselbe verkleidete Beispiel ist). Sei und sei . Unser Schätzer für ist . Beachten Sie, dass sodass wir tatsächlich einen unverzerrten Schätzer haben. Aber so dass dieser Schätzer definitiv nicht auf etwas konvergiert, das nahe an , und für jedes wir tatsächlich noch . $X_1 \sim \text{Bern}(\theta)$ $X_2 = X_3 = \dots = X_1$ $\theta$ $\hat \theta(X) = \bar X_n$ $E \bar X_n = p$ $\bar X_n = X_1 \in \{0,1\}$ $\theta \in (0,1)$ $n$ $\bar X_n \sim \text{Bern}(\theta)$

jld
quelle

Das Gegenteil ist auch falsch. Ein Schätzer kann eine Vorspannung und eine Varianz haben, die beide auf 0 gehen, wenn n gegen unendlich geht, wodurch es konsistent wird. Aber für jedes n wird es vorgespannt, weil es eine Nicht-Null-Vorspannung hat. Zum Beispiel ist die Schätzung der Varianz mit n im Nenner voreingenommen und konsistent, während wenn Sie durch n-1 dividieren, es unverzerrt und konsistent ist.

Michael R. Chernick

Soweit ich weiß, impliziert Konsistenz sowohl Unparteilichkeit als auch geringe Varianz, und daher reicht Unparteilichkeit allein nicht aus, um Konsistenz zu implizieren.

Recht. Oder wenn wir die etwas allgemeineren Begriffe "Genauigkeit" für geringe Vorspannung und "Präzision" für geringe Varianz verwenden, müssen wir sowohl genau als auch präzise sein. Nur genau zu sein bedeutet nicht, dass wir das Ziel erreichen. Es ist wie der alte Witz über zwei Statistiker, die auf die Jagd gehen. Man vermisst ein Reh zehn Fuß links. Der andere verfehlt zehn Fuß rechts. Sie gratulieren sich dann gegenseitig auf der Grundlage, dass sie im Durchschnitt den Hirsch schlagen. Obwohl ihre Tendenz Null ist, benötigen sie auch eine geringe Varianz, um den Hirsch tatsächlich zu treffen.

Akkumulation
quelle