Ein Beispiel für einen konsistenten und voreingenommenen Schätzer?

13

Wirklich ratlos auf diesen. Ich hätte wirklich gerne ein Beispiel oder eine Situation, in der ein Schätzer B sowohl konsistent als auch voreingenommen wäre.

Jimmy Wiggles
quelle
3
Das ist für eine Klasse?
Glen_b -State Monica
5
Ich denke, dass die späte Spezifikation, die Sie für ein Zeitreihenbeispiel suchen , dies in eine andere Frage umwandelt, da dies die bereits bereitgestellten hervorragenden Antworten ungültig machen würde. Aber das ist in Ordnung - Sie können eine neue Frage stellen.
Sycorax sagt Reinstate Monica
6
Ich sehe, Sie haben Ihre Frage geändert. Da sich bereits mehrere Antworten mit Ihrer vorherigen Frage befasst haben, empfehle ich Ihnen, diese zurück zu ändern und eine neue Frage speziell für Zeitreihenmodelle zu stellen.
JohnK
3
Es ist überraschend, dass, obwohl Sie nach einem zeitreihenbezogenen Schätzer fragen, niemand OLS für einen AR erwähnt hat (1). Der Schätzer ist voreingenommen, aber konsistent und ziemlich einfach zu zeigen (und durch Googeln erhalten Sie viel Material dazu). Bearbeiten: Es scheint, als wäre die Zeitreihenanforderung eine späte Ergänzung, die das Fehlen solcher Antworten erklären würde ...
hejseb
2
Hier ist ein ziemlich triviales Beispiel: X¯n+ϵ/n , ϵ0 .
Dsaxton

Antworten:

23

Das einfachste Beispiel, das ich mir vorstellen kann, ist die Stichprobenvarianz, die für die meisten von uns intuitiv ist, nämlich die Summe der quadratischen Abweichungen geteilt durch n anstelle von n1 :

Sn2=1ni=1n(XiX¯)2

Es ist leicht zu zeigen, dass E(Sn2)=n1nσ2und somit ist der Schätzer vorgespannt. Unter der Annahme einer endlichen Varianzσ2ist zu beachten, dass die Vorspannung alsnauf Null gehtn weil

E(Sn2)σ2=1nσ2

Es kann auch gezeigt werden, dass die Varianz des Schätzers gegen Null tendiert und der Schätzer daher im mittleren Quadrat konvergiert . Daher ist es auch in der Wahrscheinlichkeit konvergent .

JohnK
quelle
1
Dies ist ein nützliches Beispiel, obwohl es hier eine eher schwache Interpretation von "voreingenommen" anwenden kann (die in der Frage selbst etwas mehrdeutig verwendet wird). Man könnte auch nach etwas Stärkerem fragen, z. B. nach einer konsistenten Sequenz von Schätzern, deren Voreingenommenheit jedoch nicht einmal asymptotisch verschwindet.
Kardinal
@cardinal Die Verzerrung muss asymptotisch verschwinden, damit der Schätzer konsistent ist, nein?
JohnK
3
Nee. (Siehe Kommentar-Stream für weitere Details.)
Kardinal
Ich würde denken , dass es Ihre Schätzer hilfreich Anruf wäre & sgr; 2 statt S 2 , wie S 2 am typischsten auf den unverzerrter Schätzer bezeichnet, während σ 2 oft auf die MLE bezieht. σ^2S2S2σ^2
Cliff AB
@CliffAB Ja, das ist es, was der Index bezeichnet. Die Summe der quadratischen Abweichungen wird durch n anstelle des herkömmlichen n - 1 geteilt . nnn1
JohnK
9

Ein einfaches Beispiel wäre das Schätzen des Parameters bei n iid Beobachtungen y iUniform [ 0θ>0nyiUniform[0,θ] .

Lassen θ n = max { y 1 , ... , y n } . Für jedes endliche n haben wir E [ θ n ] < θ (der Schätzer ist also vorgespannt), aber in der Grenze ist er mit der Wahrscheinlichkeit eins gleich θ (also konsistent).θ^n=max{y1,,yn}nE[θn]<θθ

Adrian
quelle
6

Betrachten Sie einen unverzerrten und konsistenten Schätzer und eine gegen 1 konvergierende Folge α n ( α n muss nicht zufällig sein) und bilden Sie α n T n . Es ist voreingenommen, aber konsistent, da α n gegen 1 konvergiert.TnαnαnαnTnαn

Aus Wikipedia:

Ein Schätzer des Parameters θ gilt als konsistent, wenn er mit der Wahrscheinlichkeit gegen den wahren Wert des Parameters konvergiert : plim n Tnθ

plimnTn=θ.

Denken Sie nun daran, dass die Verzerrung eines Schätzers wie folgt definiert ist:

Biasθ[θ^]=Eθ[θ^]θ

The bias is indeed non zero, and the convergence in probability remains true.

RUser4512
quelle
I appreciate the response and explanation. I have a better understanding now. Thanks
Jimmy Wiggles
This answer needs a minor fix-up at the beginning to make clear that not any unbiased Tn will do. The original estimator sequence itself must be consistent.
cardinal
2

In a time series setting with a lagged dependent variable included as a regressor, the OLS estimator will be consistent but biased. The reason for this is that in order to show unbiasedness of the OLS estimator we need strict exogeneity, E[εt|x1,x2,,,xT], i.e. that the error term, εt, in period t is uncorrelated with all the regressors in all time periods. However, in order to show consistency of the OLS estimator we only need contemporanous exogeneity, E[εt|xt], i.e. that the error term, εt, in period t is uncorrelated with the regressors, xt in period t. Consider the AR(1) model: yt=ρyt1+εt,εtN(0,σε2) with xt=yt1 from now on.

First I show that strict exogeneity does not hold in a model with a lagged dependent variable included as a regressor. Let's look at the correlation between εt and xt+1=yt

E[εtxt+1]=E[εtyt]=E[εt(ρyt1+εt)]

=ρE(εtyt1)+E(εt2)

=E(εt2)=σε2>0 (Eq.(1)).

If we assume sequential exogeneity, E[εty1,y2,,yt1]=0, i.e. that the error term, εt, in period t is uncorrelated with all the regressors in previous time periods and the current then the first term above, ρE(εtyt1), will dissapear. What is clear from above is that unless we have strict exogeneity the expectation E[εtxt+1]=E[εtyt]0. However, it should be clear that contemporaneous exogeneity, E[εt|xt], does hold.

Now let's look at the bias of the OLS estimator when estimating the AR(1) model specified above. The OLS estimator of ρ, ρ^ is given as:

ρ^=1Tt=1Tytyt11Tt=1Tyt2=1Tt=1T(ρyt1+εt)yt11Tt=1Tyt2=ρ+1Tt=1Tεtyt11Tt=1Tyt2 (Eq.(2))

Then take conditional expectation on all previous, contemporaneous and future values, E[εt|y1,y2,,,yT1], of Eq.(2):

E[ρ^|y1,y2,,,yT1]=ρ+1Tt=1T[εt|y1,y2,,,yT1]yt11Tt=1Tyt2

However, we know from Eq.(1) that E[εtyt]=E(εt2) such that [εt|y1,y2,,,yT1]0 meaning that 1Tt=1T[εt|y1,y2,,,yT1]yt11Tt=1Tyt20 and hence E[ρ^|y1,y2,,,yT1]ρ but is biased: E[ρ^|y1,y2,,,yT1]=ρ+1Tt=1T[εt|y1,y2,,,yT1]yt11Tt=1Tyt2=ρ+1Tt=1TE(εt2)yt11Tt=1Tyt2=ρ+1Tt=1Tσε2yt11Tt=1Tyt2.

All I assume to show consistency of the OLS estimator in the AR(1) model is contemporanous exogeneity, E[εt|xt]=E[εt|yt1]=0 which leads to the moment condition, E[εtxt]=0 with xt=yt1. As before, we have that the OLS estimator of ρ, ρ^ is given as:

ρ^=1Tt=1Tytyt11Tt=1Tyt2=1Tt=1T(ρyt1+εt)yt11Tt=1Tyt2=ρ+1Tt=1Tεtyt11Tt=1Tyt2

Now assume that plim1Tt=1Tyt2=σy2 and σy2 is positive and finite, 0<σy2<.

Then, as T and as long as a law of large numbers (LLN) applies we have that plim1Tt=1Tεtyt1=E[εtyt1]=0. Using this result we have:

plimρ^T=ρ+plim1Tt=1Tεtyt1plim1Tt=1Tyt2=ρ+0σy2=ρ

Thereby it has been shown that the OLS estimator of p, ρ^ in the AR(1) model is biased but consistent. Note that this result holds for all regressions where the lagged dependent variable is included as a regressor.

Plissken
quelle