Andere unvoreingenommene Schätzer als die BLAUE (OLS-Lösung) für lineare Modelle

15

Für ein lineares Modell bietet die OLS-Lösung den besten linearen unverzerrten Schätzer für die Parameter.

Natürlich können wir eine Tendenz für eine geringere Varianz eintauschen, z. B. eine Kammregression. Aber meine Frage bezieht sich darauf, keine Vorurteile zu haben. Gibt es andere Schätzer, die etwas gebräuchlich sind, aber eine höhere Varianz aufweisen als die geschätzten OLS-Parameter?

Wenn ich einen riesigen Datensatz haben würde, könnte ich ihn natürlich unterproben und die Parameter mit weniger Daten schätzen und die Varianz erhöhen. Ich gehe davon aus, dass dies hypothetisch nützlich sein könnte.

Dies ist eher eine rhetorische Frage, denn wenn ich über BLAUE Schätzer gelesen habe, gibt es keine schlechtere Alternative. Ich vermute, dass die Bereitstellung schlechterer Alternativen auch dazu beitragen könnte, die Leistung von BLUE-Schätzern besser zu verstehen.

Gumeo
quelle
Was ist mit einem Maximum-Likelihood-Schätzer? Wenn Sie beispielsweise glauben, dass Ihre Daten aus einer Verteilung mit relativ geringen Freiheitsgraden stammen ( t ( 3 ) oder t ( 4 ) sind möglicherweise charakteristisch für finanzielle Renditen), stimmt ein Maximum-Likelihood-Schätzer nicht mit OLS überein, aber ich denke es wäre immer noch unvoreingenommen. tt(3)t(4)
Richard Hardy
2
Relevant: andrewgelman.com/2015/05/11/…
kjetil b halvorsen
1
@RichardHardy, ich habe auch das MLE ausprobiert, mit den erwarteten Ergebnissen.
Christoph Hanck

Antworten:

19

Ein Beispiel, das mir einfällt, ist ein GLS-Schätzer, der Beobachtungen unterschiedlich gewichtet, obwohl dies nicht erforderlich ist, wenn die Gauß-Markov-Annahmen erfüllt sind (von denen der Statistiker möglicherweise nicht weiß, dass dies der Fall ist, und der daher weiterhin GLS anwendet).

Betrachten Sie zur Veranschaulichung den Fall einer Regression von yich , ich=1,,n auf einer Konstante (verallgemeinert leicht auf allgemeine GLS-Schätzer). Hier wird angenommen, dass {yich} eine Zufallsstichprobe aus einer Population mit mittlerem μ und Varianz σ2 .

Dann wissen wir , dass OLS ist nur β = ˉ y die mittlere Probe. Um den Punkt zu betonen , dass jede Beobachtung mit dem Gewicht gewichtet ist , 1 / n , Schreiben dieser als β = n Σ i = 1 1β^=y¯1/n

β^=ich=1n1nyich.
Es ist bekanntdassVeinr(β^)=σ2/n.

Betrachten Sie nun eine andere Schätzfunktion, die als geschrieben werden kann ,

β~=ich=1nwichyich,
wobei die Gewichte so sind , daß ichwich=1 . Dies stellt sicher, dass der Schätzer unverzerrt ist, da
E(ich=1nwichyich)=ich=1nwichE(yich)=ich=1nwichμ=μ.
Ihre Varianz übersteigt die von OLS, es sei denn,wich=1/nfür alleich(in diesem Fall reduziert sie sich natürlich auf OLS), was zum Beispiel über einen Lagrange angezeigt werden kann:

L=V(β~)-λ(ichwich-1)=ichwich2σ2-λ(ichwich-1),
wich2σ2wich-λ=0ichL/λ=0ichwich-1=0λwich=wjwich=1/n

Hier ist eine grafische Darstellung einer kleinen Simulation, die mit dem folgenden Code erstellt wurde:

yichIn log(s) : NaNs produced

Bildbeschreibung hier eingeben

wich=(1±ϵ)/n

Dass die letzteren drei von der OLS-Lösung übertroffen werden, impliziert die BLUE-Eigenschaft nicht sofort (zumindest nicht für mich), da es nicht offensichtlich ist, ob es sich um lineare Schätzer handelt (noch weiß ich, ob MLE und Huber unvoreingenommen sind).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)
Christoph Hanck
quelle
2
Ordentlich! Ich denke, dies ist ein sehr einfaches anschauliches Beispiel, das etwas allgemeiner ist als das, das ich mir ausgedacht habe. Wenn die Leute in einem häufig auftretenden Umfeld etwas über Schätzer lernen, fehlen meiner Meinung nach häufig solche Beispiele. Sie helfen Ihnen dabei, das Konzept besser zu verstehen.
Gumeo
4
W=ich=1nw(eich)eichww(0)=0
1
@kjetilbhalvorsen, ich beziehe jetzt auch den Huber-Schätzer ein, der eigentlich ganz gut funktioniert.
Christoph Hanck