Multivariate Normalverteilung des Regressionskoeffizienten?

Beim Lesen eines Lehrbuchs über Regression stieß ich auf folgenden Absatz:

Die Schätzung der kleinsten Quadrate eines Vektors linearer Regressionskoeffizienten ( ) ist $\beta$

$\hat{β} = (X^{t} X)^{- 1} X^{t} y$ $\hat{\beta} = (X^{t}X)^{-1}{X^t}y$
Dies ist, wenn es als Funktion der Daten (unter Berücksichtigung der Prädiktoren als Konstanten), eine lineare Kombination der Daten. Mit dem zentralen Grenzwertsatz kann gezeigt werden, dass die Verteilung von $y$ $X$ $\beta$ ungefähr multivariat normal ist, wenn die Stichprobengröße groß ist.

Ich vermisse definitiv etwas im Text, aber ich verstehe nicht, wie ein einzelner Wert eine Verteilung haben kann? Wie werden die mehreren Werte generiert, um die im Text angegebene Verteilung zu erhalten? $\beta$ $\beta$

multiple-regression hoch oben
quelle

ist der Vektor der Regressionskoeffizienten - klärt das die Verwirrung auf?

β

$\beta$

Makro

Wenn Sie den Ansatz der kleinsten Quadrate verwenden, nehmen Sie an, dass

fest, aber unbekannt ist. Allerdings

, da es sich um eine Funktion der (zufällig) Daten ist, hat eine Verteilung. Asymptotisch ist die Verteilung eine Normalverteilung. Nicht asymptotisch wird ein einzelner Koeffizient verteilt.

β

$\beta$

\hat{β}

$\hat{\beta}$

Taylor

Es kann hilfreich sein zu beobachten, dass

als konstante Matrix in der Regressionseinstellung betrachtet wird und dass

die Realisierung einer (vektorwertigen) Zufallsvariablen ist. Das bisschen über die CLT ist jedoch nicht ganz richtig: Sie beruht entweder darauf, dass

eine bestimmte Struktur hat, die manchmal selbst bei großen Datenmengen nicht tatsächlich auftritt, oder dass

selbst multivariat normal ist (aber dann besteht keine Notwendigkeit dazu CLT aufrufen).

H = (X^{t} X)^{- 1} X^{t}

$H = (X^tX)^{-1}X^t$

y

$y$

H

$H$

y

$y$

whuber

@ Taylor Aber woher kennst du die Verteilung von B, wenn ich nur weiß, dass die "Stichprobengröße groß ist"?

bis

@Taylor Die einzelne Komponente des Beta-Vaktors wird nur dann verteilt, wenn die Fehlerkomponente im Regressionsmodell Gauß mit 0 Mittelwert und konstanter Varianz ist. Im nicht normalen Fall würden Sie seine Verteilung unter der Nullhypothese nicht unbedingt kennen, aber es kann immer noch asymptotisch normal sein. Wie Whuber jedoch feststellt, gilt der zentrale Grenzwertsatz möglicherweise nicht, da es sich um einen gewichteten Durchschnitt handelt und wir wissen müssen, dass die Gewichte nicht so mit der Stichprobengröße übereinstimmen, dass einige Terme die Summe dominieren können.

Michael R. Chernick

Multivariate Normalverteilung des Regressionskoeffizienten?

Antworten: