Beweis, dass die Koeffizienten in einem OLS-Modell einer t-Verteilung mit (nk) Freiheitsgraden folgen

29

Hintergrund

Angenommen, wir haben ein gewöhnliches Modell der kleinsten Quadrate, in dem wir k Koeffizienten in unserem Regressionsmodell haben,

y=Xβ+ϵ

wobei β ein (k×1) Koeffizientenvektor ist, ist X die Entwurfsmatrix durch definierte

X=(1x11x12x1(k1)1x211xn1xn(k1))
und die Fehler werden IID normal,
ϵN(0,σ2I).

Wir minimieren die Summe von eckigen Fehler , die durch unsere Schätzungen Einstellung für β zu β = ( X T X ) - 1 X T

β^=(XTX)1XTy.

Ein unverzerrter Schätzer von IS s 2 = y - y 2σ2 , wo yX β (ref).

s2=yy^2np
y^Xβ^

Die Kovarianz von β ist gegeben durch Cov ( β ) = σ 2 C , wo C( X T X ) - 1 (β^

Cov(β^)=σ2C
C(XTX)1 ref ).

Frage

Wie kann ich beweisen , dass für β i , β i - β iβ^i wobeitn-keine t-Verteilung mit ist(n-k)Freiheitsgrade, und der Standardfehler von β iwird geschätzt durchs β i=s

β^iβisβ^itnk
tnk(nk)β^i .sβ^i=scii

Meine Versuche

Ich weiß, dass man für Zufallsvariablen, die aus x N ( μ , σ 2 ) abgetastet wurden , zeigen kann, dass ˉ x - μnxN(μ,σ2) durch Umschreiben der LHS als ( ˉ x -μ

x¯μs/ntn1
und die Erkenntnis, dass der Zähler eine Standardnormalverteilung ist und der Nenner die Quadratwurzel einer Chi-Quadrat-Verteilung mit df = (n-1) und dividiert durch (n-1) (ref) ist. Und deshalb folgt eine t-Verteilung mit df = (n-1) (ref).
(x¯μσ/n)s2/σ2

Ich konnte diesen Beweis nicht auf meine Frage übertragen ...

Irgendwelche Ideen? Ich bin mir dieser Frage bewusst , aber sie beweisen sie nicht explizit. Sie geben lediglich eine Faustregel an: "Jeder Prädiktor kostet Sie einen Freiheitsgrad."

Garrett
quelle
Da β i eine lineare Kombination von gemeinsam Normalen Variablen ist, hat es eine Normalverteilung. Deshalb alle müssen Sie tun werden (1) festzustellen , dass E ( β i ) = β i ; (2) zeigen , daß s 2 β i ein unverzerrter Schätzer von ist Var ( β i ) ; und (3) zeigen , die Freiheitsgrade in s β i ist , n - k stats.stackexchange.com/a/16931β^iE(β^i)=βisβ^i2Var(β^i)sβ^ink . Letzteres hat sich auf dieser Seite an mehreren Stellen bewährt, wie z .Ich vermute, Sie wissen bereits, wie man (1) und (2) macht.
Whuber

Antworten:

32

Schon seit wir wissendass β -β~N(0,σ2(XTX)-1) und so erkennen wirdaß für jede Komponentekvon β , β k-βkN(0,σ2Skk)

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
wobei das k th istSkkkth(XTX)1
zk=β^kβkσ2SkkN(0,1).

Beachten Sie die Aussage des Satzes zur Verteilung einer idempotenten quadratischen Form in einem Standardnormalvektor (Satz B.8 in Greene):

xN(0,I) and A is symmetric and idempotent, then xTAx is distributed χν2 where ν is the rank of A.

Let ε^ denote the regression residual vector and let

M=InX(XTX)1XT,
which is the residual maker matrix (i.e. My=ε^). It's easy to verify that M is symmetric and idempotent.

Let

s2=ε^Tε^np
be an estimator for σ2.

We then need to do some linear algebra. Note these three linear algebra properties:

  • The rank of an idempotent matrix is its trace.
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1) if A1 is n1×n2 and A2 is n2×n1 (this property is critical for the below to work)

So

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

Then

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

Applying the Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector (stated above), we know that Vχnp2.

Since you assumed that ε is normally distributed, then β^ is independent of ε^, and since s2 is a function of ε^, then s2 is also independent of β^. Thus, zk and V are independent of each other.

Then,

tk=zkV/(np)
is the ratio of a standard Normal distribution with the square root of a Chi-squared distribution with the same degrees of freedom (i.e. np), which is a characterization of the t distribution. Therefore, the statistic tk has a t distribution with np degrees of freedom.

It can then be algebraically manipulated into a more familiar form.

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)
Blue Marker
quelle
Also a side question: for the Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, don't we also need A to be symmetric? Unfortunately, I don't have Greene, so I can't see the proof although I saw that Wikipedia had the same form as you. However, a counter example seems to be the idempotent matrix A=(1100) which leads to x12+x1x2 which is not Chi-Squared since it could take on negative values...
Garrett
1
@Garrett My apologies, A should be both symmetric and idempotent. A proof is provided as Theorem 3 in this document: www2.econ.iastate.edu/classes/econ671/hallam/documents/… Luckily, M is symmetric as well as idempotent.
Blue Marker
1
A is merely a matrix representation of a quadratic form. Every quadratic form has a symmetric representation, so the requirement of symmetry of A is implicit in the statement of the theorem. (People do not use asymmetric matrices to represent quadratic forms.) Thus the quadratic form (x1,x2)x12+x1x2 is uniquely represented by the matrix A=(11/21/20) which is not idempotent.
whuber
1
Why does ϵN(0,σ2) imply β^ is independent of ϵ^? Not quite following there.
Glassjawed
1
@Glassjawed As both β^ and ε^ are multivariate normally distributed, then uncorrelatedness implies independence. Using expressions β^=β+(XX)1Xε and ε^=Mε from above, we can show that Cov(β^,ε^)=0p×n.
rzch