Alternative Methode zur Ableitung von OLS-Koeffizienten

8

In einer anderen Frage von mir verwendete ein Antwortender die folgende Ableitung des OLS-Koeffizienten:

Wir haben ein Modell:

Y=X1β+X2β2+Zγ+ε,
wobei unbeobachtet ist. Dann haben wir: wobei und .plimZX1 =M2X1M2=[I-X2(X ' 2 X2)-1X ' 2 ]
plimβ^1=β1+γCov(X1,Z)Var(X1)=β1,
X1=M2X1M2=[IX2(X2X2)1X2]

Dies sieht anders aus als das übliche , das ich in Econometrics gesehen habe. Gibt es eine explizitere Darstellung dieser Ableitung? Gibt es einen Namen für die Matrix?M 2β=(XX)1XYM2

Heisenberg
quelle
Ich bin mir ziemlich sicher, dass es in Hansens Vorlesungsunterlagen beschrieben ist, aber ich habe sie momentan nicht zur Hand.
FooBar

Antworten:

8

Die Matrix ist die Matrix "Vernichter" oder "Restmacher", die der Matrix X zugeordnet ist . Es wird "Vernichter" genannt, weil M X = 0 ist ( natürlich für seine eigene X- Matrix). Wird "Restmacher" genannt , weil M y = e , in der Regression y = X β + e . M=IX(XX)1XXMX=0XMy=e^y=Xβ+e

Es ist eine symmetrische und idempotente Matrix. Es wird im Beweis des Gauß-Markov-Theorems verwendet.

Es wird auch im Frisch-Waugh-Lovell-Theorem verwendet , aus dem man Ergebnisse für die "partitionierte Regression" erhalten kann, die besagt, dass im Modell (in Matrixform)

y=X1β1+X2β2+u

wir haben das

β^1=(X.1'M.2X.1)- -1(X.1'M.2)y

Da idempotent ist, können wir das Obige umschreibenM.2

β^1=(X.1'M.2M.2X.1)- -1(X.1'M.2M.2)y

und da auch symmetrisch ist, haben wirM.2

β^1=([M.2X.1]]'[M.2X.1]])- -1([M.2X.1]]'[M.2y]]

Dies ist jedoch der Schätzer der kleinsten Quadrate aus dem Modell

[M.2y]]=[M.2X.1]]β1+M.2u

und auch sind die Residuen, die von y nur auf der Matrix X 2 zurückgehen . M.2yyX.2

Mit anderen Worten: 1) Wenn wir zurückbilden auf der Matrix X 2 nur, und dann die Rückschritt - Residuen aus dieser Schätzung auf der Matrix M 2 X 1 nur die β 1 werden erhalten werden Schätzungen wir werden mathematisch die Schätzungen gleich wir wird erhalten, wenn wir y gleichzeitig auf X 1 und X 2 zusammen zurückführen, wie es eine übliche multiple Regression ist. yX.2M.2X.1β^1yX.1X.2

Nehmen wir nun an, dass keine Matrix ist, sondern nur ein Regressor, sagen wir x 1 . Dann ist M 2 x 1 die Residuen aus der Regression der Variablen X 1 auf der Regressormatrix X 2 . Und das bietet die Intuition hier: β 1 gibt uns die Wirkung , dass „der Teil von X 1 , die durch unerklärt X 2 “ hat auf den „Teil von Y , die durch unerklärliche blieb X 2 “.X.1x1M.2x1X.1X.2β^1X.1X.2Y.X.2

Dies ist ein symbolischer Teil der klassischen Least-Squares-Algebra.

Alecos Papadopoulos
quelle
Ich habe angefangen zu antworten, aber ich hatte viele Überschneidungen mit dieser Antwort. Viele dieser Informationen finden Sie in Kapitel 3.2.4 der 7. Ausgabe von "Econometric Analysis" von Bill Greene.
cc7768
@ cc7768 Ja, das ist eine gute Quelle für Algebra der kleinsten Quadrate. Aber zögern Sie nicht, zusätzliches Material zu veröffentlichen. Zum Beispiel deckt meine Antwort im Wesentlichen nur die zweite Frage des OP ab.
Alecos Papadopoulos
@AlecosPapadopoulos Sie sagen , dass , wenn wir regredieren auf X 1 , auch wir bekommen β 1 . Aber heißt es nicht in der Gleichung: M 2 y stattdessen auf M 2 X 1 zurückführen? M.2yX.1β^1M.2yM.2X.1
Heisenberg
@ Heisenberg Richtig. Tippfehler. Es wurde behoben und ein bisschen mehr hinzugefügt.
Alecos Papadopoulos