Alternative Methode zur Ableitung von OLS-Koeffizienten

In einer anderen Frage von mir verwendete ein Antwortender die folgende Ableitung des OLS-Koeffizienten:

Wir haben ein Modell:

$$Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$$ wobei unbeobachtet ist. Dann haben wir: wobei und .$Z$X ∗ 1 =M2X1M2=[I-X2(X ' 2 X2)-1X ' 2 $$\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$$ $X_1^* = M_2 X_1$$M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Dies sieht anders aus als das übliche , das ich in Econometrics gesehen habe. Gibt es eine explizitere Darstellung dieser Ableitung? Gibt es einen Namen für die Matrix?M $\beta = (X'X)^{-1}X'Y$$M_2$

Die Matrix ist die Matrix "Vernichter" oder "Restmacher", die der Matrix X zugeordnet ist . Es wird "Vernichter" genannt, weil M X = 0 ist ( natürlich für seine eigene X- Matrix). Wird "Restmacher" genannt , weil M y = e , in der Regression y = X β + e . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$$\mathbf X$$\mathbf M\mathbf X =0$$X$$\mathbf M \mathbf y =\mathbf {\hat e}$$\mathbf y = \mathbf X \beta + \mathbf e$

Es ist eine symmetrische und idempotente Matrix. Es wird im Beweis des Gauß-Markov-Theorems verwendet.

Es wird auch im Frisch-Waugh-Lovell-Theorem verwendet , aus dem man Ergebnisse für die "partitionierte Regression" erhalten kann, die besagt, dass im Modell (in Matrixform)

$$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$$

wir haben das

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$$

Da idempotent ist, können wir das Obige umschreiben$\mathbf M_2$

$$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$$

und da auch symmetrisch ist, haben wir$M_2$

$$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$$

Dies ist jedoch der Schätzer der kleinsten Quadrate aus dem Modell

$$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$$

und auch sind die Residuen, die von y nur auf der Matrix X 2 zurückgehen . $\mathbf M_2\mathbf y$$\mathbf y$$\mathbf X_2$

Mit anderen Worten: 1) Wenn wir zurückbilden auf der Matrix X 2 nur, und dann die Rückschritt - Residuen aus dieser Schätzung auf der Matrix M 2 X 1 nur die β 1 werden erhalten werden Schätzungen wir werden mathematisch die Schätzungen gleich wir wird erhalten, wenn wir y gleichzeitig auf X 1 und X 2 zusammen zurückführen, wie es eine übliche multiple Regression ist. $\mathbf y$$\mathbf X_2$$\mathbf M_2\mathbf X_1$$\hat \beta_1$$\mathbf y$$\mathbf X_1$$\mathbf X_2$

Nehmen wir nun an, dass keine Matrix ist, sondern nur ein Regressor, sagen wir x 1 . Dann ist M 2 x 1 die Residuen aus der Regression der Variablen X 1 auf der Regressormatrix X 2 . Und das bietet die Intuition hier: β 1 gibt uns die Wirkung , dass „der Teil von X 1 , die durch unerklärt X 2 “ hat auf den „Teil von Y , die durch unerklärliche blieb X 2 “.$\mathbf X_1$$\mathbf x_1$$\mathbf M_2 \mathbf x_1$$X_1$$\mathbf X_2$$\hat \beta_1$$X_1$$\mathbf X_2$$Y$$\mathbf X_2$

Dies ist ein symbolischer Teil der klassischen Least-Squares-Algebra.