Sind Schätzungen der Regressionskoeffizienten nicht korreliert?

Betrachten Sie eine einfache Regression (Normalität nicht angenommen): wobei mit dem Mittelwert und der Standardabweichung . Sind die kleinsten quadratischen Schätzungen von und korreliert?e i 0 σ a

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

Dies ist ein wichtiger Aspekt bei der Gestaltung Experimenten, bei denen es wünschenswert sein kann , keine (oder nur sehr wenig) Korrelation zu haben , unter den Schätzungen a und b . Ein solcher Mangel an Korrelation kann durch Steuern der Werte von X i erreicht werden .$\hat a$$\hat b$$X_i$

---

Um die Auswirkungen von auf die Schätzungen zu analysieren , werden die Werte ( 1 , X i ) (die Zeilenvektoren der Länge 2 sind ) vertikal zu einer Matrix X zusammengesetzt , der Entwurfsmatrix, die so viele Zeilen enthält, wie Daten und vorhanden sind (offensichtlich) zwei Spalten. Das entsprechende Y i wird zu einem langen (Spalten-) Vektor y zusammengesetzt . In diesen Begriffen ist das Modell , wenn β = ( a , b ) ' für die zusammengesetzten Koeffizienten geschrieben wird$X_i$$(1,X_i)$$2$$X$$Y_i$$y$$\beta = (a,b)^\prime$

$$\mathbb{E}(Y) = X \cdot \beta$$

Es wird (normalerweise) angenommen, dass unabhängige Zufallsvariablen sind, deren Varianzen für einige unbekannte σ > 0 eine Konstante σ 2 sind . Die abhängigen Beobachtungen y werden als eine Realisierung der vektorwertigen Zufallsvariablen Y angesehen .$Y_i$$\sigma^2$$\sigma \gt 0$$y$$Y$

Die OLS-Lösung ist

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

unter der Annahme, dass diese Matrix invers existiert. Unter Verwendung der grundlegenden Eigenschaften der Matrixmultiplikation und Kovarianz

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

Die Matrix hat nur zwei Zeilen und zwei Spalten, die den Modellparametern ( a , b ) entsprechen . Die Korrelation von a mit b ist proportional zu den nicht-diagonalen Elementen von ( X ' X ) - 1 , die von Cramer-Regel auf das Punktprodukt der beiden Spalten proportional sind X . Da eine der Spalten alle 1 s ist, deren Punktprodukt mit der anderen Spalte (bestehend aus dem $\left(X^\prime X\right)^{-1}$$(a,b)$$\hat a$$\hat b$$(X^\prime X)^{-1},$$X$$1$ ) ist ihre Summe, finden wir$X_i$

und b sind unkorreliertwenn und nur die Summe (oderäquivalenterder Mittelwert) derXigleich Null ist.$\hat a$$\hat b$$X_i$

Diese Orthogonalitätsbedingung wird häufig durch erneutes Zentrieren des (durch Subtrahieren ihres Mittelwerts von jedem) erreicht. Obwohl dies die geschätzte Neigung nicht ändern b , ist es die geschätzte Intercept ändert ein . Ob dies wichtig ist oder nicht, hängt von der Anwendung ab.$X_i$$\hat b$$\hat a$

---

Diese Analyse gilt für die multiple Regression: Die Entwurfsmatrix enthält Spalten für p unabhängige Variablen (eine zusätzliche Spalte besteht aus 1 s) und β ist ein Vektor der Länge p + 1 , ansonsten läuft alles wie zuvor. $p+1$$p$$1$$\beta$$p+1$

In der herkömmlichen Sprache werden zwei Spalten von als orthogonal bezeichnet, wenn ihr Punktprodukt Null ist. Wenn eine Spalte von X (z. B. Spalte i ) orthogonal zu allen anderen Spalten ist, ist es eine leicht zu demonstrierende algebraische Tatsache, dass alle nicht diagonalen Einträge in Zeile i und Spalte i von ( X ' X ) - 1 Null sind (d. H. sind die Komponenten i j und j i für alle j ≠ i Null). Folglich,$X$$X$$i$$i$$i$$(X^\prime X)^{-1}$$ij$$ji$$j\ne i$

Zwei Mehrfachregressionskoeffizientenschätzungen & bgr; i und β j unkorreliert sind , wenn entweder (oder beiden) der entsprechenden Spalten der Designmatrix orthogonal zu allen anderen Spalten.$\hat\beta_i$$\hat\beta_j$

Viele experimentelle Standarddesigns bestehen aus der Auswahl von Werten der unabhängigen Variablen, um die Spalten zueinander orthogonal zu machen. Dies "trennt" die resultierenden Schätzungen, indem garantiert wird - bevor jemals Daten gesammelt werden! -, dass die Schätzungen nicht korreliert werden. (Wenn die Antworten Normalverteilungen haben, bedeutet dies, dass die Schätzungen unabhängig sind, was ihre Interpretation erheblich vereinfacht.)