Gibt es eine elegante / aufschlussreiche Möglichkeit, diese lineare Regressionsidentität für mehrere zu verstehen ?

Bei der linearen Regression bin ich auf ein erfreuliches Ergebnis gestoßen, wenn wir zum Modell passen

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

Wenn wir dann die Daten , und standardisieren und ,$Y$$X_1$$X_2$

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

Dies fühlt sich für mich wie eine 2-Variablen-Version von für Regression an, was erfreulich ist.$R^2 = \mathrm{Cor}(Y,X)^2$$y=mx+c$

Aber der einzige Beweis, den ich kenne, ist ohnehin nicht konstruktiv oder aufschlussreich (siehe unten), und dennoch scheint es leicht verständlich zu sein, ihn anzusehen.

Beispielgedanken:

• Die Parameter und geben uns den 'Anteil' von und in , und so nehmen wir die jeweiligen Anteile ihrer Korrelationen ...β 2 X 1 X 2$\beta_1$$\beta_2$$X_1$$X_2$$Y$
• Die s sind Teilkorrelationen, ist die quadratische Mehrfachkorrelation ... Korrelationen multipliziert mit Teilkorrelationen ...R $\beta$$R^2$
• Wenn wir die orthogonalisieren zuerst , dann wird s sein ... ist dieses Ergebnis einer gewissen geometrischen Sinn?C o v / V a $\beta$$\mathrm{Cov}/\mathrm{Var}$

Keiner dieser Fäden scheint für mich irgendwohin zu führen. Kann jemand eine klare Erklärung geben, wie man dieses Ergebnis versteht.

---

Unbefriedigender Beweis

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

und

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

QED.

Die Hutmatrix ist idempotent.

(Dies ist eine linear-algebraische Methode, um festzustellen, dass OLS eine orthogonale Projektion des Antwortvektors auf den von den Variablen überspannten Raum ist.)

---

Erinnern Sie sich per Definition daran

$$R^2 = \frac{ESS}{TSS}$$

wo

$$ESS = (\hat Y)^\prime \hat Y$$

ist die Summe der Quadrate der (zentrierten) vorhergesagten Werte und

$$TSS = Y^\prime Y$$

ist die Summe der Quadrate der (zentrierten) Antwortwerte. Die vorherige Standardisierung von auf die Einheitsvarianz impliziert ebenfalls$Y$

$$TSS = Y^\prime Y = n.$$

Denken Sie auch daran, dass die geschätzten Koeffizienten gegeben sind durch

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

woher

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

wobei die „hat matrix“ Bewirkung der Projektion ist auf seinen kleinsten Quadrate . Es ist symmetrisch (was sich aus seiner Form ergibt) und idempotent . Hier ist ein Beweis für Letzteres für diejenigen, die mit diesem Ergebnis nicht vertraut sind. Es werden nur Klammern gemischt:$H$$Y$$\hat Y$

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

Deshalb

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

Der entscheidende Zug in der Mitte nutzte die Idempotenz der Hutmatrix. Die rechte Seite ist Ihre Zauberformel, weil der (Zeilen-) Vektor der Korrelationskoeffizienten zwischen und den Spalten von .$\frac{1}{n}Y^\prime X$$Y$$X$

Die folgenden drei Formeln sind bekannt und finden sich in vielen Büchern zur linearen Regression. Es ist nicht schwer, sie abzuleiten.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Wenn Sie die beiden Betas in Ihre Gleichung , erhalten Sie die obige Formel für das R-Quadrat.$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

---

Hier ist eine geometrische "Einsicht". Unten sehen Sie zwei Bilder, die die Regression von um und . Diese Art der Darstellung wird als Variablen als Vektoren im Subjektraum bezeichnet (bitte lesen Sie , worum es geht). Die Bilder werden gezeichnet, nachdem alle drei Variablen zentriert wurden, und so (1) die Länge jedes Vektors = st. Abweichung der jeweiligen Variablen und (2) Winkel (ihr Kosinus) zwischen jeweils zwei Vektoren = Korrelation zwischen den jeweiligen Variablen.$Y$$X_1$$X_2$

$\hat{Y}$ ist die Regressionsvorhersage (orthogonale Projektion von auf "Ebene X"); ist der Fehlerterm; multipler Korrelationskoeffizient.$Y$$e$$cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Das linke Bild zeigt die Versatzkoordinaten von für die Variablen und . Wir wissen, dass solche Koordinaten die Regressionskoeffizienten in Beziehung setzen. Die Koordinaten sind nämlich: und .$\hat{Y}$$X_1$$X_2$$b_1|X_1|=b_1\sigma_{X_1}$$b_2|X_2|=b_2\sigma_{X_2}$

Das rechte Bild zeigt die entsprechenden senkrechten Koordinaten . Wir wissen, dass solche Koordinaten die Korrelationskoeffizienten nullter Ordnung in Beziehung setzen (dies sind Cosinus orthogonaler Projektionen). Wenn die Korrelation zwischen und und die Korrelation zwischen und dann ist die Koordinate . Ebenso gilt für die andere Koordinate .$r_1$$Y$$X_1$$r_1^*$$\hat Y$$X_1$$r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Bisher waren es allgemeine Erklärungen der linearen Regressionsvektordarstellung. Nun wenden wir uns der Aufgabe zu, um zu zeigen, wie sie zu .$R^2 = r_1 \beta_1 + r_2 \beta_2$

Erinnern Sie sich zunächst daran, dass @Corone in ihrer Frage die Bedingung aufgestellt hat, dass der Ausdruck wahr ist, wenn alle drei Variablen standardisiert sind, dh nicht nur zentriert, sondern auch auf Varianz 1 skaliert sind. Dann (dh impliziert , um die "Arbeitsteile" der Vektoren zu sein) Wir haben Koordinaten gleich: ; ; ; ; sowie. Zeichnen Sie unter diesen Bedingungen nur die "Ebene X" der obigen Bilder neu:$|X_1|=|X_2|=|Y|=1$$b_1|X_1|=\beta_1$$b_2|X_2|=\beta_2$$r_1|Y|=r_1$$r_2|Y|=r_2$$R=|\hat Y|/|Y|=|\hat Y|$

Auf dem Bild haben wir ein Paar von senkrechten Koordinaten und ein Paar von Schrägstellungskoordinaten desselben Vektors der Länge . Es gibt eine allgemeine Regel, um senkrechte Koordinaten von schrägen (oder zurück) zu erhalten: , wobei eine Matrix von senkrechten Koordinaten ist ; ist die gleich große Matrix von Schrägstrichen; und sind die symmetrische Winkelmatrix (Cosinus) zwischen den nichtorthogonalen Achsen.$\hat Y$$R$$\bf P = S C$$\bf P$points X axes$\bf S$$\bf C$axes X axes

$X_1$ und sind in unserem Fall die Achsen, wobei der Kosinus zwischen ihnen ist. Also, und .$X_2$$r_{12}$$r_1 = \beta_1 + \beta_2 r_{12}$$r_2 = \beta_1 r_{12} + \beta_2$

Ersetzen Sie diese s über ausgedrückt s in der @ Corone Aussage , und Sie bekommen , dass , - was wahr ist , denn genau so wird eine Diagonale eines Parallelogramms (auf dem Bild getönt) über seine benachbarten Seiten ausgedrückt (Menge ist das Skalarprodukt).β R 2 = r 1 β 1 + r 2 β 2 R 2 = β 2 1 + β 2 2 + 2 β 1 β 2 r 12 β 1 β 2 r $r$$\beta$$R^2 = r_1 \beta_1 + r_2 \beta_2$$R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Dasselbe gilt für eine beliebige Anzahl von Prädiktoren X. Leider ist es unmöglich, mit vielen Prädiktoren gleiche Bilder zu zeichnen.