Beziehung zwischen der einfachen Regression und der multiplen Regression

Eine sehr grundlegende Frage bezüglich des der OLS-Regressionen$R^2$

1. Führen Sie die OLS-Regression y ~ x1 aus, wir haben ein , sagen wir 0,3$R^2$
2. Führen Sie die OLS-Regression y ~ x2 aus. Wir haben ein weiteres , z. B. 0,4$R^2$
3. Jetzt führen wir eine Regression y ~ x1 + x2 durch. Welchen Wert kann das R-Quadrat dieser Regression haben?

Ich denke, es ist klar, dass der für die multiple Regression nicht weniger als 0,4 betragen sollte, aber ist es möglich, dass er mehr als 0,7 beträgt?$R^2$

Der zweite Regressor kann einfach das ausgleichen, was der erste in der abhängigen Variablen nicht erklären konnte. Hier ist ein numerisches Beispiel:

Erzeugen x1als Standardnormal Regressor, Stichprobengröße 20. Ohne Beschränkung der Allgemeinheit nehmen , wo ist , auch. Nehmen Sie nun den zweiten Regressor einfach als Differenz zwischen der abhängigen Variablen und dem ersten Regressor.u i N ( 0 , 1 $y_i=0.5x_{1i}+u_i$$u_i$$N(0,1)$x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

Abgesehen von der Untergrenze, die entweder 0,3 oder 0,4 beträgt, je nachdem, welche Variable zuerst in das Modell eingeht, können Sie nicht viel sagen. Wie viel steigt, hängt weitgehend von den Informationen ab, die die zweite Variable in das Modell einbringt. Mit Information meinen wir natürlich die erklärte Variation in der Antwort.$R^2$

Es gibt ein Konzept, das in dieser Hinsicht kritisch ist, nämlich die Korrelation zwischen den Prädiktoren. Wenn die Korrelation groß ist, bringt die neue Variable nicht nur nichts in das Modell, sondern erschwert auch die Inferenz für Ihre vorhandenen Variablen, da Schätzungen ungenau werden (Multikollinearität). Aus diesem Grund würden wir es idealerweise vorziehen, wenn die neue Variable orthogonal zu den anderen ist. Die Chancen, dass dies in Beobachtungsstudien geschieht, sind gering, aber es kann in kontrollierten Umgebungen erreicht werden, z. B. wenn Sie Ihr eigenes Experiment erstellen.

Aber wie quantifizieren Sie genau die neuen Informationen, die eine Variable in das Modell bringt? Eine weit verbreitete Maßnahme, die all dies berücksichtigt, ist das partielle $R^2$ . Wenn Sie mit der ANOVA des linearen Modells vertraut sind, ist dies nichts anderes als die proportionale Abnahme der Fehlersumme der Quadrate, die Sie erzielen, wenn Sie diese Variable in Ihr Modell aufnehmen. Hohe Prozentsätze sind wünschenswert, während niedrige Sie wahrscheinlich darüber nachdenken lassen, ob dies die richtige Vorgehensweise ist.

Wie @cardinal in den Kommentaren hervorhob, könnte Ihr neuer Bestimmungskoeffizient so hoch wie 1 sein. Er könnte auch so niedrig wie 0,400001 sein. Ohne zusätzliche Informationen ist dies nicht zu erkennen.

Bestimmungskoeffizient bei multipler linearer Regression: Bei multipler linearer Regression kann der Bestimmungskoeffizient in Form der paarweisen Korrelationen für die Variablen unter Verwendung der quadratischen Form geschrieben werden:

$$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$$

wobei der Korrelationsvektor zwischen dem Antwortvektor und jedem der erklärenden Vektoren ist und ist die Matrix der Korrelationen zwischen den erklärenden Vektoren (mehr dazu in dieser verwandten Frage ). Im Falle einer bivariaten Regression haben Sie:$\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$$\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

$$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$$

Sie haben die Richtungen der univariaten Korrelationen in Ihrer Frage nicht angegeben, daher bezeichnen wir ohne Verlust der Allgemeinheit . Einsetzen Ihrer Werte und ergibt:$D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$$r_{Y,X_1}^2 = 0.3$$r_{Y,X_2}^2 = 0.4$

$$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$$

Es ist möglich, dass , da es möglich ist, dass die kombinierten Informationen aus den beiden Variablen größer sind als die Summe ihrer Teile. Dieses interessante Phänomen wird als "Verbesserung" bezeichnet (siehe z. B. Lewis und Escobar 1986 ).$R^2 > 0.7$