Möglicher Bereich von

Angenommen, es gibt drei Zeitreihen, , und$X_1$$X_2$$Y$

Laufende gewöhnliche lineare Regression auf ~ ( ), erhalten wir . Die gewöhnliche lineare Regression ~ erhält . Angenommen,$Y$$X_1$$Y = b X_1 + b_0 + \epsilon$$R^2 = U$$Y$$X_2$$R^2 = V$$U < V$

Was sind die minimal und maximal möglichen Werte von bei der Regression ~ ( )?$R^2$$Y$$X_1 + X_2$$Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$

Ich glaube, das Minimum sollte + ein kleiner Wert sein, da das Hinzufügen neuer Variablen immer erhöht , aber ich weiß nicht, wie ich diesen kleinen Wert quantifizieren soll, und ich weiß nicht, wie ich den maximalen Bereich erhalten kann .$R^2$$V$$R^2$

1) BEARBEITEN: Der Kommentar von Kardinal unten zeigt, dass die richtige Antwort auf die min Frage . Daher lösche ich meine "interessante", aber letztendlich falsche Antwort auf diesen Teil des OP-Beitrags.$R^2$$V$

2) Das Maximum ist 1. Betrachten Sie das folgende Beispiel, das zu Ihrem Fall passt.$R^2$

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Hier legen wir die Varianz von auf 0 fest. Wenn Sie jedoch möchten , ändern sich die Dinge ein wenig. Sie können das beliebig nahe an 1 bringen, indem Sie kleiner machen, aber wie beim minimalen Problem können Sie nicht dorthin gelangen, also gibt es kein Maximum. 1 wird zum Supremum , da es immer größer als aber es ist auch die Grenze als .σ 2 ϵ > 0 R 2 σ 2 ϵ R 2 σ 2 ϵ → $\epsilon$$\sigma^2_\epsilon > 0$$R^2$$\sigma^2_\epsilon$$R^2$$\sigma^2_\epsilon \to 0$

Lassen gleich die Korrelation zwischen und , gleich der Korrelation zwischen und und der Korrelation zwischen und . Dann ist für das vollständige Modell geteilt durch gleich$r_{1,2}$$X_1$$X_2$$r_{1,Y}$$X_1$$Y$$r_{2,Y}$$X_2$$Y$$R^2$$V$

Also ist für das vollständige Modell nur dann gleich , wenn und oder V r 1 , 2 = 0 r 2 1 , Y = U = $R^2$$V$$r_{1,2} = 0$$r_{1,Y}^2 = U = 0$

Wenn , für das Vollmodell gleich .R 2 U + $r_{1,2} = 0$$R^2$$U + V$

Ohne Einschränkungen für und ist das Minimum und das Maximum das kleinere . Dies liegt daran, dass zwei Variablen perfekt korreliert sein könnten (in diesem Fall ändert das Hinzufügen der zweiten Variablen das überhaupt nicht) oder sie könnten orthogonal sein, in welchem ​​Fall beide Ergebnisse in . In den Kommentaren wurde zu Recht darauf hingewiesen, dass dies auch erfordert, dass jedes orthogonal zu , dem Spaltenvektor von 1s.$U$$V$$V$R 2 U + V $\min(V + U, 1)$$R^2$$U + V$$\mathbf{1}$

Sie haben die Einschränkung hinzugefügt, die . Es ist jedoch immer noch möglich, dass . Das heißt, , in welchem ​​Fall . Schließlich ist es möglich, dass so dass die Obergrenze immer noch . U = 0 X 1 ≤ Y min = max = V + 0 X 1 ≤ X 2 min ( V + U , 1 $U < V \implies X_{1} \neq X_{2}$$U = 0$$X_{1} \perp Y$$\min = \max = V + 0$$X_{1} \perp X_{2}$$\min(V + U, 1)$

Wenn Sie mehr über die Beziehung zwischen und wüssten , könnten Sie wahrscheinlich mehr sagen. X $X_{1}$$X_{2}$