Betrachten Sie das einfache lineare Modell:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

wo $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ und $X\in\mathbb{R}^{n\times p}$ ,$p\geq2$ und$X$ enthalten eine Spalte von Konstanten.

Meine Frage ist: Gibt es bei $\mathrm{E}(X'X)$ , $\beta$ und $\sigma$ eine Formel für eine nicht triviale Obergrenze für $\mathrm{E}(R^2)$ *? (unter der Annahme, dass das Modell von OLS geschätzt wurde).

* Ich ging beim Schreiben davon aus, dass es nicht möglich wäre , $E(R^2)$ selbst zu erhalten.

EDIT1

Mit der von Stéphane Laurent abgeleiteten Lösung (siehe unten) können wir eine nicht triviale Obergrenze für $E(R^2)$ . Einige numerische Simulationen (unten) zeigen, dass diese Grenze tatsächlich ziemlich eng ist.

Stéphane Laurent hat folgendes abgeleitet: wobei eine nicht-zentrale Beta-Verteilung mit ist Nichtzentralitätsparameter mitB ( p - 1 , n - p , λ ) $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$$\mathrm{B}(p-1,n-p,\lambda)$$\lambda$

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

So

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

Dabei ist ein nicht zentrales mit dem Parameter und Freiheitsgraden. Also eine nicht triviale Obergrenze für≤ 2 λ k E ( R 2$\chi^2_{k}(\lambda)$$\chi^2$$\lambda$$k$$\mathrm{E}(R^2)$ ist ,

$$\frac{\lambda+p-1}{\lambda+n-1}$$

es ist sehr eng (viel enger als ich erwartet hatte möglich wäre):

Zum Beispiel mit:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

Der Mittelwert der über 1000 Simulationen ist . Die obige theoretische Obergrenze gibt . Die Schranke scheint für viele Werte von gleich genau zu sein . Wirklich erstaunlich!$R^2$0.9608190.9609081$R^2$

EDIT2:

Nach weiteren Untersuchungen scheint es , dass die Qualität der oberen Approximation von besser wird, wenn zunimmt (und alle anderen Werte gleich, nimmt mit ).λ + p λ $E(R^2)$$\lambda+p$$\lambda$$n$

Es kann jedes lineare Modell geschrieben werden: wobei G die Standardnormalverteilung auf R n hat und μ als zu einem linearen Unterraum W von R n gehörig angenommen wird . In deinem Fall ist W = Im ( X $\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$ .

Sei der eindimensionale lineare Unterraum, der vom Vektor ( 1 , 1 , … , 1 ) erzeugt wird . Mitnahmen U = [ 1 ] unterhalb die R 2 ist stark in Bezug auf die klassischen Fisher - Statistik F = ‖ P Z Y ‖ 2 / ( m - l $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ für den Hypothesentest vonH0:{& mgr;∈U}woU⊂Wist ein linearer Unterraum und Bezeichnen von Z=U⊥∩Wdem orthogonalen Komplement derUinW, und Bezeichnenm=dim(W)undl=dim(U

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$(dann ist und ℓ = $m=p$$\ell=1$ in Ihrer Situation).

In der Tat ist , da die Definition vonR2ist R2= ‖ P Z Y ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Offensichtlich und P ⊥ W Y = σ P ⊥ W G .$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Wenn wahr ist,$H_0\colon\{\mu \in U\}$ dann ist und daher ist F = ‖ P Z G ‖ 2 / ( m - ℓ $P_Z \mu = 0$ hat dieVerteilungFisherFm-ℓ,n-m. Aus der klassischen Beziehung zwischen der Fisher-Verteilung und der Beta-Verteilung ergibt sich folglichR2∼B(m-ℓ,n-m).

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

In der allgemeinen Situation müssen wir umgehen , wenn P Z & mgr; ≠ 0 . In diesem allgemeinen Fall hat man ‖ P Z Y ‖ 2 ~ σ 2 χ 2 m - l ( λ ) , die nichtzentrale χ 2 Verteilung mit m - l Freiheitsgraden und noncentrality Parametern λ = $P_Z Y = P_Z \mu + \sigma P_Z G$$P_Z\mu \neq 0$${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$$\chi^2$$m-\ell$ und dann F∼Fm-ℓ,n-m(λ)(nichtzentrale Fisher-Verteilung). Dies ist das klassische Ergebnis zur Berechnung der Potenz von$\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$$\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$$F$ Tests.

Die klassische Beziehung zwischen der Fisher-Distribution und der Beta-Distribution gilt auch in der nicht zentralen Situation. Schließlich hat die nichtzentrale Beta-Verteilung mit "Formparametern" m - ℓ und n - m und dem Nichtzentralitätsparameter $R^2$$m-\ell$$n-m$$\lambda$ . Ich denke, die Momente sind in der Literatur verfügbar, aber möglicherweise sehr kompliziert.

Zum Schluss schreiben wir . Man beachte, dass P Z = P W - P U ist . Man hat P U μ = ˉ μ 1, wenn U = [ 1 ] und P W μ = μ . Daher ist P Z μ = μ - ˉ μ 1, wobei μ = X β für den unbekannten Parametervektor β ist .$P_Z\mu$$P_Z = P_W - P_U$$P_U \mu = \bar\mu 1$$U=[1]$$P_W \mu = \mu$$P_Z \mu =\mu - \bar\mu 1$$\mu=X\beta$$\beta$