Warum wird RSS Chi-Quadrat-mal np verteilt?

Ich möchte , verstehen , warum unter dem OLS - Modell, die RSS (Restsumme der Quadrate) verteilt wird ( die Anzahl der Parameter in dem Modell ist, die Anzahl der Beobachtungen).

$$\chi^2\cdot (n-p)$$ $p$$n$

Ich entschuldige mich dafür, dass ich eine so grundlegende Frage gestellt habe, aber ich kann die Antwort anscheinend nicht online (oder in meinen anwendungsorientierten Lehrbüchern) finden.

Ich betrachte folgendes lineares Modell: ${y} = X \beta + \epsilon$ .

Der Vektor der Residuen wird geschätzt durch

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$$

wobei .$Q = I - X (X'X)^{-1} X'$

Beachten Sie, dass (die Kurve ist bei zyklischer Permutation invariant) und dass Q ' = Q = Q 2 . Die Eigenwerte von Q sind daher 0 und 1 (einige Details unten). Daher existiert eine einheitliche Matrix V, so dass ( Matrizen sind genau dann durch einheitliche Matrizen diagonalisierbar, wenn sie normal sind. )$\textrm{tr}(Q) = n - p$$Q'=Q=Q^2$$Q$$0$$1$$V$

$$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$$

Nun wollen wir ε .$K = V' \hat{\epsilon}$

Da ε ~ N ( 0 , & sgr; 2 Q ) , haben wir K ~ N ( 0 , σ 2 Δ ) und daher K n - p + 1 = ... = K n = 0 . Somit$\hat{\epsilon} \sim N(0, \sigma^2 Q)$$K \sim N(0, \sigma^2 \Delta)$$K_{n-p+1}=\ldots=K_n=0$

$$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$$

mit .$K^{\star} = (K_1, \ldots, K_{n-p})'$

Da eine einheitliche Matrix ist, haben wir auch$V$

$$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$$

Somit

$$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$$

Beachten Sie schließlich, dass dieses Ergebnis dies impliziert

$$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$$

---

Da , teilt das Minimalpolynom von Q das Polynom z 2 - z . Die Eigenwerte von Q liegen also zwischen 0 und 1 . Da tr ( Q ) = n - p auch die Summe der Eigenwerte multipliziert mit ihrer Multiplizität ist, haben wir zwangsläufig, dass 1 ein Eigenwert mit der Multiplizität n - p und Null ein Eigenwert mit der Multiplizität p ist .$Q^2 - Q =0$$Q$$z^2 - z$$Q$$0$$1$$\textrm{tr}(Q) = n-p$$1$$n-p$$p$

IMHO kompliziert die matricial Notation Sachen. Reine Vektorraumsprache ist sauberer. Das Modell kann geschrieben werden als Y = μ + σ G, wobei G die Standardnormalverteilung auf R n hat und angenommen wird, dass μ zu einem Vektorsubraum W ⊂ R n gehört .$Y=X\beta+\epsilon$$\boxed{Y=\mu + \sigma G}$$G$$\mathbb{R}^n$$\mu$$W \subset \mathbb{R}^n$

Jetzt kommt die Sprache der Elementargeometrie ins Spiel. Die Least-Squares - Schätzfunktion μ von μ ist nichts anderes als P W Y : die orthogonale Projektion des beobachtbaren Y auf den Raum W , den μ angenommen wird , gehört. Der Vektor der Residuen ist P ⊥ W Y : Projektion auf das orthogonale Komplement W ⊥ von W in R n . Die Dimension von W ⊥ ist dim ( W ⊥ ) = n -$\hat\mu$$\mu$$P_WY$$Y$$W$$\mu$$P^\perp_WY$$W^\perp$$W$$\mathbb{R^n}$$W^\perp$ .$\dim(W^\perp)=n-\dim(W)$

Schließlich ist und P ⊥ W G hat die Standardnormalverteilung auf W ⊥ , daher hat seine quadratische Norm die χ 2- Verteilung mit dim ( W ⊥ ) Freiheitsgrade.

$$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$$ $P^\perp_WG$$W^\perp$$\chi^2$$\dim(W^\perp)$

Diese Demonstration verwendet nur einen Satz, eigentlich einen Definitionssatz:

Definition und Satz . Ein Zufallsvektor in hat die Standardnormalverteilung auf einem Vektorraum U ⊂ R n, wenn er seine Werte in U und seine Koordinaten in einem ($\mathbb{R}^n$$U \subset \mathbb{R}^n$$U$$\iff$Insgesamt sind orthonormale Basis von unabhängige eindimensionale Standardnormalverteilungen$U$

(Aus diesem Definitionssatz geht hervor, dass der Satz von Cochran so offensichtlich ist, dass es sich nicht lohnt, ihn anzugeben.)