Verteilung der Summe der Quadrate Fehler für die lineare Regression?

Ich weiß, dass die Verteilung der Stichprobenvarianz Es liegt an der Tatsache, dass kann in Matrixform (wobei A: symmetrisch) ausgedrückt werden, und er kann erneut ausgedrückt werden in: x'QDQ'x (wobei Q: orthonormal, D: diagonale Matrix).

$$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$$ $$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$$ $(X-\bar{X})^2$$xAx'$$x'QDQ'x$

Was ist mit $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ unter der Annahme $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$ ?

Ich

$$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$$

Aber ich habe keine Ahnung, wie ich es beweisen oder zeigen soll.

Ist es genau als $\chi^2_{(n-2)}$ ?

Wir können dies für einen allgemeineren Fall von Variablen beweisen , indem wir die "Hutmatrix" und einige ihrer nützlichen Eigenschaften verwenden. Diese Ergebnisse sind aufgrund der Verwendung der spektralen Zerlegung in Nichtmatrix-Begriffen normalerweise viel schwieriger anzugeben.$p$

Nun in Matrixversion der kleinsten Quadrate, die Hut - Matrix , wo hat Zeilen und Spalten (Spalte von Einsen für ). Nehmen Sie der Einfachheit halber den vollen Spaltenrang an - andernfalls können Sie im Folgenden durch den Spaltenrang ersetzen . Wir können die angepassten Werte als oder in Matrixnotation . Auf diese Weise können wir die Summe der Quadrate wie folgt schreiben: X n p + 1 β 0 p + 1 X Y i = Σ n j = 1 H i j Y j Y = H $H=X(X^TX)^{-1}X^T$$X$$n$$p+1$$\beta_0$$p+1$$X$$\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$$\hat{Y}=HY$

=YT(In-H)

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$$ $$=\frac{Y^T(I_n-H)Y}{\sigma^2}$$

Wobei eine Identitätsmatrix der Ordnung . Der letzte Schritt folgt aus der Tatsache, dass eine idepotente Matrix ist, da n H H 2 = [ X ( X T X ) - 1 X T ] [ X ( X T X ) - 1 X T ] = X ( X T X ) - 1 X T = H = H H T = H. T$I_n$$n$$H$

$$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$$

Eine nette Eigenschaft idepotenter Matrizen ist nun, dass alle ihre Eigenwerte gleich Null oder Eins sein müssen. Wenn einen normalisierten Eigenvektor von mit dem Eigenwert , können wir dies wie folgt beweisen:H $e$$H$$l$

$$He=le\implies H(He)=H(le)$$ $$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$$ $$\implies le=l^2e\implies l=0\text{ or }1$$

(Beachten Sie, dass nicht Null sein kann, da es erfüllen muss. ) Nun, da idepotent ist, ist auch, weil$e$$e^Te=1$$H$$I_n-H$

$$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$$

Wir haben auch die Eigenschaft, dass die Summe der Eigenwerte der Spur der Matrix entspricht und

$$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$$ $$=n-tr(I_{p+1})=n-p-1$$

Daher muss Eigenwerte gleich und Eigenwerte gleich .$I-H$$n-p-1$$1$$p+1$$0$

Jetzt können wir die spektrale Zerlegung von wobei und ist orthogonal (weil symmetrisch ist). Eine weitere Eigenschaft , die nützlich ist , ist , daß . Dies hilft, die Matrix einzugrenzen$I-H=ADA^T$$D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$$A$$I-H$$HX=X$$A$

$$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$$ $$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$$

und wir bekommen:

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$$

Nun haben wir unter dem Modell und unter Verwendung der normalen Standardtheorie haben wir zeigt, dass die Komponenten von unabhängig sind. Wenn wir nun das nützliche Ergebnis verwenden, haben wir das für . Die Chi-Quadrat-Verteilung mit Freiheitsgraden für die Summe der quadratischen Fehler folgt sofort.$Y\sim N(X\beta,\sigma^2I)$$A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$$A^TY$$(A^TY)_i\sim N(0,\sigma^2)$$i=1,\dots,n-p-1$$n-p-1$