Hintergrund

Angenommen, wir haben ein gewöhnliches Modell der kleinsten Quadrate, in dem wir $k$ Koeffizienten in unserem Regressionsmodell haben,

$$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$$

wobei $\mathbf{\beta}$ ein $(k\times1)$ Koeffizientenvektor ist, ist $\mathbf{X}$ die Entwurfsmatrix durch definierte

$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$$ und die Fehler werden IID normal, $$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$$

Wir minimieren die Summe von eckigen Fehler , die durch unsere Schätzungen Einstellung für $\mathbf{\beta}$ zu β = ( X T X ) - 1 X T

$$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$$

Ein unverzerrter Schätzer von IS s 2 = ‖ y - y ‖$\sigma^2$ , wo y ≡X β (ref).

$$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$$ $\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

Die Kovarianz von β ist gegeben durch Cov ( β ) = σ 2 C , wo C ≡ ( X T X ) - 1 ($\mathbf{\hat{\beta}}$

$$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$$ $\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ref ).

Frage

Wie kann ich beweisen , dass für β i , β i - β i$\hat\beta_i$ wobeitn-keine t-Verteilung mit ist(n-k)Freiheitsgrade, und der Standardfehler von β iwird geschätzt durchs β i=s

$$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$$ $t_{n-k}$$(n-k)$$\hat{\beta}_i$ .$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

---

Meine Versuche

Ich weiß, dass man für Zufallsvariablen, die aus x ∼ N ( μ , σ 2 ) abgetastet wurden , zeigen kann, dass ˉ x - $n$$x\sim\mathcal{N}\left(\mu, \sigma^2\right)$ durch Umschreiben der LHS als ( ˉ x -

$$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$$ und die Erkenntnis, dass der Zähler eine Standardnormalverteilung ist und der Nenner die Quadratwurzel einer Chi-Quadrat-Verteilung mit df = (n-1) und dividiert durch (n-1) (ref) ist. Und deshalb folgt eine t-Verteilung mit df = (n-1) (ref). $$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$$

Ich konnte diesen Beweis nicht auf meine Frage übertragen ...

Irgendwelche Ideen? Ich bin mir dieser Frage bewusst , aber sie beweisen sie nicht explizit. Sie geben lediglich eine Faustregel an: "Jeder Prädiktor kostet Sie einen Freiheitsgrad."

Schon seit wir wissendass β -β~N(0,σ2(XTX)-1) und so erkennen wirdaß für jede Komponentekvon β , β k-βk≤N(0,σ2Skk

$$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$$ $$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$$ $k$$\hat\beta$ $$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$$ wobei das k $S_{kk}$$k^\text{th}$$(X^TX)^{-1}$ $$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$$

Beachten Sie die Aussage des Satzes zur Verteilung einer idempotenten quadratischen Form in einem Standardnormalvektor (Satz B.8 in Greene):

$x\sim\mathcal{N}(0,I)$ and $A$ is symmetric and idempotent, then $x^TAx$ is distributed $\chi^2_{\nu}$ where $\nu$ is the rank of $A$.

Let $\hat\varepsilon$ denote the regression residual vector and let

$$M=I_n - X(X^TX)^{-1}X^T \text{,}$$ which is the residual maker matrix (i.e. $My=\hat\varepsilon$). It's easy to verify that $M$ is symmetric and idempotent.

Let

$$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$$ be an estimator for $\sigma^2$.

We then need to do some linear algebra. Note these three linear algebra properties:

• The rank of an idempotent matrix is its trace.
• $\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
• $\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ if $A_1$ is $n_1 \times n_2$ and $A_2$ is $n_2 \times n_1$ (this property is critical for the below to work)

So

$$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$$

Then

$$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$$

Applying the Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector (stated above), we know that $V \sim \chi^2_{n-p}$.

Since you assumed that $\varepsilon$ is normally distributed, then $\hat\beta$ is independent of $\hat\varepsilon$, and since $s^2$ is a function of $\hat\varepsilon$, then $s^2$ is also independent of $\hat\beta$. Thus, $z_k$ and $V$ are independent of each other.

Then,

$$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$$ is the ratio of a standard Normal distribution with the square root of a Chi-squared distribution with the same degrees of freedom (i.e. $n-p$), which is a characterization of the $t$ distribution. Therefore, the statistic $t_k$ has a $t$ distribution with $n-p$ degrees of freedom.

It can then be algebraically manipulated into a more familiar form.

$$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$$