T-Test für lineare Regression verstehen

Ich versuche herauszufinden, wie man Hypothesentests für eine lineare Regression durchführt (Nullhypothese ist keine Korrelation). Jede Anleitung und Seite zu dem Thema, auf die ich stoße, scheint einen T-Test zu verwenden. Aber ich verstehe nicht, was T-Test für lineare Regression eigentlich bedeutet. Ein t-Test wird verwendet, um zwei Populationen zu vergleichen, es sei denn, ich habe ein völlig falsches Verständnis oder ein falsches mentales Modell. Aber der Regressor und der Regressand sind keine Stichproben ähnlicher Populationen und gehören möglicherweise nicht einmal zur gleichen Einheit. Daher ist es nicht sinnvoll, sie zu vergleichen.

Wenn wir also einen t-Test für eine lineare Regression verwenden, was machen wir dann eigentlich?

Sie denken wahrscheinlich an den Test mit zwei Stichproben , da dies häufig der erste Ort ist, an dem die Verteilung auftritt. Aber wirklich alles, was ein Test bedeutet, ist, dass die Referenzverteilung für die Teststatistik eine Verteilung ist. Wenn und mit und unabhängig sind, dann per Definition. Ich schreibe dies auf, um zu betonen, dass die t- Verteilung nur ein Name ist, der der Verteilung dieses Verhältnisses gegeben wurde, weil es häufig vorkommt und alles in dieser Form ein t hat$t$$t$$t$$t$$Z \sim \mathcal N(0,1)$$S^2 \sim \chi^2_d$$Z$$S^2$

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ $t$$t$Verteilung. Für den t-Test mit zwei Stichproben erscheint dieses Verhältnis, weil unter der Null die Differenz im Mittel ein Gauß-Mittelwert von Null ist und die Varianzschätzung für unabhängige Gauß-Werte ein unabhängiges $\chi^2$ (die Unabhängigkeit kann über Basus Theorem gezeigt werden, das das verwendet Tatsache, dass die Standardvarianzschätzung in einer Gaußschen Stichprobe dem Populationsmittelwert entspricht, während der Stichprobenmittelwert vollständig ist und für dieselbe Menge ausreicht).

Mit linearer Regression erhalten wir im Grunde das Gleiche. In Vektorform . Sei und nehme an, dass die Prädiktoren nicht zufällig sind. Wenn wir wüssten, hätten wir unter der Null also würden wir tatsächlich Habe einen Z-Test. Aber sobald wir schätzen, erhalten wir eine Zufallsvariable, die sich unter unseren Normalitätsannahmen als unabhängig von unserer Statistik herausstellt, und dann erhalten wir eine Verteilung.S 2 j =(XTX) - 1 j j Xσ2 β j-$\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$H0:βj=0σ2χ2 β j

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$

---

Hier sind die Details dazu: Nehmen wir an, . Wenn die Hutmatrix ist, haben wir ist idempotent, also haben wir das wirklich schöne Ergebnis, dass mit dem Nicht-Zentralitätsparameter , also ist dies tatsächlich ein zentrales mit Freiheitsgraden (dies ist ein Sonderfall von Cochran) Satz ). Ich benutze , um die Anzahl der Spalten von , also wenn eine Spalte vonH = X ( X T X ) - 1 X T ‖ e ‖ 2 = ‖ ( I - H ) y ‖ 2 = y T ( I - H ) y . H y T ( I - H ) y / σ 2 ∼ $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$δ=βTXT(I-H)Xβ=βT(XTX-XTX)β=0χ2n-PpXXp-1Pn-P- $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$$p$$X$$X$Gibt den Intercept an, dann hätten wir Non-Intercept Predictors. Einige Autoren verwenden , um die Anzahl der Non-Intercept-Prädiktoren zu bestimmen. Manchmal sieht man dort in den Freiheitsgraden so etwas wie , aber es ist alles dasselbe.$p-1$$p$$n-p-1$

Dies hat zur Folge, dass , also funktioniert hervorragend als Schätzer für .σ 2 : = $E(e^Te / \sigma^2) = n-p$σ$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Dies bedeutet, dass ist das Verhältnis eines Standard-Gaußschen zu einem Chi-Quadrat dividiert durch seine Freiheitsgrade. Um dies zu beenden, müssen wir Unabhängigkeit zeigen und können das folgende Ergebnis verwenden:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

Ergebnis: Für und die Matrizen und in und sind und unabhängig genau dann, wenn (dies ist Übung 58 (b) in Kapitel 1 der mathematischen Statistik von Jun Shao ).A B R l × k R m × k A Z B Z A Σ B T = $Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Wir haben und wobei . Dies bedeutet also und daher .e=(I-H)yy~N(Xβ,σ2I)(XTX)-1XT⋅σ2I⋅(I-H)T=σ2((XTX$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ & bgr; ⊥e & bgr; ⊥eT

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Das Fazit ist, dass wir nun nach Belieben (unter allen obigen Annahmen).

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

Hier ist der Beweis für dieses Ergebnis. Sei die Matrix, die durch Stapeln von auf . Dann ist wobei ist ein multivariater Gauß und es ist ein bekanntes Ergebnis, dass zwei Komponenten eines multivariaten Gauß unabhängig sind, wenn und nur wenn sie nicht korreliert sind, so dass die Bedingung genau äquivalent zu den Komponenten ist$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$$AZ$ und in nicht korreliert.$BZ$$CZ$

$\square$

@ Chaconne's Antwort ist super. Aber hier ist eine viel kürzere nicht-mathematische Version!

Da das Ziel darin besteht, einen P-Wert zu berechnen, müssen Sie zunächst eine Nullhypothese definieren. Fast immer, das heißt, die Steigung ist tatsächlich horizontal, sodass der numerische Wert für die Steigung (Beta) 0,0 beträgt.

Die Steigungsanpassung aus Ihren Daten beträgt nicht 0,0. Liegt diese Diskrepanz am Zufall oder daran, dass die Nullhypothese falsch ist? Sie können das nie mit Sicherheit beantworten, aber ein P-Wert ist ein Weg, um zu einer Antwort zu gelangen.

Das Regressionsprogramm meldet einen Standardfehler der Steigung. Berechnen Sie das t-Verhältnis als Steigung geteilt durch den Standardfehler. Tatsächlich ist es (Steigung minus Nullhypothesensteigung) geteilt durch den Standardfehler, aber die Nullhypothesensteigung ist fast immer Null.

Jetzt hast du das Verhältnis. Die Anzahl der Freiheitsgrade (df) entspricht der Anzahl der Datenpunkte abzüglich der Anzahl der durch die Regression angepassten Parameter (zwei für die lineare Regression).

Mit diesen Werten (t und df) können Sie den P-Wert mit einem Online-Rechner oder einer Online-Tabelle ermitteln.

Es handelt sich im Wesentlichen um einen t-Test mit einer Stichprobe, bei dem ein beobachteter berechneter Wert (die Steigung) mit einem hypothetischen Wert (die Nullhypothese) verglichen wird.