Unterschied zwischen t-Test und ANOVA in der linearen Regression

Ich frage mich, welche Unterschiede zwischen t-Test und ANOVA in der linearen Regression bestehen.

Ist ein t-Test, um zu testen, ob eine der Steigungen und der Achsenabschnitt den Mittelwert Null haben, während eine ANOVA zu testen ist, ob alle Steigungen den Mittelwert Null haben? Ist das der einzige Unterschied zwischen ihnen?
Bei der einfachen linearen Regression, dh wenn nur eine Prädiktorvariable vorhanden ist, muss nur eine Steigung geschätzt werden. Sind t-Test und ANOVA also gleichwertig, und wenn ja, wie, wenn sie unterschiedliche Statistiken verwenden (t-Test verwendet t-Statistik und ANOVA verwendet F-Statistik)?

regression anova t-test Tim
quelle

Zu 1) In der linearen Regression verstehe ich ANOVA normalerweise als Maß für die Anpassungsgüte des Modells, dh um zu entscheiden, ob das Modell (Regressionsgerade) einen wesentlichen Teil der Gesamtvariabilität erklärt. Die Frage, ob alle Steigungen gleich Null sind, ist wirklich sehr interessant. Zu 2) Es sieht so aus, als würde ich in diesem Fall fast die gleichen p-Werte für den t-Test und die Regressions-ANOVA erhalten. Wirklich interessanter Satz!

Neugierig

Antworten:

Mit dem allgemeinen linearen Modell können wir ein ANOVA-Modell als Regressionsmodell schreiben. Nehmen wir an, wir haben zwei Gruppen mit jeweils zwei Beobachtungen, dh vier Beobachtungen in einem Vektor $y$ . Dann ist das ursprüngliche, überparametrisierte Modell $E(y) = X^{\star} \beta^{\star}$ , wobei $X^{\star}$ die Matrix von Prädiktoren ist, dh Dummy-codierte Indikatorvariablen:

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Die Parameter sind nicht als da Rang 2 hat ( ist nicht invertierbar). Um dies zu ändern, führen wir die Bedingung (Behandlungskontraste) ein, die uns das neue Modell : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

So , dh nimmt die Bedeutung des Erwartungswertes aus unserer Referenzkategorie (Gruppe 1). , dh nimmt die Bedeutung der Differenz zur Referenzkategorie an. Da mit zwei Gruppen nur ein Parameter mit dem Gruppeneffekt verknüpft ist, entspricht die ANOVA-Nullhypothese (alle Gruppeneffektparameter sind 0) der Regressionsgewicht-Nullhypothese (der Steigungsparameter ist 0). $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

Ein Test im allgemeinen linearen Modell testet eine Linearkombination der Parameter gegen einen hypothetischen Wert unter der Nullhypothese. Wenn wir wählen, können wir die Hypothese prüfen, dass (der übliche Test für den Steigungsparameter) ist, dh hier gilt . Der Schätzer ist $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ , wobeidie OLS Schätzwerte für die Parameter sind. Die allgemeine Teststatistik für solcheist: $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

ist ein unverzerrter Schätzer für die Fehlervarianz, woist die Summe der quadrierten Residuen. Im Fall von zwei Gruppen, $\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ und die Schätzer sind somitund. Mit $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$ being 1 in our case, the test statistic becomes:

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ is $t$ -distributed with $n - \mathrm{Rank}(X)$ df (here $n-2$ ). When you square $t$ , you get $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ , the test statistic from the ANOVA $F$ -test for two groups ( $b$ for between, $w$ for within groups) which follows an $F$ -distribution with 1 and $n - \mathrm{Rank}(X)$ df.

With more than two groups, the ANOVA hypothesis (all $\beta_{j}$ are simultaneously 0, with $1 \leq j$ ) refers to more than one parameter and cannot be expressed as a linear combination $\psi$ , so then the tests are not equivalent.

caracal
quelle

In 1, ANOVA will usually test factor variables and whether or not between group variance is significant. You'll clearly see the difference if your software allows indicator variables in a regression: for each dummy you'll get a p value saying whether this group scores significantly different from 0, and as a consequence significantly different than the reference group or reference value applicable. Usually, you won't see to what degree the indicator itself is important until you do an ANOVA test.

A F-test is a squared t-test. Therefore, in 2, it's the same.

Labour
quelle

Thanks! (1) What do indicator variables mean here? (2) Generally, a t-test is equivalent to ANOVA only when there are only two groups. But in simple linear regression there may be more than two groups, where the number of groups is the number of values the predictor variable takes in the data set.

Tim

(1) Indicator or categorical or factor variable ... all the same. (2) Indeed, but you may want to know how well a set of dummies/categories scores from ANOVA.

Labour

Thanks! (2) So in simple linear regression, how is t-test equivalent to ANOVA, given that there are more than two groups? What does "how well a set of dummies/categories scores from ANOVA" mean, and why do I want to know it?

Tim

In OLS regression, R² (explained variance) will be equal to eta² or MSS / TSS from ANOVA no matter how many groups you define. Next, you might want to know the contribution of a set of dummies (i.e. an indicator variable) to say whether the set itself is relevant and to what extent, which is different from the significance of the difference between one single category with the reference category.

Labour