Welche Beziehung besteht zwischen ANOVA zum Vergleichen der Mittelwerte mehrerer Gruppen und ANOVA zum Vergleichen verschachtelter Modelle?

11

Ich habe ANOVA bisher auf zwei Arten gesehen:

Zunächst wurde in meinem einführenden Statistiktext ANOVA eingeführt, um Mittelwerte von drei oder mehr Gruppen zu vergleichen, als Verbesserung gegenüber dem paarweisen Vergleich, um festzustellen, ob eines der Mittelwerte einen statistisch signifikanten Unterschied aufweist.

Zweitens habe ich in meinem statistischen Lerntext gesehen, dass ANOVA zum Vergleichen von zwei (oder mehr) verschachtelten Modellen verwendet wurde, um festzustellen, ob Modell 1, das eine Teilmenge der Prädiktoren von Modell 2 verwendet, gleich gut zu den Daten passt oder ob es vollständig ist Modell 2 ist überlegen.

Jetzt gehe ich davon aus, dass diese beiden Dinge auf die eine oder andere Weise tatsächlich sehr ähnlich sind, weil beide den ANOVA-Test verwenden, aber an der Oberfläche scheinen sie mir ganz anders zu sein. Zum einen werden bei der ersten Verwendung drei oder mehr Gruppen verglichen, während bei der zweiten Methode nur zwei Modelle verglichen werden können. Würde es bitte jemandem etwas ausmachen, den Zusammenhang zwischen diesen beiden Verwendungszwecken zu klären?

hypothesis-testing anova model-comparison f-test nested-models Austin
quelle

2

Kurz gesagt, ich denke, die zweite "Anova" ist überhaupt keine ANOVA (wenn Sie en.wikipedia.org/wiki/Analysis_of_variance lesen , wird der Vergleich verschachtelter Modelle nicht erwähnt). Es ist ein en.wikipedia.org/wiki/F-test und in R als anova()Funktion implementiert , da die erste echte ANOVA auch einen F-Test verwendet. Dies führt zu Terminologieverwirrung.

Amöbe sagt Reinstate Monica

Danke, ich denke du hast den Nagel auf den Kopf getroffen! Ich hatte nicht gedacht, dass die anova()Funktion mehr als nur ANOVA kann. Dieser Beitrag unterstützt Ihre Schlussfolgerung: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

Austin

1

Ein Diplom-Statistiker hat mir beigebracht, dass ANOVA als Multisample-Test mit ANOVA als verschachtelter Modell-Überlegenheitstest identisch ist. Dasselbe bedeutet nach meinem Verständnis, dass wir eine Summe (oder einen Mittelwert) von Residuen, die aus keinem Modell oder einfacheren Modell resultieren, mit den Residuen vergleichen, die aus einem Modell resultieren, und der F-Test ist auf beide Situationen anwendbar, sofern die Annahmen erfüllt sind. Die Antwort, die ich versucht habe, ist absolut darüber. Ich selbst wäre daran interessiert, den Zusammenhang zwischen mindestens einem von Null verschiedenen lm-Koeffizienten (Ein-Modell-F-Statistiken) und der Summe der Residuen zu verstehen.

Alexey Burnakov

11

Nach meinem Verständnis lautet die abstrakte Intuition von ANOVA wie folgt: Man zerlegt die Varianzquellen der beobachteten Variablen in verschiedene Richtungen und untersucht die jeweiligen Beiträge. Genauer gesagt zerlegt man die Identitätskarte in eine Summe von Projektionen und untersucht, welche Projektionen / Richtungen einen wichtigen Beitrag zur Erklärung der Varianz leisten und welche nicht. Die theoretische Grundlage ist Cochrans Theorem .

Um weniger abstrakt zu sein, habe ich die zweite vom OP erwähnte Form in den gerade beschriebenen Rahmen gegossen . Anschließend interpretiere ich die erste Form als Sonderfall der zweiten.

Betrachten wir ein Regressionsmodell mit erklärenden Variablen (das vollständige Modell) und vergleichen Sie es mit dem eingeschränkten Modell mit Variablen. WLOG, die letzten Variablen des vollständigen Modells sind nicht im eingeschränkten Modell enthalten. Die von ANOVA beantwortete Frage lautet $K$ $K-J$ $J$

"Können wir signifikant mehr Varianz in der beobachteten Variablen erklären, wenn wir zusätzliche Variablen einbeziehen $J$ ? "

Diese Frage wird durch den Vergleich der Varianz Beiträge des ersten beantwortet Variablen, das nächste Variablen und der Rest / unerklärten Teil (die Restsumme der Quadrate). Diese Zerlegung (erhalten zB aus dem Satz von Cochran) wird verwendet, um den F-Test zu konstruieren. Somit analysiert man die Reduktion (durch Einbeziehen weiterer Variablen) der verbleibenden Quadratsumme des eingeschränkten Modells (entsprechend dem alle Koeffizienten, die zu den letzten Variablen gehören, sind Null ), indem man mehr Variablen einschließt und erhält die F-Statistik $K-J$ $J$ $H_0:$ $J$ Wenn der Wert groß genug ist, ist die Varianz, die durch die zusätzlichenVariablen erklärt wird, signifikant.

\frac{\frac{R. S. {S.}_{r e s t r} - - R. S. {S.}_{f u l l}}{J.}}{\frac{R. S. {S.}_{f u l l}}{N. - - K.}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$

Nun wird die vom OP erwähnte erste Form als Sonderfall der zweiten Form interpretiert . Betrachten wir drei verschiedene Gruppen A, B, und C mit Mitteln , und . Die wird durch Vergleichen der Varianz erläuterte durch die Regression auf einem Achsenabschnitt (das eingeschränkte Modell) mit der Varianz vom Gesamtmodell , das einen Achsenabschnitt erläuterte getestet, eine Dummy für die Gruppe A, und einem Dummy für Gruppe B. Die resultierende F-Statistik $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$ entspricht dem ANOVA-Test aufWikipedia. Der Nenner ist gleich der Variation innerhalb der Gruppen, der Zähler ist gleich der Variation zwischen den Gruppen. Wenn die Variation zwischen den Gruppen größer ist als die Variation innerhalb der Gruppen, lehnt man die Hypothese ab, dass alle Mittelwerte gleich sind.

\frac{\frac{R. S. {S.}_{ich n t e r c e p t} - - R. S. {S.}_{d u m m ich e s}}{2}}{\frac{R. S. {S.}_{d u m m ich e s}}{N. - - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$

bmbb
quelle

+1. Ich frage mich, ob Sie meiner Bemerkung zur Terminologie im Kommentar hier zustimmen würden: stats.stackexchange.com/questions/315979/#comment602611_315979 .

Amöbe sagt Reinstate Monica

Ich stimme definitiv zu, dass es in der Terminologie viel Verwirrung gibt ;-). Umgangssprachlich verbinde ich ANOVA nur mit der ersten Form von OP. Ich habe mir gerade Scheffés Buch "The Analysis of Varianz" angesehen, in dem "verschachtelte Designs" erwähnt werden.

Bmbb

@bmbb, ich möchte Ihrem letzten Kommentar Folgendes hinzufügen: Ein einfacher Fall, in dem wir verschachtelte lm-Modelle vergleichen, von denen eines nur Intercept ist. Die Tatsache, die mich an dem Modell mit dem Achsenabschnitt beeindruckt hat, ist, dass wir uns, wenn wir uns auf seine Residuen beziehen, tatsächlich auf seine Varianz beziehen, da die Residuen relativ zu einem variablen Mittelwert (der der Achsenabschnitt des Modells ist) berechnet werden und Abweichungen von ihnen sind Stichprobenmittelwert. Daher führen wir bei verschachtelten Modellen immer noch die Varianzanalyse durch, auch wenn wir Residuen formal analysieren.

Alexey Burnakov

6

Wenn Sie eine Einweg-ANOVA durchführen, um zu testen, ob zwischen den Gruppen ein signifikanter Unterschied besteht, vergleichen Sie implizit zwei verschachtelte Modelle (es gibt also nur eine Verschachtelungsebene, aber es wird immer noch verschachtelt).

Diese beiden Modelle sind:

$y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $y_{ich j} = {\hat{β}}_{0} + ϵ_{ich}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
Modell 1: Die Werte werden anhand der geschätzten Mittelwerte der Gruppen modelliert.

$\hat{\beta_j}$

$y_{ich} = {\hat{β}}_{0} + {\hat{β}}_{j} + ϵ_{ich}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

Ein Beispiel für den Vergleich von Mittelwerten und Äquivalenz mit verschachtelten Modellen: Nehmen wir die Kelchblattlänge (cm) aus dem Irisdatensatz (wenn wir alle vier Variablen verwenden, könnten wir tatsächlich LDA oder MANOVA durchführen, wie es Fisher 1936 getan hat).

Die beobachteten Gesamt- und Gruppenmittelwerte sind:

\begin{matrix} μ_{t o t a l} & = 5.83 \\ μ_{s e t o s a} & = 5.01 \\ μ_{v e r s i c o l o r} & = 5.94 \\ μ_{v i r g i n i c a} & = 6.59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

Welches ist in Modellform:

\begin{matrix} model 1: & y_{i j} = 5.83 + ϵ_{i} \\ model 2: & y_{i j} = 5.01 + {[\begin{matrix} 0 \\ 0.93 \\ 1.58 \end{matrix}]}_{j} + ϵ_{i} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

$\sum{\epsilon_i^2} = 102.1683$

$\sum{\epsilon_i^2} = 38.9562$

Und die ANOVA-Tabelle wird wie folgt aussehen (und implizit die Differenz zwischen der Gruppensumme der Quadrate berechnen, die die 63.212 in der Tabelle mit 2 Freiheitsgraden ist):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

F. = \frac{\frac{R. S. {S.}_{d ich f f e r e n c e}}{D. {F.}_{d ich f f e r e n c e}}}{\frac{R. S. {S.}_{n e w}}{D. {F.}_{n e w}}} = \frac{\frac{63.212}{2}}{\frac{38,956}{147}} = 119,26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

im Beispiel verwendeter Datensatz:

Blütenblattlänge (cm) für drei verschiedene Arten von Irisblüten

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

Sextus Empiricus
quelle

1

+1, aber das Formatieren der Datentabelle als Latextabelle ist eine wirklich schlechte Praxis !! Man kann es nirgendwo kopieren und einfügen! Wenn Sie die Daten wirklich einschließen möchten, können Sie sie als Codeblock formatieren. In diesem Fall können Sie aber auch einen Link zu einem Artikel von Wikipedia Fisher Iris erstellen, der die Daten enthält.

Amöbe sagt Reinstate Monica

Abgesehen davon, wie beurteilen Sie das in diesem Kommentar erwähnte Terminologieproblem stats.stackexchange.com/questions/315979/#comment602611_315979 ?

Amöbe sagt Reinstate Monica

1

Ich glaube nicht, dass die Fuzzy-Terminologie ein großes Problem ist. In meinen Gedanken betrachte ich ANOVA eigentlich nie so sehr als einen Vergleich der Varianz innerhalb und zwischen Gruppen und mache immer die mentale Projektion zu einem Vergleich zweier Modelle. Ich glaube nicht, dass dies ein großes Problem ist, da die f-Verteilung, ein Verhältnis zweier unabhängiger Chi-Quadrat-verteilter Variablen, in gewissem Sinne ein Verhältnis von Variationen ist. Wenn Sie den f-Test anwenden, um verschachtelte Modelle zu untersuchen, werden Variationen verglichen und Variationen analysiert. Daher scheint mir ANOVA in Ordnung zu sein (ich versuche derzeit, einige historische Referenzen nachzuschlagen).

Sextus Empiricus

Ich sage nicht, dass dies ein Problem ist. Ich frage mich jedoch, ob sich der Begriff "ANOVA" auf den F-Test bezieht, bei dem verschachtelte Modelle nur in R verglichen werden (wie ich in meinem verknüpften Kommentar vorgeschlagen habe) oder ob es sich um eine allgemein akzeptierte Terminologie handelt. Ich habe keine Lehrbücher überprüft, daher stammen meine Beweise nur aus Wikipedia.

Amöbe sagt Reinstate Monica

In Fischers statistischen Methoden für Forscher von 1925 enthält er, wenn er die Varianzanalyse erklärt, Beispiele, die die Technik auf Regressionslinien anwenden (jedoch keine verschachtelten Modelle).

Sextus Empiricus

1

Die Verwendung von ANOVA im Vergleich zwischen mehreren Modellen bedeutet zu testen, ob mindestens einer der Koeffizienten, die in Modellen mit höherer Ordnung verwendet werden (und in Modellen mit niedrigerer Ordnung fehlen), signifikant von Null abweicht.

Dies entspricht der Aussage, dass die Summe der Residuen für das Modell höherer Ordnung erheblich geringer ist als die des Modells niedrigerer Ordnung.

Es handelt sich um zwei Modelle, da die verwendete Grundgleichung lautet

MSM/MSE

Wobei MSM der Mittelwert der quadratischen Residuen des Modells niedrigerer Ordnung ist (wobei die niedrigste Ordnung der Mittelwert der Zielvariablen ist, dh der Achsenabschnitt).

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

Sie können jedoch ähnliche Themen im Lebenslauf lesen, wie z

Wie verwende ich Anova für den Vergleich zweier Modelle?

Alexey Burnakov
quelle

IMHO beantwortet dies die Frage nicht.

Amöbe sagt Reinstate Monica

1

Aus dem, was ich gelernt habe,

Mithilfe von ANOVA-Tabellen können Sie feststellen, ob Ihre erklärenden Variablen tatsächlich einen signifikanten Einfluss auf die Antwortvariable haben und somit zum entsprechenden Modell passen.

Angenommen, Sie haben zwei erklärende Variablen $x_1$ und $x_2$ , aber Sie sind sich nicht sicher, ob $x_2$ wirkt sich tatsächlich auf Y aus. Sie können ANOVA-Tabellen der beiden Modelle vergleichen:

y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ϵ

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$ vs.

y = β_{0} + β_{1} x_{1} + ϵ

$y=\beta_0 + \beta_1x_1 + \epsilon$

Sie führen einen Hypothesentest mit der zusätzlichen Restquadratsumme mit dem F-Test durch, um festzustellen, ob ein reduziertes Modell mit just $x_1$ ist wichtiger.

Hier ist ein ANOVA-Ausgabebeispiel für ein Projekt, an dem ich in R arbeite, wo ich zwei Modelle teste (eines mit den variablen Tagen und eines ohne die variablen Tage):

Wie Sie sehen können, beträgt der entsprechende p-Wert aus dem F-Test 0,13, was größer als 0,05 ist. Daher können wir die Nullhypothese, dass Tage keinen Einfluss auf Y haben, nicht ablehnen. Daher wähle ich Modell 1 gegenüber Modell 2.

JPMSpoof
quelle

IMHO beantwortet dies die Frage nicht.

Amöbe sagt Reinstate Monica

Welche Beziehung besteht zwischen ANOVA zum Vergleichen der Mittelwerte mehrerer Gruppen und ANOVA zum Vergleichen verschachtelter Modelle?

Antworten: