Unterschied zwischen ANOVA- und Kruskal-Wallis-Test

20

Ich lerne R und experimentiere mit der Varianzanalyse. Ich habe beide ausgeführt

kruskal.test(depVar ~ indepVar, data=df)

und

anova(lm(depVar ~ indepVar, data=dF))

Gibt es einen praktischen Unterschied zwischen diesen beiden Tests? Nach meinem Verständnis bewerten beide die Nullhypothese, dass die Populationen den gleichen Mittelwert haben.

JHowIX
quelle

Antworten:

28

Es gibt Unterschiede in den Annahmen und den Hypothesen, die getestet werden.

Die ANOVA (und der t-Test) ist explizit ein Test auf Gleichheit der Mittelwerte. Das Kruskal-Wallis (und Mann-Whitney) kann technisch als Vergleich der mittleren Ränge angesehen werden .

In Bezug auf die ursprünglichen Werte ist das Kruskal-Wallis daher allgemeiner als ein Mittelwertvergleich: Es wird geprüft, ob die Wahrscheinlichkeit, dass eine zufällige Beobachtung aus jeder Gruppe gleichermaßen über oder unter einer zufälligen Beobachtung aus einer anderen Gruppe liegt, gleich hoch ist. Die reale Datenmenge, die diesem Vergleich zugrunde liegt, ist weder die Differenz der Mittelwerte noch die Differenz der Mediane (im Fall mit zwei Stichproben), sondern der Median aller paarweisen Differenzen - die Differenz zwischen Stichproben von Hodges und Lehmann.

Wenn Sie sich jedoch für restriktive Annahmen entscheiden, kann Kruskal-Wallis als Test für die Gleichheit der Bevölkerungsmittel sowie für Quantile (z. B. Mediane) und in der Tat für eine Vielzahl anderer Maßnahmen angesehen werden. Das heißt, wenn Sie davon ausgehen , dass die Gruppenverteilungen unter der Nullhypothese gleich sind, und dass im Rahmen der Alternative, die einzige Änderung ist eine Verteilungsverschiebung (eine so genannte „ Location-Shift Alternative “), dann ist es auch ein Test der Gleichheit der Bevölkerungsmittel (und gleichzeitig der Mediane, der unteren Quartile usw.).

[Wenn Sie diese Annahme treffen, können Sie Schätzungen und Intervalle für die relativen Verschiebungen abrufen, genau wie Sie es mit ANOVA können. Nun, es ist auch möglich, Intervalle ohne diese Annahme zu erhalten, aber sie sind schwieriger zu interpretieren.]

Wenn Sie sich die Antwort hier ansehen , insbesondere gegen Ende, wird der Vergleich zwischen dem t-Test und dem Wilcoxon-Mann-Whitney erörtert, die (zumindest bei zweiseitigen Tests) ANOVA und Kruskal-Wallis entsprechen angewendet auf einen Vergleich von nur zwei Proben; es gibt ein wenig mehr Details und ein Großteil dieser Diskussion überträgt sich auf das Kruskal-Wallis gegen ANOVA.

Es ist nicht ganz klar, was Sie unter einem praktischen Unterschied verstehen. Sie verwenden sie im Allgemeinen auf eine im Allgemeinen ähnliche Weise. Wenn beide Sätze von Annahmen zutreffen, tendieren sie normalerweise dazu, ziemlich ähnliche Arten von Ergebnissen zu liefern, aber sie können in einigen Situationen sicherlich ziemlich unterschiedliche p-Werte liefern.

Bearbeiten: Hier ist ein Beispiel für die Ähnlichkeit der Inferenz auch bei kleinen Stichproben - hier ist der gemeinsame Akzeptanzbereich für die Ortsverschiebungen zwischen drei Gruppen (jeweils die zweite und dritte im Vergleich zur ersten) aus Normalverteilungen (mit kleinen Stichprobengrößen). für einen bestimmten Datensatz auf der 5% -Ebene:

Akzeptanzregionen für Standortunterschiede in Kruskal-Wallis und Anova

Es sind zahlreiche interessante Merkmale zu erkennen - in diesem Fall der etwas größere Akzeptanzbereich für die KW, dessen Grenze aus vertikalen, horizontalen und diagonalen geraden Liniensegmenten besteht (es ist nicht schwer herauszufinden, warum). Die beiden Regionen erzählen sehr ähnliche Dinge über die Parameter, die hier von Interesse sind.

Glen_b - Setzen Sie Monica wieder ein
quelle
2
+1. Ich habe es gewagt, es leicht zu bearbeiten, nur um die Betonung dort zu setzen, wo ich es für notwendig hielt. Bitte sehen Sie jetzt, ob Sie zustimmen oder nicht.
ttnphns
@ttnphns danke für die Bearbeitung. Es gibt einige besondere Gründe, warum einige der von Ihnen geänderten Elemente dort enthalten waren, sodass ich möglicherweise einige der ursprünglichen Elemente wieder bearbeiten kann. Vielleicht sollte ich jedoch klarer machen, warum ich sie so geschrieben habe, wie ich sie zuvor hatte. Aber zuerst möchte ich sorgfältig darüber nachdenken, wie ich so viele Änderungen wie möglich am besten aufrechterhalten kann.
Glen_b
4

Ja da ist. Das anovaist ein parametrischer Ansatz , während kruskal.testein nicht parametrischer Ansatz. So kruskal.testbraucht keine verteilungs Annahme.
Wenn Ihre Daten aus praktischer Sicht verzerrt sind, ist anovadies kein guter Ansatz. Schauen Sie sich zum Beispiel diese Frage an.

Stat
quelle
4
Ich würde sagen, dass die Kruskal-Wallis-ANOVA im Vergleich zur parametrischen ANOVA lockere Annahmen hinsichtlich der Verteilung trifft: Die Beobachtungen in jeder Gruppe stammen von Populationen mit ähnlicher Form . Heteroskedastizität oder stark verzerrte Verteilungen bleiben ebenso problematisch wie bei herkömmlichen Tests.
Chl
2
Wie so, @chl? Die Ränge werden nicht durch Versatz geändert, und KW basiert auf Rängen. Was vermisse ich?
Peter Flom - Reinstate Monica
6
3/π
H0
1
@ StéphaneLaurent Wenn die Formen nicht identisch sind, kann dies zu falschen Schlussfolgerungen führen. siehe mein Beispiel hier
Flask
3

ΔBildbeschreibung hier eingeben

()H0:{Δ=0}H1:{Δ0}()H0H0)()H0:{Die Verteilungen sind gleich}

()Δ>0Δ

xyn=1000H0

set.seed(666)
n <- 1000
x <- rnorm(n)
y <- (2*rbinom(n,1,1/2)-1)*rnorm(n,3)
plot(density(x, from=min(y), to=max(y)))
lines(density(y), col="blue")

Bildbeschreibung hier eingeben

> kruskal.test(list(x,y))

    Kruskal-Wallis rank sum test

data:  list(x, y)
Kruskal-Wallis chi-squared = 2.482, df = 1, p-value = 0.1152

Wie ich am Anfang behauptet habe, bin ich mir über die genaue Konstruktion von KW nicht sicher. Vielleicht ist meine Antwort für einen anderen nichtparametrischen Test (Mann-Whitney? ..) korrekter, aber der Ansatz sollte ähnlich sein.

Stéphane Laurent
quelle
1
Kruskal-Wallis test is constructed in order to detect a difference between two distributions having the same shape and the same dispersionWie in Glen's Antwort, den Kommentaren und an vielen anderen Stellen auf dieser Site erwähnt, ist es wahr, aber es ist die eingeschränkte Lesart dessen, was der Test tut. same shape/dispersionist eigentlich keine intrinsische Annahme, sondern eine zusätzliche Annahme, die in einigen Situationen verwendet und in anderen nicht verwendet wird.
TTNPHNS
PS Ihr 2. Beispiel widerspricht oder widerlegt den KW-Test nicht. Das H0 des Tests ist nicht distributions are equal , es ist ein Fehler, so zu denken. Das H0 ist nur, dass die beiden Punkte der "Verdichtung der Gravitäten" bildlich nicht voneinander abweichen.
TTNPHNS
H0
1
krusal.test()H0
Stéphane Laurent
1
Ja. the equality of the location parameters of the distributionist die richtige Formulierung (obwohl "Ort" im Allgemeinen nicht nur als Mittelwert oder Median gedacht werden sollte). Wenn Sie gleiche Formen annehmen, wird dieses gleiche H0 natürlich zu einer "identischen Verteilung".
TTNPHNS
0

Kruskal-Wallis basiert eher auf Rang als auf Wert. Dies kann einen großen Unterschied machen, wenn es verzerrte Verteilungen gibt oder wenn es extreme Fälle gibt

Peter Flom - Wiedereinsetzung von Monica
quelle