Der

12

Ich habe gerade in einem angesehenen (populären) Wissenschaftsmagazin (PM, 02/2013, S.36) über ein interessantes Experiment gelesen (leider ohne Quelle). Es erregte meine Aufmerksamkeit, weil ich intuitiv die Bedeutung des Ergebnisses bezweifelte, aber die bereitgestellten Informationen für die Reproduktion der statistischen Tests ausreichten.

Die Forscher fragten sich, ob Erkältung bei kaltem Wetter die Wahrscheinlichkeit einer Erkältung erhöht. So teilten sie eine Gruppe von 180 Schülern nach dem Zufallsprinzip in zwei Gruppen auf. Eine Gruppe musste ihre Füße 20 Minuten lang in kaltes Wasser halten. Die anderen zogen ihre Schuhe an. Eine Art lustige Manipulation, denke ich, aber andererseits bin ich kein Arzt und Ärzte denken vielleicht lustig. Abgesehen von ethischen Fragen.

Nach 5 Tagen hatten 13 der Studenten in der Behandlungsgruppe eine Erkältung, aber nur 5 in der Gruppe, die ihre Schuhe anhatten. Die Odds Ratio dieses Experiments beträgt somit 2,87.

Angesichts der relativ geringen Stichprobengröße fragte ich mich, ob dieser Unterschied signifikant sein könnte. Also habe ich zwei Tests durchgeführt.

Zuerst ein einfacher Test der Proportionengleichheit unter Verwendung der normalen Näherung. Dieser Test hat mit p = 0,0468 . Ich vermute, dass dies das ist, was die Forscher getestet haben. Dies ist wirklich nur von Bedeutung. Dieser Z-Test ist jedoch nur in großen Stichproben gültig, wenn ich mich aufgrund der normalen Näherung nicht irre. Darüber hinaus sind die Prävalenzraten eher gering, und ich frage mich, ob dies nicht die Abdeckungsrate des Konfidenzintervalls des Effekts beeinflusst.z=1.988p=0.0468

Mein zweiter Versuch war also ein Chi-Quadrat-Test der Unabhängigkeit, sowohl mit Monte-Carlo-Simulation als auch mit dem Standard-Pearson-Chi-Quadrat. Hier finde ich p-Werte beide über .p=.082

Nun, das ist alles nicht so beruhigend in Bezug auf die Ergebnisse. Ich habe mich gefragt, ob es mehr Optionen zum Testen dieser Daten gibt und wie Sie zu den beiden Tests stehen (insbesondere zu den Annahmen des ersten, signifikanten Tests).

Tomka
quelle
Ich glaube, Sie haben eine Kontinuitätskorrektur an der Chi-Quadrat-Statistik von Pearson durchgeführt, die die Diskrepanz bei den p-Werten erklärt.
Scortchi

Antworten:

13

Ich würde einen Permutationstest anstelle der normalen Näherung oder des Chi-Quadrats verwenden. Der Permutationstest ist genau und am leistungsfähigsten, abhängig von den Daten.

In diesem Fall können wir nicht alle Permutationen der Gruppen berechnen, aber wir können viele zufällige Permutationen der Daten generieren und einen ziemlich genauen Wert erhalten:

group <- c(rep("A",90),rep("B",90))
n_a <- rep(0,100000)
for (i in 1:length(n_a)) {
   temp <- sample(group, size=18)
   n_a[i] <- sum(temp == "A")
}
> mean(n_a >= 13)
[1] 0.03904

Dies würde einen p-Wert von 0,039 anzeigen.

JEDOCH, und das ist ein großes Problem, ich vermute jedoch, dass die Annahme, dass die Personen, die sich erkälten, unabhängige Ereignisse sind, verletzt wird. Diese Personen sind Schüler, vermutlich an derselben Schule. Stellen Sie sich vor, zwei von ihnen teilen sich eine Klasse oder einen Schlafsaal oder eine andere Aktivität oder eine Cafeteria (in einer Schule mit mehreren Cafeterien). Die Ereignisse "# 1 wird erkältet" und "# 2 wird erkältet" sind nicht unabhängig voneinander. Ich könnte mir vorstellen, dass ein Student sagen würde: "Melden wir uns für dieses Experiment an!" an seinen / ihren Mitbewohner oder Freunde; Ich konnte mir vorstellen, dass die Schüler aus Klassen rekrutiert wurden, die die Professoren unterrichteten. Ich könnte mir viele Wege vorstellen, wie die Annahme der Unabhängigkeit verletzt wird. Vielleicht spricht die Zeitung, die ich nicht gelesen habe, einige davon an, aber es ist schwer zu erkennen, wie sie alle ansprechen könnte.

Bogenschütze
quelle
Danke @jbowman - außerdem haben Sie einen einseitigen Test durchgeführt, wie ich sehe. Ich denke, das ist sinnvoller als die zweiseitigen Tests, die ich verwendet habe. Wenn die normale Annäherung einseitig erfolgt, liegt der p-Wert bei 0,023 darüber. Ich mag die Aussage über Unabhängigkeit. Wahrscheinlich waren die Schüler auch nicht isoliert, als sie ihre Füße ins Wasser hielten. Das ist auch eine Möglichkeit, eine Erkältung zu übertragen.
Tomka
(+1) Beachten Sie jedoch, dass Sie nicht simulieren müssen: Die Verteilung Ihrer Teststatistik folgt einer hypergeometrischen Verteilung unter der Nullhypothese (& Konditionierung der Randsummen). Dies ist Fisher's Exakter Test.
Scortchi
11

zχ2

z

zzt

tzz-test in deinem fall verwendet werden? Der Grund ist, dass Ihre Daten sind

N91×91=1,729N=180z

χ2 -Test:

χ2χ2zχ2χ2zz Test hier mehr Leistung.

zχ2

gung - Wiedereinsetzung von Monica
quelle
Vielen Dank @gung, ich weiß deine Bemühungen wirklich zu schätzen. Es macht die Dinge klarer.
Tomka
@gung Ich bin verwirrt - Ist Chi-Quadrat und Z-Verhältnis gleich oder nicht? stats.stackexchange.com/questions/173415/…
Xavier Bourret Sicotte
@XavierBourretSicotte, der Z-Test wird oft als Chi-Quadrat-Test unter der Haube durchgeführt, R macht das zum Beispiel. Ich bevorzuge immer noch oft die Verwendung des Z-Tests, da die Informationen in einer Weise dargestellt werden, die dem Verständnis entspricht, dass eine Variable eine Kovariate und die andere die Antwort ist.
gung - Wiedereinsetzung von Monica
1
(+1) @XavierBourretSicotte: Es gibt zwei häufig verwendete Z-Tests für die Differenz zwischen zwei Anteilen: Einer ist ein Punktetest, der Pearsons Chi-Quadrat-Test entspricht (bei dem die Varianz im Nenner unter der besten Anpassung berechnet wird) Null); Der andere ist ein Wald-Test (bei dem die Varianz im Nenner mit der Maximum-Likelihood-Schätzung der Differenz der beiden Proportionen berechnet wird).
Scortchi
@Scortchi danke für die Klarstellung! Es ist das erste Mal, dass ich auf eine solche explizite Erklärung des Unterschieds stoße. Wären Sie in der Lage, Verknüpfungen zu Stellen herzustellen, an denen die beiden Ansätze erklärt werden? Mit den entsprechenden Formeln für die Varianz?
Xavier Bourret Sicotte