Ich habe gerade in einem angesehenen (populären) Wissenschaftsmagazin (PM, 02/2013, S.36) über ein interessantes Experiment gelesen (leider ohne Quelle). Es erregte meine Aufmerksamkeit, weil ich intuitiv die Bedeutung des Ergebnisses bezweifelte, aber die bereitgestellten Informationen für die Reproduktion der statistischen Tests ausreichten.
Die Forscher fragten sich, ob Erkältung bei kaltem Wetter die Wahrscheinlichkeit einer Erkältung erhöht. So teilten sie eine Gruppe von 180 Schülern nach dem Zufallsprinzip in zwei Gruppen auf. Eine Gruppe musste ihre Füße 20 Minuten lang in kaltes Wasser halten. Die anderen zogen ihre Schuhe an. Eine Art lustige Manipulation, denke ich, aber andererseits bin ich kein Arzt und Ärzte denken vielleicht lustig. Abgesehen von ethischen Fragen.
Nach 5 Tagen hatten 13 der Studenten in der Behandlungsgruppe eine Erkältung, aber nur 5 in der Gruppe, die ihre Schuhe anhatten. Die Odds Ratio dieses Experiments beträgt somit 2,87.
Angesichts der relativ geringen Stichprobengröße fragte ich mich, ob dieser Unterschied signifikant sein könnte. Also habe ich zwei Tests durchgeführt.
Zuerst ein einfacher Test der Proportionengleichheit unter Verwendung der normalen Näherung. Dieser Test hat mit p = 0,0468 . Ich vermute, dass dies das ist, was die Forscher getestet haben. Dies ist wirklich nur von Bedeutung. Dieser Z-Test ist jedoch nur in großen Stichproben gültig, wenn ich mich aufgrund der normalen Näherung nicht irre. Darüber hinaus sind die Prävalenzraten eher gering, und ich frage mich, ob dies nicht die Abdeckungsrate des Konfidenzintervalls des Effekts beeinflusst.
Mein zweiter Versuch war also ein Chi-Quadrat-Test der Unabhängigkeit, sowohl mit Monte-Carlo-Simulation als auch mit dem Standard-Pearson-Chi-Quadrat. Hier finde ich p-Werte beide über .
Nun, das ist alles nicht so beruhigend in Bezug auf die Ergebnisse. Ich habe mich gefragt, ob es mehr Optionen zum Testen dieser Daten gibt und wie Sie zu den beiden Tests stehen (insbesondere zu den Annahmen des ersten, signifikanten Tests).
Antworten:
Ich würde einen Permutationstest anstelle der normalen Näherung oder des Chi-Quadrats verwenden. Der Permutationstest ist genau und am leistungsfähigsten, abhängig von den Daten.
In diesem Fall können wir nicht alle Permutationen der Gruppen berechnen, aber wir können viele zufällige Permutationen der Daten generieren und einen ziemlich genauen Wert erhalten:
Dies würde einen p-Wert von 0,039 anzeigen.
JEDOCH, und das ist ein großes Problem, ich vermute jedoch, dass die Annahme, dass die Personen, die sich erkälten, unabhängige Ereignisse sind, verletzt wird. Diese Personen sind Schüler, vermutlich an derselben Schule. Stellen Sie sich vor, zwei von ihnen teilen sich eine Klasse oder einen Schlafsaal oder eine andere Aktivität oder eine Cafeteria (in einer Schule mit mehreren Cafeterien). Die Ereignisse "# 1 wird erkältet" und "# 2 wird erkältet" sind nicht unabhängig voneinander. Ich könnte mir vorstellen, dass ein Student sagen würde: "Melden wir uns für dieses Experiment an!" an seinen / ihren Mitbewohner oder Freunde; Ich konnte mir vorstellen, dass die Schüler aus Klassen rekrutiert wurden, die die Professoren unterrichteten. Ich könnte mir viele Wege vorstellen, wie die Annahme der Unabhängigkeit verletzt wird. Vielleicht spricht die Zeitung, die ich nicht gelesen habe, einige davon an, aber es ist schwer zu erkennen, wie sie alle ansprechen könnte.
quelle
quelle