Kann eine Stichprobe für eine ANOVA oder einen T-Test zu groß sein?

9

Ich habe fast eine Million Datensätze und wenn ich einen mittleren Vergleichstest durchführe, entweder ANOVA oder einen T-Test, erhalte ich ein Signifikanzniveau von weniger als 0,0001 für SPSS. Ich mache mir Sorgen, dass meine Stichprobe so groß ist, dass sie sich beim Vergleich der Mittel natürlich als signifikant unterschiedlich herausstellt. Kann eine Stichprobe für eine ANOVA oder einen T-Test zu groß sein?

anova t-test effect-size large-data user24232
quelle
3
Die Frage ist ziemlich gut abgedeckt, also nur ein Kommentar - es ist eher eine Frage, auf die Sie eine Frage stellen, deren Antwort Sie bereits kennen (Sie glauben nicht wirklich, dass die Bevölkerungszahl genau gleich sein wird, oder?), Und Sie haben eine ausreichende Stichprobengröße, um die bereits offensichtliche, aber nicht sehr interessante Antwort zu geben, dass es tatsächlich Unterschiede gibt, auch wenn diese winzig sind. Effektgrößen und Konfidenzintervalle sind nützlicher als p-Werte, und Ihre interessanten Fragen beziehen sich eher auf Fragen der Verzerrung und beschreiben die vorhandenen Unterschiede und beurteilen deren praktische Bedeutung.
Glen_b -Reinstate Monica

Antworten:

16

Nein, eine Stichprobe darf für eine ANOVA oder einen T-Test nicht zu groß sein. Sie werden fast immer statistisch signifikante Ergebnisse erhalten, weil Sie viel Macht haben; Dies bedeutet jedoch nicht, dass Sie falsche Unterschiede erkennen. Unabhängig davon, wie viele Fälle Sie haben, wird ein Effekt, der nicht existiert, nicht signifikant. Dies ist ein weit verbreitetes Missverständnis.

Viel Leistung bedeutet jedoch, dass Sie möglicherweise Unterschiede erkennen, die in Bezug auf die Größe nahezu bedeutungslos sind. Zum Beispiel stellen Sie vielleicht fest, dass zwei Rennen im Durchschnitt unterschiedliche Höhen haben, aber der Unterschied beträgt nur einen halben Millimeter.

Stellen Sie sicher, dass Sie die mit Ihrem statistischen Test verbundene Effektgröße interpretieren. In diesem Fall ist der p-Wert weniger wert als die Effektgröße (wie so oft)!

Behacad
quelle
Ganz richtig (+1). Das einzige Problem, das ich sehen konnte, ist, wenn Sie auf Speicher- und Ausführungszeitprobleme stoßen. Ich denke, mit modernen Computern würde das für einfache Dinge wie ANOVA oder T-Test viel mehr als 1 Million Fälle erfordern.
Peter Flom
Was passiert, wenn die Stichprobengröße der Populationsgröße entspricht? Wie wählt man dann den p-Wert aus?
Sharath
2

Schlagen Sie vor, Sie schauen sich Folgendes an (alles sehr gut lesbar und nicht technisch).
1. Anderson DR, Burnham KP, Thompson WL (2000) Nullhypothesentest: Probleme, Prävalenz und eine Alternative. Journal of Wildlife Management 64: 912-923. 2. Gigerenzer G (2004) Mindless Statistics. Journal of Socio-Economics 33: 587-606. 3. Johnson DH (1999) Die Unbedeutung statistischer Signifikanztests. The Journal of Wildlife Management 63: 763-772.

Tom Wilding
quelle