Angenommen, ich möchte wissen, welche Stichprobengröße ich für ein Experiment benötige, bei dem ich feststellen möchte, ob der Unterschied zwischen zwei Erfolgsanteilen statistisch signifikant ist oder nicht. Hier ist mein aktueller Prozess:
- Sehen Sie sich historische Daten an, um Basisvorhersagen zu erstellen. Angenommen, in der Vergangenheit führt das Ergreifen einer Aktion zu einer Erfolgsquote von 10%, während das Nicht-Ergreifen einer Aktion zu einer Erfolgsquote von 9% führt. Angenommen, diese Schlussfolgerungen wurden nicht statistisch validiert, sondern basieren auf relativ großen Datenmengen (über 10.000 Beobachtungen).
Fügen Sie diese Annahmen in power.prop.test ein, um Folgendes zu erhalten:
power.prop.test(p1=.1,p2=.11,power=.9) Two-sample comparison of proportions power calculation n = 19746.62 p1 = 0.1 p2 = 0.11 sig.level = 0.05 power = 0.9 alternative = two.sided
Dies sagt mir also, dass ich in jeder Gruppe eines A / B-Tests eine Stichprobengröße von ~ 20000 benötigen würde, um einen signifikanten Unterschied zwischen den Anteilen festzustellen.
Der nächste Schritt besteht darin, das Experiment mit 20.000 Beobachtungen in jeder Gruppe durchzuführen. Gruppe B (keine Maßnahmen ergriffen) hat 2300 Erfolge von 20.000 Beobachtungen, während Gruppe A (ergriffene Maßnahmen) 2200 Erfolge von 20.000 Beobachtungen hat.
Mach einen Prop.Test
prop.test(c(2300,2100),c(20000,20000)) 2-sample test for equality of proportions with continuity correction data: c(2300, 2100) out of c(20000, 20000) X-squared = 10.1126, df = 1, p-value = 0.001473 alternative hypothesis: two.sided 95 percent confidence interval: 0.003818257 0.016181743 sample estimates: prop 1 prop 2 0.115 0.105
Wir sagen also, dass wir die Nullhypothese ablehnen können, dass die Proportionen gleich sind.
Fragen
- Ist diese Methode solide oder zumindest auf dem richtigen Weg?
- Könnte ich
alt="greater"
auf prop.test angeben und dem p-Wert vertrauen, obwohl power.prop.test für einen zweiseitigen Test war? - Was ist, wenn der p-Wert bei prop.test größer als 0,05 war? Sollte ich davon ausgehen, dass ich eine statistisch signifikante Stichprobe habe, aber es keinen statistisch signifikanten Unterschied zwischen den beiden Anteilen gibt? Ist dem p-Wert in prop.test eine statistische Signifikanz inhärent - dh ist power.prop.test überhaupt notwendig?
- Was ist, wenn ich keinen 50/50-Split durchführen kann und beispielsweise einen 95/5-Split durchführen muss? Gibt es eine Methode zur Berechnung der Stichprobengröße für diesen Fall?
- Was ist, wenn ich keine Ahnung habe, wie meine Basisprognose für Proportionen aussehen soll? Wenn ich vermute und die tatsächlichen Proportionen weit davon entfernt sind, wird dies meine Analyse ungültig machen?
Alle anderen Lücken, die Sie füllen könnten, wären sehr dankbar - ich entschuldige mich für die Verschachtelung dieses Beitrags. Vielen Dank!
>
am Anfang des zitierten Blocks) anzeigen soll, anstatt es nur fett zu schreiben.