Wie berechnet ein Frequentist die Wahrscheinlichkeit, dass Gruppe A Gruppe B in Bezug auf die binäre Antwort schlägt?

... (optional) im Kontext von Google Web Optimizer.

Angenommen, Sie haben zwei Gruppen und eine binäre Antwortvariable. Jetzt erhalten Sie folgendes Ergebnis:

Original : 401 Studien, 125 erfolgreiche Studien
Kombination 16 : 441 Studien, 141 erfolgreiche Studien

Der Unterschied ist statistisch nicht signifikant, man kann jedoch eine Wahrscheinlichkeit berechnen, dass die Kombination 16 das Original schlägt.

Um "Chance to Beat Original" zu berechnen, habe ich einen Bayes'schen Ansatz verwendet, dh eine zweidimensionale Monte-Carlo-Integration über die Konfidenzintervalle im Bayes'schen Stil (Beta-Verteilung, (0,0) vor). Hier ist der Code:

trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
                    "opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials

Dies ergibt 0,6764.

Welche Technik würde ein Frequentist verwenden, um "Chance zu schlagen ..." zu berechnen? Vielleicht die Potenzfunktion von Fischers genauem Test?

Optional: Kontext von Google Web Optimizer

Google Web Optimizer ist ein Tool zur Steuerung multivariater Tests oder A / B-Tests. Dies nur als Einführung, da dies für die Frage selbst keine Rolle spielen sollte.

Das oben dargestellte Beispiel stammt aus der Erklärungsseite von Google Web Optimizer (GWO), die Sie hier finden (scrollen Sie nach unten zum Abschnitt " Geschätzte Conversion-Ratenbereiche "), insbesondere aus Abbildung 2.

Hier liefert GWO 67,8% für "Chance, Original zu schlagen", was sich geringfügig von meinem Ergebnis unterscheidet. Ich denke, Google verwendet einen häufigeren Ansatz und fragte mich: Was könnte es sein?

EDIT: Da diese Frage kurz vor dem Verschwinden stand (ich denke wegen ihrer zu spezifischen Natur), habe ich sie umformuliert, um von allgemeinem Interesse zu sein.

bayesian ab-test steffen
quelle

Aus der Sicht der Frequentisten schlägt Original entweder die Kombination oder nicht. Es gibt keine "Chance" oder Wahrscheinlichkeit.

charles.y.zheng

@ charles.y.zheng hm ... Sie können die Leistung eines Tests berechnen, dh die Wahrscheinlichkeit, dass die Nullhypothese unter Annahme der wahren Parameter abgelehnt wird. Wie würden Sie das nennen?

steffen

α

$\alpha$

@ charles.y.zheng das wusste ich;). Wenn Sie der Meinung sind, dass eine solche Wahrscheinlichkeit von Frequentisten nicht berechnet werden kann, können Sie sie als Antwort einreichen. Wenn die Community zustimmt, akzeptiere ich das gerne :).

steffen

@steffen: Das Signifikanzniveau eines Tests lässt sich leicht durch Berechnung oder Simulation ermitteln. Der Leistungspegel eines Tests wird nur in Bezug auf eine bestimmte Alternative definiert. Deshalb ist es nicht möglich, eine allgemeine "Leistung" eines Tests zu berechnen; Ein solcher Begriff kann nicht definiert werden.

charles.y.zheng

Antworten:

Ich werde dies zum Anlass nehmen, einige grundlegende Fragen in Bezug auf den Unterschied zwischen frequentistischen und bayesianischen Statistiken zu erläutern , indem ich häufig auftretende Praktiken vom Bayes-Standpunkt aus interpretiere.

$D_1$ $D_2$ $p_1$ $p_2$ $f_i(p_i)$ $F_i(p_i)$ $p_1 > p_2$

P [p_{1} > p_{2}; f_{1}, f_{2}] = \frac{\int_{0}^{1} \int_{0}^{1} I (p_{1} > p_{2}) P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}{\int_{0}^{1} \int_{0}^{1} P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}

$P[p_1 > p_2;f_1,f_2] = \frac{\int_0^1 \int_0^1 I(p_1 > p_2) P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2)}{\int_0 ^1 \int_0^1 P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2) }$

$f_1(p_1)$ $f_2(p_2)$

$\theta$

$g_{\theta_i}(p_i)$

g_{θ_{i}} (p_{i}) = δ (θ_{i})

$g_{\theta_i}(p_i) = \delta (\theta_i)$

$\theta_i$

P [p_{1} > p_{2}; g_{θ_{1}}, g_{θ_{2}}] = δ_{θ_{1}, θ_{2}}

$P[p_1 > p_2;g_{\theta_1},g_{\theta_2}] = \delta_{\theta_1, \theta_2}$

$\theta_1 = \theta_2$

So schweigt der Frequentist. (Oder macht alternativ die triviale Aussage: "Die Wahrscheinlichkeit liegt zwischen 0 und 1 ...")

charles.y.zheng
quelle

Tut mir leid ich lag falsch. Ich habe schließlich (unter anderem hier ) gelernt , dass Frequentisten nicht einmal Konfidenzintervalle anhand empirischer Daten berechnen dürfen. Daher waren auch meine Follow-up-Ideen (die ich nicht preisgegeben habe), wie ein Frequentist meine Frage beantworten würde, alle falsch. Ich bin jedoch wenig unsicher, da die Frage 4 bekam, aber Ihre Antwort keine einzige Gegenstimme :(.

steffen

Jetzt bin ich nicht zufrieden mit der Vermischung von bayesianischen und frequentistischen Ideen (z. B. wenn Sie sagen, wie häufig mit Prioren umgegangen wird (was sie nicht tun, oder?)). Vielleicht ist die Antwort einfach so, wie Sie es in den Kommentaren angegeben haben: Ein Frequentist kann die Frage nicht beantworten, da sie in seiner Weltanschauung falsch ist (wie Dikran hier schrieb ). Entschuldigen Sie noch einmal, dass Sie Ihnen nicht früher geglaubt haben.

steffen

Vielleicht war meine Interpretation nicht so Mainstream, wie ich glaubte, aber es ist an sich nichts Falsches daran, frequentistische und bayesianische Methoden auf die gleiche Grundlage zu stellen. Siehe Lehmanns und Casellas Theorie der Punktschätzung, in der frequentistische und Bayes'sche Methoden mittels statistischer Entscheidungstheorie verglichen werden.

charles.y.zheng