AB-Test vs. Test der Nullhypothese

Ich versuche den Unterschied zwischen zu verstehen

1. Testen der Nullhypothese (dh Testen, dass die Wahrscheinlichkeit eines "Ziels" für 2 verschiedene Populationen gleich ist, ähnlich wie bei prop.test in R)

2. ein A / B-Test unter Verwendung einer Bayes'schen Formel wie hier beschrieben: http://www.evanmiller.org/bayesian-ab-testing.html

Ist da ein Unterschied? Ist man vorzuziehen?

Das Problem, mit dem ich konfrontiert bin, sieht ungefähr so ​​aus:

Kontrollgruppe hat 100.000 Impressionen und 100 Reaktionen Testgruppe hat 50.000 Impressionen und 55 Reaktionen

Ist da ein Unterschied?

prop.test$p_A$$p_B$$Pr(p_B \gt p_A)$

prop.test$p_A = p_B$$Pr(p_B \gt p_A) \approx 0.726$

$p_A, p_B$

1. $p_B$$p_A$$p_B$$\frac{55}{50000} \gt \frac{100}{100000}$
2. $p_B$
3. Es gibt immer noch viele Überschneidungen - es ist denkbar, dass sich die beiden Behandlungen nicht wesentlich unterscheiden.

$0$

Um es noch einmal zu wiederholen: Der p-Wert sagt uns nur, dass die Daten nicht das Ende erreichen, an dem wir davon überzeugt wären, dass ein Unterschied besteht.

Ist man vorzuziehen?

Diese Frage ist ein Beispiel für die breitere Wahl zwischen Bayesian und Frequentist und geht häufig in Meinungsfragen über. Im Allgemeinen glaube ich, dass die Antwort von vielen Faktoren abhängt, einschließlich Anwendung, Zielgruppe und Analystenpräferenz. Hier sind einige Möglichkeiten, um den Unterschied zwischen den beiden zu sehen, die hoffentlich zeigen, wann einer vorzuziehen ist.

Eine schöne Einführung in die Bayes'schen A / B-Tests bringt es so:

Welche dieser beiden Aussagen ist ansprechender:

(1) "Wir haben die Nullhypothese, dass A = B mit einem p-Wert von 0,043 ist, zurückgewiesen."

(2) "Es besteht eine 85% ige Chance, dass A einen 5% igen Anstieg gegenüber B hat."

Die Bayes'sche Modellierung kann Fragen wie (2) direkt beantworten.

Für eine andere Einstellung beschreibt der theoretische Statistiker Larry Wasserman die beiden Denkschulen gut:

Aber zuerst sollte ich sagen, dass Bayesianische und Frequentistische Folgerungen durch ihre Ziele definiert werden, nicht durch ihre Methoden.

Das Ziel der häufig auftretenden Inferenz: Konstruieren Sie ein Verfahren mit Frequenzgarantien. (Zum Beispiel Konfidenzintervalle.)

Das Ziel der Bayes'schen Folgerung: Quantifizieren und manipulieren Sie Ihre Glaubensgrade. Mit anderen Worten, die Bayes'sche Folgerung ist die Analyse von Überzeugungen.

>>> from scipy.special import betaln as lbeta
def probability_B_beats_A(a_A, b_A, a_B, b_B):
...     total = 0.0
...     for i in range(a_B):
...         total += exp(lbeta(a_A+i, b_B+b_A) - log(b_B+i) - lbeta(1+i, b_B) - lbeta(a_A, b_A))
...     return total
>>> probability_B_beats_A(101, 100001 - 100, 56, 50001 - 55)
0.72594700264280843