Ich führe einen AB-Test auf einer Seite durch, die nur 5.000 Besuche pro Monat erhält. Es würde zu lange dauern, bis das Verkehrsniveau erreicht ist, das erforderlich ist, um einen Unterschied von + -1% zwischen Test und Kontrolle zu messen. Ich habe gehört, dass ich Bayes'sche Statistiken verwenden kann, um eine gute Chance zu haben, festzustellen, ob der Test eine Outperformance erzielt hat. Wie kann ich Bayes'sche Statistiken verwenden, um meine aktuellen Daten zu analysieren?
Visitors Conversions
Control 1345 1165
Test A 961 298
Test B 1274 438
bayesian
hypothesis-testing
ab-test
Bi-Gnomial
quelle
quelle
Antworten:
Ich arbeite mich durch die gleichen Fragen. Es gibt jetzt einige hilfreiche Artikel, die nicht verfügbar waren, als Sie diese Frage stellten.
„Bayesian A / B - Tests mit Theorie und Code“ von Antti Rasinen - die logische Schlussfolgerung einer unvollendeten Reihe von Artikeln Serie „Exact Bayesian Inference für A / B - Tests“ von Evan Haas (hier teilweise gerettet Teil1 und Teil2 ).
"Kapitel 2: Ein bisschen mehr über PyMC" aus dem Buch "Bayesian Methods for Hackers" von Cam Davidson Pilon - Dies ist ein iPython-Buch, das Bayesian-Methoden in einer Reihe von Anwendungen erklärt. Ungefähr zur Hälfte von Kapitel 2 (der Titel des Abschnitts lautet Beispiel: Bayesian A / B-Test ) gibt der Autor eine detaillierte Erklärung, wie die Wahrscheinlichkeit berechnet wird, dass A besser als B ist (oder umgekehrt), indem er die Pymc- Bibliothek verwendet. Es wird der vollständige Python-Code angegeben, einschließlich des Zeichnens der Ergebnisse.
Es gibt jetzt auch eine Reihe von Bayes'schen Signifikanzrechnern online:
quelle
Sie können eine Monte-Carlo-Integration der glaubwürdigen Intervalle jeder Gruppe durchführen, die durch Beta-Verteilungen dargestellt werden, um die Wahrscheinlichkeit zu berechnen, dass der wahre unbekannte Parameter einer Gruppe besser ist als der wahre unbekannte Parameter einer anderen Gruppe. Ich habe in dieser Frage etwas Ähnliches getan. Wie berechnet ein Frequentist die Wahrscheinlichkeit, dass Gruppe A Gruppe B in Bezug auf die binäre Antwort schlägt, wobei Versuche = Besucher und erfolgreiche Versuche = Conversions
ABER: Beachten Sie, dass Bayes Ihnen nur subjektive Wahrscheinlichkeiten gibt, abhängig von den bisher gesammelten Daten, nicht von der objektiven "Wahrheit". Dies beruht auf dem Unterschied in der Philosophie zwischen Frequentisten (die statistische Tests, p-Werte usw. verwenden) und Bayesianern. Daher können Sie nicht erwarten, mit Bayes einen signifikanten Unterschied festzustellen, wenn die statistischen Verfahren dies nicht tun.
Um zu verstehen, warum dies wichtig ist, kann es hilfreich sein, zuerst den Unterschied zwischen dem Konfidenzintervall und dem glaubwürdigen Intervall zu lernen, da die oben erwähnte MC-Integration "nur" zwei unabhängige glaubwürdige Intervalle miteinander vergleicht.
Für weitere Details zu diesem Thema siehe zB folgende Fragen:
quelle
Es gibt verschiedene Ansätze für Bayes'sche A / B-Tests.
Zunächst sollten Sie entscheiden, ob Sie einen analytischen Ansatz (unter Verwendung von konjugierten Verteilungen, wie Lenwood erwähnt) oder einen MCMC-Ansatz verwenden möchten. Für einfache A / B-Experimente, insbesondere für die Conversion-Rate, die Ihr Fall ist, ist es wirklich nicht erforderlich, einen MCMC-Ansatz zu verwenden: Verwenden Sie einfach eine Beta-Verteilung als vorherige und Ihre hintere Verteilung wird auch eine Beta-Verteilung sein.
Dann müssen Sie entscheiden, welche Entscheidungsregel angewendet werden soll. Hier scheint es zwei Hauptansätze für die Entscheidungsfindung zu geben. Die erste basiert auf einer Arbeit von John Kruschke von der Indiana University (K. Kruschke, Bayesian Estimation ersetzt den t-Test , Journal of Experimental Psychology: General, 142, 573 (2013)). Die in diesem Dokument verwendete Entscheidungsregel basiert auf dem Konzept der Region of Practical Equivalence (ROPE).
Eine andere Möglichkeit besteht darin, das Konzept eines erwarteten Verlusts zu verwenden. Es wurde von Chris Stucchio (C. Stucchio, Bayesian A / B Testing bei VWO ) vorgeschlagen.
Grundsätzlich können Sie eine andere Entscheidungsregel verwenden.
Dies und vieles mehr finden Sie in diesem Blogbeitrag: Bayesian A / B Testing: Eine Schritt-für-Schritt-Anleitung . Es enthält auch einige Python-Code-Schnipsel und verwendet ein Python-Projekt, das auf Github gehostet wird .
quelle