A / B-Tests in Python oder R [geschlossen]

8

A / B-Tests:

http://20bits.com/articles/statistical-analysis-and-ab-testing/

http://elem.com/~btilly/effective-ab-testing/

Ich bin mit A / B-Tests nicht allzu vertraut, habe mich aber gefragt, ob es in R oder Python bestimmte Pakete / Bibliotheken gibt, mit denen A / B-Tests durchgeführt werden können.

r python ab-test ATMathew
quelle
Bei A / B-Tests geht es hauptsächlich um Versuchspläne. Für das Testen einer Kontingenztabelle stehen ja R viele Pakete zur Verfügung.
Henry
1
Es ist nur ein einfaches faktorielles Design. Wenn Sie nach Ressourcen zur Durchführung statistischer Analysen in Python oder R suchen, können Sie herausfinden, welche Funktionen in welchen Bibliotheken benötigt werden. Ich sehe in den Kommentaren für den 20-Bit-Artikel 'prop.test ()' in R möglicherweise das, wonach Sie suchen.
Andy W

Antworten:

12

Sicher, sowohl für Python als auch für R gibt es einige interessante und verwendbare Pakete / Bibliotheken.

Für Python empfehle ich dringend, diese StackOverflow-Antwort zu lesen, die auf eine Frage zu A / B-Tests in Python / Django gerichtet ist. Es ist eine einseitige Masterarbeit zu diesem Thema.

Akoha ist ein relativ neues (etwas mehr als ein Jahr altes) Paket, das an AB Testing in Django gerichtet ist. Ich habe dieses Paket nicht verwendet, aber es ist anscheinend das am häufigsten verwendete Django-Paket dieses Typs (basierend auf der Anzahl der Downloads). Es ist auf bitbucket erhältlich .

Django-AB ist das andere mir bekannte Django-Paket und das einzige, das ich verwendet habe.

Wie Sie es von Paketen erwarten würden, die ein Webframework unterstützen, bietet jedes ein Mikroframework zum Einrichten, Konfigurieren, Durchführen und Aufzeichnen der Ergebnisse von AB-Tests. Wie zu erwarten, arbeiten beide, indem sie die (Django) -Vorlage (Skelett-HTML-Seite), auf die in der Datei views.py verwiesen wird, dynamisch wechseln .

Für R empfehle ich das Agricolae- Paket, das von einer Universität in Peru verfasst und gepflegt wird. verfügbar auf CRAN. Dies ist Teil der Kernverteilung. (Siehe auch agridat , das aus sehr nützlichen Datensätzen aus abgeschlossenen AB- und Multi-Variate-Tests besteht.)

Soweit ich weiß und ich habe einige Male auf die Agricolae-Dokumentation verwiesen, werden Webanwendungen oder Websites nie als Test- / Analysethema erwähnt. Anhand des Paketnamens können Sie erkennen, dass es sich bei der Domain um Landwirtschaft handelt, aber die Analogie zum Testen im Web ist nahezu perfekt. Dieses Paket ergänzt die beiden Django-Pakete sehr gut, da die Agricolae auf den Anfang (Testdesign und Festlegung des Erfolgs- / Beendigungskriteriums) und das Ende (Analyse der Ergebnisse) des AB-Test-Workflows ausgerichtet sind.

Doug
quelle
2

Abhängig von der Herangehensweise an das Thema bieten die folgenden zwei Alternativen. Das erste ist das traditionelle Chi-Quadrat-Testen für Split-Tests und das zweite ist ein Bayes'scher Ansatz für Split-Tests. Abhängig von den Anforderungen Ihrer organisatorischen Stakeholder für die Analyse können Sie auch beides tun, wenn Sie über die Daten verfügen.

Chi-Quadrat-Test (traditionell) A / B-Test mit Python: http://okomestudio.net/biboroku/?p=2375

Bayesian A / B-Tests mit Python: http://www.bayesianwitch.com/blog/2014/bayesian_ab_test.html

Andrew Owens
quelle