Die Stichprobengröße ist erforderlich, um zu bestimmen, welche Anzeige die höchste Klickrate aufweist

11

Ich bin von Beruf Software-Designer und arbeite an einem Projekt für einen Kunden. Ich möchte sicherstellen, dass meine Analyse statistisch fundiert ist.

Beachten Sie Folgendes: Wir haben n Anzeigen (n <10) und möchten einfach wissen, welche Anzeige die beste Leistung erbringt. Unser Ad-Server wird zufällig eine dieser Anzeigen schalten. Erfolg ist, wenn ein Nutzer auf die Anzeige klickt - unser Server verfolgt dies.

Gegeben: Konfidenzintervall: 95%

Frage: Wie hoch ist die geschätzte Stichprobengröße? (Wie viele Anzeigen müssen wir insgesamt schalten?), Warum? (Denken Sie daran, ich bin ein Dummy)

Vielen Dank

anova sample-size t-test rule-of-thumb Jonathan
quelle
1
Können Sie klarstellen, was Sie unter "Fehlerquote 5%" verstehen?
Onestop
@onestop - gute Klarstellung - Ich habe es aus der Frage entfernt. Ich habe diese Variable gerade aus dem folgenden Taschengrößenrechner entnommen: raosoft.com/samplesize.html Aber ich denke nicht, dass sie in dieser Frage relevant ist . Vielen Dank!
Jonathan
2
Für viele Tests können Sie eine Stichprobengröße so berechnen, dass der Test bei einer angenommenen (festen) Effektgröße eine bestimmte Leistung erreicht. Mit anderen Worten, Sie müssen zuerst folgende Dinge spezifizieren: 1) Welchen Test möchten Sie verwenden? 2) Welche Kraft soll dieser Test haben? Voraussetzung ist 3) eine Effektgröße, die Sie für interessant halten. 1) ist etwas, bei dem die Leute hier wahrscheinlich helfen können. 2) könnte mit den von Ihnen angegebenen 95% zusammenhängen. 3) ist jedoch etwas, das Sie vorher angeben müssen: Wie unterschiedlich müssen die Wahrscheinlichkeiten sein, um als interessant unterschiedlich angesehen zu werden?
Caracal
Wenn ich hier also mehr Parameter angeben muss, gehen Sie wie folgt vor: 1. Test zur Verwendung - keine Ahnung - haben Sie Vorschläge? 2. Macht : Selbst nachdem ich mir die Wikipedia-Definition angesehen habe, weiß ich nicht, wie ich das intelligent beantworten soll. 3. Effektgröße : Sagen wir 10% besser
Jonathan

Antworten:

1

Der Test, den Sie wahrscheinlich wollen, ist der genaue Test von Fisher . Angesichts der wahrscheinlich sehr niedrigen Klickrate und der geringen erwarteten Effektgröße benötigen Sie leider enorme N, um das gewünschte Konfidenzintervall zu erreichen. Nehmen wir an, die "wahre" Klickrate Ihrer besten Anzeige beträgt .11 und Ihre zweitbeste .1. Angenommen, Sie möchten, dass die Wahrscheinlichkeit, dass Sie die Nullhypothese (dass es keinen Unterschied zwischen den beiden Anzeigen gibt) nicht ordnungsgemäß ablehnen, geringer als 0,20 ist. In diesem Fall benötigen Sie ein N in der Größenordnung von 10.000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Wie ein Kommentator vorgeschlagen hat, sollten Sie sich wahrscheinlich nicht um einen Unterschied von zehn Prozent bei der Anzeigenleistung kümmern. Bei größeren Unterschieden nimmt die erforderliche Größe der Proben schnell ab.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785
fgregg
quelle