Schätzung des vergleichenden Erfolgs verschiedener Broschüren

Das Problem der realen Welt

Einer meiner Kunden bereitet sich darauf vor, einen Direktmailer an seine abonnierte Benutzerliste zu senden, und diese statistische Herausforderung wurde gestellt.

Das Marketing-Team verfügt über 3 verschiedene Broschüren und möchte wissen, welche Broschüre die höchste Rücklaufquote erzielt. Sie möchten auch wissen, ob das Senden des Mailers mit einer handgeschriebenen Adresse auf einem dicken Umschlag die Ergebnisse im Vergleich zu einem normalen Umschlag verbessert.

Nehmen wir Folgendes an:

Für jede Broschüre ( ) antwortet eine Person, die diese Broschüre erhält, die sie tatsächlich öffnet und liest, mit der Wahrscheinlichkeit , wobei die wahre Antwortrate für diese Broschüre ist $b_i$ $i = 1,2,3$ $r_i$ $r_i$
Die dicken, hochwertigen Umschläge haben eine echte Öffnungsrate von während normale Umschläge eine Öffnungsrate von $o_{thick}$ $o_{normal}$
Aus früheren Mailings erwarten wir, dass die tatsächlich beobachteten Rücklaufquoten zwischen etwa 1% und 5% liegen werden.

Unsere Ziele

Wir möchten die beste Broschüre finden und gleichzeitig die geringste Anzahl von Mailern versenden. Wir wollen auch die beiden Öffnungsraten schätzen.

Wenn bei der Erfassung empirischer Antwortraten von tatsächlich gesendeten Mailern der wahre Unterschied zwischen den Antwortraten größer als ein halbes Prozent ist, sollten wir in der Lage sein, diesen Unterschied als statistisch signifikant mit $r_i$ $p < .05$

Meine Gedanken bisher

Wir weisen jeder der 3 Broschüren zufällig Benutzer zu, sodass Benutzer jede Broschüre erhalten. Wir möchten wissen, welches wir benötigen, um unsere gewünschte Empfindlichkeit beim Erkennen von Unterschieden in den Antwortraten zu erreichen. Im schlimmsten Fall müssen wir in der Lage sein, einen Unterschied zwischen den tatsächlichen Raten von 1% und 1,5% festzustellen. Die SD für diesen Unterschied ist . Wenn Sie die doppelte Menge (2 Standardabweichungen geben uns 95% iges Vertrauen) auf 0,005 (unser gewünschtes halbes Prozent) einstellen, erhalten Sie die Lösung . $N$ $N$ $\sqrt{\frac{(.01*.99) + (.015*.985)}{N}}$ $N = 3948$

Fragen

Ist das das optimale Design oder können wir es besser machen?
Ist meine Berechnung von korrekt? $N$

Was ist schließlich der beste Weg, um und oder einfach den Unterschied zwischen den beiden zu schätzen ? $o_{normal}$ $o_{thick}$

Meine Idee war es, jedem Umschlagtyp zufällig die Hälfte jeder Broschürengruppe zuzuweisen. Innerhalb jeder Broschürengruppe wären die beobachteten Rücklaufquoten das Produkt der Öffnungsquoten und des . Dies würde meine Berechnung von oben erschweren , da ich dieses Produkt eigentlich in meiner Berechnung hätte verwenden sollen. $r_i$ $N$

Meine Antwort würde dann von einer Schätzung der durchschnittlichen abhängen - - die ich erraten müsste. Ich bin mir auch nicht sicher, wie ich die Verteilung der Differenz zwischen und bestimmen soll , da wir jetzt drei verschiedene Schätzungen dieser Differenz haben, von denen jede von einem anderen abhängt , von denen jede wir haben nur empirische Schätzungen von empirischen Schätzungen, die selbst von unserer Schätzung der durchschnittlichen Öffnungsrate abhängen. $\frac{o_{normal} + o_{thick}}{2}$ $o_{normal}$ $o_{thick}$ $r_i$

Vielen Dank für jede Hilfe dabei.

hypothesis-testing anova statistical-significance Jona
quelle

Hier ist ein Gedankenexperiment, das Sie berücksichtigen sollten, bevor Sie zu weit gehen: Nehmen Sie zwei Szenarien an, A und B. In Szenario A erhält jeder Empfänger seine E-Mail, öffnet sie und wirft dann eine Münze mit der Wahrscheinlichkeit , um zu entscheiden, ob er antworten soll. In Szenario B sehen Ihre Empfänger die E-Mails, die sie erhalten, werfen eine Münze mit der Wahrscheinlichkeit und öffnen die E-Mails, wenn sie auftauchen. Sie reagieren eifrig auf Angebote in der Mail, die sie öffnen, und verwerfen alle Mail, die sie nicht öffnen.

r_{i}

$r_i$

r_{i}

$r_i$

Kardinal

Hey Kardinal, mein Gedanke ist, dass das genaueste Modell tatsächlich eine Mischung aus A und B ist. Überlegen Sie, wie Sie tatsächlich mit Junk-Mail umgehen. Persönlich werde ich, basierend auf dem Umschlag und dem Poststempel, das meiste einfach ungeöffnet wegwerfen. Aber wenn ich es öffne, muss das Marketing meine Aufmerksamkeit erregen und mich überzeugen. Wenn wir unseren Mailer als Helden auf einer Suche betrachten, muss er zwei unabhängige Drachen töten, um die Prinzessin zu retten. Und als Testdesigner versuchen wir, die relative Fitness verschiedener Helden zu messen, um diese 2 verschiedenen Drachen zu töten.

Jonah

Ich stimme zu, dass die Leute im Allgemeinen nicht so extrem handeln, aber der Sinn der Einführung der Szenarien bestand darin, einige Gedanken darüber anzuregen, was aus Ihren Daten geschätzt werden kann und was nicht (ohne zusätzliche implizite und möglicherweise recht starke Annahmen einzuführen). In einem Szenario stammt die beobachtete Antwortrate vollständig aus einer zufälligen Antwortentscheidung, während sie im zweiten Szenario vollständig aus einer zufälligen Mailöffnungsentscheidung stammt!

Kardinal

Ich denke, das einfachere Modell, das Ihr Gedankenexperiment vorschlägt, führt zu einem Problem, das viel einfacher zu lösen ist. Ich kann einfach darüber nachdenken, 6 Szenarien (jeden Umschlag mit jeder Broschüre) zu testen und Unterschiede mit einer Methode zu testen, die der im Abschnitt "Meine Gedanken ..." ähnelt. Ich vermute jedoch, dass dies dazu führen wird, dass mehr Mailer als eine Lösung für das komplexere zweistufige Modell gesendet werden. Das Problem ist, dass ich nicht weiß, zu welcher Verteilung dieses zweistufige Modell führt, also weiß ich nicht, wie ich es testen soll - daher der Beitrag :)

Jonah

Schätzung des vergleichenden Erfolgs verschiedener Broschüren

Das Problem der realen Welt

Unsere Ziele

Meine Gedanken bisher

Fragen

Antworten: