Ignoriert SurveyMonkey die Tatsache, dass Sie eine nicht zufällige Stichprobe erhalten?

11

SurveyMonkey verfügt über Schritte und ein Diagramm, mit denen Sie anhand Ihrer Bevölkerungsgröße herausfinden können, welche Stichprobengröße Sie für eine bestimmte Fehlerquote oder ein bestimmtes Konfidenzintervall benötigen.

SurveyMonkey-Stichprobengröße

Ignoriert diese Tabelle einfach die Tatsache, dass Sie keine Zufallsstichprobe erhalten, da Sie nur die Personen erhalten, die sich die Mühe machen, auf die Umfrage zu antworten?

Während ich dies tippe, werde ich gewarnt, dass die Frage subjektiv erscheint. Vielleicht stelle ich sie nicht richtig. Es geht nicht wirklich um SurveyMonkey, sondern um eine allgemeinere Frage: Können Sie Konfidenzintervalle aus freiwilligen Antwortdaten mithilfe einiger fortschrittlicher Techniken berechnen, die ich nicht kenne?

Bei Exit-Umfragen oder nationalen Umfragen müssen sie sich offensichtlich mit diesem Problem befassen. In meiner Ausbildung habe ich mich nicht eingehend mit Stichprobenverfahren befasst, aber ich gehe davon aus, dass demografische Daten gesammelt und anhand dieser Daten ermittelt werden müssen, wie repräsentativ Ihre Stichprobe ist.

Abgesehen davon gehen sie bei einer einfachen Online-Umfrage nur davon aus, dass die Personen, die sich die Mühe machen, zu antworten, eine Zufallsstichprobe der Bevölkerung sind?

matt
quelle

Antworten:

10

Die kurze Antwort lautet Ja: Survey Monkey ignoriert genau, wie Sie Ihre Probe erhalten haben. Survey Monkey ist nicht klug genug anzunehmen, dass das, was Sie gesammelt haben, keine Convenience-Stichprobe ist, aber praktisch jede Survey Monkey-Umfrage ist eine Convenience-Stichprobe. Dies führt zu massiven Diskrepanzen bei genau dem, was Sie schätzen, was durch keine bloße Stichprobe beseitigt werden kann / wird. Einerseits könnten Sie eine Population (und Assoziationen darin) definieren, die Sie von einem SRS erhalten würden. Auf der anderen Seite könnte man eine Bevölkerung , die durch Ihre Nicht-Zufallsstichproben definieren, die Verbände dort Sie könnenSchätzung (und die Potenzregeln gelten für solche Werte). Es liegt an Ihnen als Forscher, die Diskrepanz zu diskutieren und den Leser genau entscheiden zu lassen, wie gültig die nicht zufällige Stichprobe für die Annäherung an einen realen Trend sein könnte.

Biasn=θθ^nθ^pθθ^pθin der Wahrscheinlichkeitstheorie. Experten für Studiendesign (wie Epidemiologen) haben die schlechte Angewohnheit, Inkonsistenz als "Voreingenommenheit" zu bezeichnen. In diesem Fall handelt es sich um eine Auswahlverzerrung oder eine freiwillige Verzerrung. Es ist sicherlich eine Form von Voreingenommenheit, aber Inkonsistenz impliziert, dass keine Stichprobenmenge jemals das Problem beheben wird.

Um Assoziationen auf Bevölkerungsebene anhand von Convenience-Stichprobendaten zu schätzen, müssten Sie den Stichprobenwahrscheinlichkeitsmechanismus korrekt identifizieren und in all Ihren Schätzungen die inverse Wahrscheinlichkeitsgewichtung verwenden. In sehr seltenen Situationen ist dies sinnvoll. Die Identifizierung eines solchen Mechanismus ist in der Praxis nahezu unmöglich. Eine Zeit, in der dies möglich ist, ist eine Kohorte von Personen mit vorherigen Informationen, die angesprochen werden, um eine Umfrage auszufüllen. Die Wahrscheinlichkeit einer Nichtbeantwortung kann als Funktion dieser vorherigen Informationen geschätzt werden, z. B. Alter, Geschlecht, SES, ... Die Gewichtung gibt Ihnen die Möglichkeit, die Ergebnisse in der Nicht-Antwortendenpopulation zu extrapolieren. Die Volkszählung ist ein gutes Beispiel für die Beteiligung der inversen Wahrscheinlichkeitsgewichtung für solche Analysen.

AdamO
quelle
2
Könnten Sie etwas näher darauf eingehen, inwieweit eine Convenience-Stichprobe als inkonsistent, aber nicht voreingenommen angesehen werden kann ? Historisch gesehen haben sich viele Convenience-Beispiele als stark voreingenommen herausgestellt (und "voreingenommen" ist genau der Begriff, mit dem die Leute sie beschrieben haben): Die Literary Digest-Umfrage von 1936 ist vielleicht das berühmteste Beispiel.
whuber
1
@whuber Verzeihen Sie meine "inkonsistente" Verwendung der Terminologie. Ich ging davon aus, dass die Verzerrung in großen Stichproben wegfällt, während inkonsistente Schätzungen in großen Stichproben niemals konvergieren. In der Probentheorie gibt es nur wenige Beispiele für inkonsistente Schätzer, aber aus Sicht des Studiendesigns tauchen sie immer wieder auf. Interessanterweise neigen Epidemiologen dazu, diese "Verzerrung" (dh Selektionsverzerrung) zu nennen. Die Frage nach den Postern schien jedoch darauf hinzudeuten, dass "mehr Stichproben" die Verzerrung verringern würde, wie dies bei einer Verzerrung vom Typ der Wahrscheinlichkeitstheorie der Fall sein könnte.
AdamO
Ich bin mir nicht sicher, ob ich das alles verstanden habe. Lassen Sie mich also auf einen kleinen Teil eingehen: Behaupten Sie (oder nicht), dass größere [Convenience] Samples die Verzerrung verringern? Ich hoffe du bist es nicht, denn das ist sicherlich falsch! (Dies ist ein Grund, warum die Literary Digest-Umfrage berüchtigt ist: Sie ist eine der größten, die jemals durchgeführt wurde, und zeigte auch eine der größten Vorurteile.)
whuber
5
In der Tat nicht! Eine stärkere Abtastung würde eine solche intrinsische Verzerrung nicht beseitigen. Das ist das Problem hier. Das Poster interessiert sich für die Leistung zur Schätzung der Populationsassoziation mit einer nicht zufälligen Stichprobe, und mein Punkt ist, dass Sie immer 0 Leistung haben, um dies abzuschätzen (es sei denn, es werden sehr sorgfältige und komplexe Gewichtungsmechanismen angewendet).
AdamO
1
Vielen Dank für den letzten Kommentar; es klärt einen Teil Ihrer Antwort auf, den ich sonst möglicherweise falsch interpretiert hätte. (+1)
whuber