Gelten Konfidenzintervalle für Quotenstichproben?

9

Französische Wahlinstitute stehen derzeit vor einer großen Krise, nachdem sie kürzlich eine bislang lächerlichste Umfrage zum Pferderennen der Präsidentschaftswahlen 2012 veröffentlicht haben. Der französische Senat erwägt nun, Gesetze zu diesem Thema zu erlassen, indem er die Wahlinstitute zwingt, unter anderem die Konfidenzintervalle für ihre Ergebnisse zu veröffentlichen.

Allerdings sind einige Demoskopen entgegen die Maßnahme und behaupten , dass Konfidenzintervall gilt nicht zu Quotenauswahl , die das Verfahren durch Umfrageinstitute in Frankreich verwendet wird. Da es sich bei der Quotenstichprobe formal um eine nicht probabilistische Stichprobe handelt, ist die Behauptung zutreffend. Da es sich bei der Quotenstichprobe jedoch um eine grundlegend geschichtete Stichprobe handelt , sollten Konfidenzintervalle gelten, oder?

Darf ich um Erfahrungen zu diesem Thema außerhalb Frankreichs bitten, in Ländern, in denen Meinungsforscher auch Quotenstichproben verwenden?

Fr.
quelle
5
Die Quotenstichprobe unterscheidet sich in genau dieser Hinsicht von der geschichteten Stichprobe: Im Gegensatz zur Auswahl in einer geschichteten Stichprobe bedeutet die mangelnde Zufälligkeit bei der Quotenstichprobe, dass wir keine mangelnde Verzerrung sicherstellen können. Also: Vielleicht können Sie keine CIs für Schätzungen aus Quotenstichproben erstellen, aber Sie können Intervalle für die Verzerrung festlegen. Leider reicht die Tendenz von fast -100% bis fast + 100%, es sei denn, die Stichprobe macht einen erheblichen Teil der Bevölkerung aus. Aus diesem Grund wurden Quotenstichproben seit langem diskreditiert ("Dewey besiegt Truman" usw.). Vorbehalt Emptor.
whuber
Umfrageteilnehmer behaupten, dass Quotenstichproben, die in Frankreich der Industriestandard sind, auch in Großbritannien und den südeuropäischen Staaten weit verbreitet sind. Ich frage mich, ob Großbritannien wirklich Quotenstichproben verwendet und warum Quotenstichproben überhaupt verwenden, wenn die Verzerrung nicht behebbar ist.
Fr.
1
@Fr Quota Sampling ist einfacher durchzuführen als Zufallsstichproben: Der Meinungsforscher kann angeben, welche Arten von Themen benötigt werden und wie viele zu interviewen sind, Interviewer mit diesen Anweisungen auf die Straße schicken und auf einfache Weise überprüfen, ob die Arbeit korrekt ausgeführt wurde: keine Notwendigkeit die schwierige Arbeit eines Stichprobenrahmen Festlegung, Ziehen einer Zufallsstichprobe von ihm, die Jagd nach seinen Mitgliedern, der Jagd nach nonrespondents zu tun , etc . Quota Sampling ist ein Lehrbuch- Aushängeschild für veraltete, bekanntermaßen schlechte Stichprobenverfahren: siehe beispielsweise math.uah.edu/stat/data/1948Election.pdf .
whuber
@whuber: Danke für die Details. Ich wusste von der Geschichte "Dewey besiegt Truman". Ich bezweifle immer noch, dass britische Wahlinstitute tatsächlich Quotenstichproben verwenden, wie in dem zuvor zitierten Dokument behauptet, und dies überprüfen müssten. Es wäre interessant zu wissen, welche Branchenstandards in den größten Ländern unterschiedlich sind. Ich weiß, dass die meisten Daten, die ich von ICPSR herunterlade, Random Digit Dialing sind.
Fr.
1
Viele Nicht-Experten (dh Leute, die die statistische Theorie hinter der Stichprobe nicht verstehen) werfen den Begriff "Quotenstichprobe" um, ohne wirklich zu wissen, was er bedeutet. Dies könnte die Behauptung erklären, dass dies in Großbritannien und Südeuropa üblich ist.
Abe

Antworten:

6

Wie Whuber sagt, lautet die kurze Antwort, dass Quotenstichproben das "Aushängeschild für veraltete, bekanntermaßen schlechte Stichprobenverfahren" sind und "seit langem diskreditiert wurden". Die längere Antwort lautet, dass es Bedingungen geben kann, unter denen "quotenähnliche" Stichproben einigermaßen gut funktionieren können.

In Anhang A werden kürzlich Arbeiten zur Rekonstruktion repräsentativer Ergebnisse von Opt-In-Internet-Panels vorgestellt. Dieses Papier gibt die statistische Grundlage für diesen Ansatz. Um es kurz zu machen, typische Stichprobenverfahren 1) Ziehen Sie eine Zufallsstichprobe, 2) versuchen Sie, Probanden zu rekrutieren, und 3) fügen Sie nach der Schichtung Gewichte hinzu, um Unterschiede in der Antwort auszugleichen. Beim Opt-In-Ansatz rekrutieren Sie 1) Probanden nicht zufällig, 2) vergleichen die Antworten mit einer repräsentativen Basislinie und 3) fügen Gewichte hinzu, um die Unterschiede auszugleichen.

In Bezug auf die Praxis ähnelt die Opt-In-Stichprobe der Quotenstichprobe, die statistische Grundlage ist jedoch weiter entwickelt. Der Vorteil ist, dass Sie Angaben zu repräsentativen Stichproben, Konfidenzintervallen usw. machen können. Der Nachteil ist, dass Ihre Angaben auf schwer zu überprüfenden Annahmen darüber beruhen, wie Personen sich selbst in Ihre Stichprobe auswählen.

Viele Leute stehen diesen Methoden skeptisch gegenüber - sie klingen zu sehr nach Quotenstichproben. Aber einige Hinweise legen nahe , dass Opt-in - Sampling gut funktionieren kann zumindest einen Teil der Zeit. Trotz der Kontroverse scheint es Polimetrix / YouGov (einem frühen Anwender des Opt-In-Stichprobenmodells) einigermaßen gut zu gehen. Unter anderem haben sie die gesamte Datenerfassung für die Cooperative Congressional Election Study durchgeführt , eine Reihe kürzlich durchgeführter akademischer nationaler US- Wahlstudien .

(Ich bin mir ziemlich sicher, dass ICPSR diese Daten enthält. Wenn nicht, ist dies bei Harvards sozialwissenschaftlicher Datenversion sicherlich der Fall. Viele Wissenschaftler verwenden Daten aus diesen Stichproben.)

Wie auch immer, Sie haben nach Quotenstichproben gefragt. Wie Sie bereits im Kommentarthread hier sehen können, wird Ihnen jeder gut ausgebildete Meinungsforscher sagen, dass es sich bei der Quotenauswahl um eine Koje handelt. Die Jury ist immer noch nicht in der Opt-In-Stichprobe. Wenn Sie vorerst Konfidenzintervalle um Quotenstichproben ziehen möchten, würde ich sagen, dass diese Methoden die beste Wahl sind.

Abe
quelle
Danke für die ausführliche Antwort. Ich habe die folgenden Punkte darin markiert: (1) In Ihrem Beispiel wird die Quotenstichprobe für die Internetstichprobe verwendet. Aus diesem Zusammenhang gibt es keinen Grund, es über Zufallsstichproben durch RDD oder gleichwertige Techniken zu verwenden. (2) Auch in dem von Ihnen beschriebenen Kontext bleibt es sehr kontrovers. Um auf meine Frage zurückzukommen: Französische Meinungsforscher, die die Quotenauswahl für all ihre Arbeiten rechtfertigen, sind einfach albern oder kennen die Stichprobentheorie oder beides nicht.
Fr.
"Französische Meinungsforscher, die Quotenstichproben für all ihre Arbeiten rechtfertigen, sind einfach albern oder kennen die Stichprobentheorie oder beides nicht." Klingt für mich ungefähr richtig.
Abe
Nun, ich überprüfe "Beantwortet". Vielen Dank für Ihre Zeit und detaillierte Referenzen.
Fr.
2
  1. In den meisten nicht obligatorischen Umfragekontexten besteht ein erhebliches Problem mit der Nichtbeantwortung. Dies aus dem Jahr 2002: "Die kürzlich gemeldete Schätzung der Kooperationsraten bei Umfragen durch CMOR, den Rat für Markt- und Meinungsforschung [USA], betrug durchschnittlich nur 14,7 Prozent." und von Paul Gerhold: "Ich glaube, dass es immer noch möglich ist, Zufallsstichproben zu ziehen. Ich glaube einfach nicht, dass es möglich ist, sie auszuführen." In diesem Zusammenhang ist die Tatsache, dass die SAMPLE zufällig ist, nicht sehr relevant, da die resultierenden Daten nicht relevant sind.

  2. Dies macht die Bias-Anpassung zum Hauptproblem bei der gültigen Schätzung, und das Design von Feldmethoden ist eine wichtige Komponente. Die Art und Weise, wie man dies tun möchte, und die daraus resultierenden Vertrauensschätzungen gehen weit über das hinaus, was hier diskutiert werden kann.

Radfahrer
quelle