Gibt es eine bekannte Tendenz bei Telefonumfragen in den USA?

Ich habe mir eine WashingtonTimes / ABC-Umfrage angesehen, und die Aufschlüsselung der Ergebnisse, insbesondere nach Alter, schien mir überraschend. Also suchte ich nach Voreingenommenheit.

Es hieß: "Die Umfrage wurde telefonisch vom 11. bis 14. Dezember 2014 unter einer Zufallsstichprobe von 1.000 Erwachsenen durchgeführt. Die Interviews wurden auf Englisch und Spanisch über Festnetz und Mobiltelefon durchgeführt."

Die Umfrage ergab nicht die Anzahl der Befragten in jeder Altersgruppe, und mein erster Gedanke war, welche Art von 18- bis 29-Jährigen zu Hause ist, um ans Telefon zu gehen?! OK, sie enthalten Mobilfunk, das macht es ein bisschen fairer. Aber dennoch, welche Art von 18-29-Jährigen antwortet auf ihr Handy, wird gefragt, ob sie an einer Umfrage teilnehmen möchten, und sagt "Ja, sicher".

(Ich meine das nicht als rhetorische Frage; meine Vermutung ist, dass bestimmte Gruppen viel wahrscheinlicher sind, z. B. könnte jemand mit geringem Selbstwertgefühl den Prozess genießen, von einem Fremden telefonisch nach seiner Meinung gefragt zu werden.)

Gibt es also Forschungsergebnisse zu diesem Thema? Würde eine Organisation, die daran interessiert ist, die öffentliche Meinung zu manipulieren, eine Telefonumfrage, Online-Umfragen oder Interviews auf der Straße wählen, wenn sie nach einer bestimmten Tendenz wäre?

Es gibt eine schöne Studie von Pew, in der untersucht wird, wie stark die Rücklaufquoten gesunken sind und welche Auswirkungen dies hat.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Eine neue Studie des Pew Research Center für Menschen und Presse ergab, dass Telefonumfragen, die Festnetz- und Mobiltelefone umfassen und nach der demografischen Zusammensetzung der Bevölkerung gewichtet sind, trotz sinkender Rücklaufquoten weiterhin genaue Daten zu den meisten politischen Themen liefern , soziale und wirtschaftliche Maßnahmen. Dies steht im Einklang mit der konsistenten Aufzeichnung der Genauigkeit, die durch große Umfragen erzielt wurde, unter anderem bei der Schätzung der Wahlergebnisse.

"Dies bedeutet nicht, dass rückläufige Rücklaufquoten keine Konsequenzen haben. Ein wesentlicher Bereich potenzieller Nicht-Rücklauf-Verzerrungen, der in der Studie festgestellt wurde, besteht darin, dass die Umfrageteilnehmer tendenziell wesentlich stärker an bürgerschaftlichen Aktivitäten beteiligt sind als diejenigen, die nicht teilnehmen, was bestätigt, was vorher war Untersuchungen haben gezeigt, dass freiwillige Helfer eher bereit sind, an Umfragen teilzunehmen als diejenigen, die diese Dinge nicht tun. Dies hat schwerwiegende Auswirkungen auf die Fähigkeit einer Umfrage, Verhaltensweisen im Zusammenhang mit Freiwilligenarbeit und bürgerschaftlichen Aktivitäten genau einzuschätzen. Zum Beispiel telefonische Umfragen kann Verhaltensweisen wie den Kirchenbesuch, die Kontaktaufnahme mit gewählten Beamten oder die Teilnahme an Wahlkampfveranstaltungen überschätzen. "

Gibt es eine bekannte Tendenz bei Telefonumfragen in den USA?

Ja, es gibt eine bekannte Tendenz bei Telefonumfragen in den USA: Mobiltelefone.

Lange Zeit war der Goldstandard für randomisierte Telefonumfragen in den USA das Wählen von Zufallszahlen: Maschinen generierten zufällige Telefonnummern und Umfrageteilnehmer stellten Fragen an jeden, der sie abholte. Unter der Annahme, dass jeder ein und nur ein Telefon hatte, war die Umfrage eine einfache Zufallsstichprobe von Telefonbesitzern.

Die Ankunft von Mobiltelefonen änderte jedoch Folgendes: Viele Menschen, insbesondere junge Menschen, haben kein Festnetz. Selbst innerhalb bestimmter Bevölkerungsgruppen (Altersgruppe, Geschlecht, Rasse) haben diese Nur-Handy-Bevölkerungsgruppen unterschiedliche politische Einstellungen gegenüber Bevölkerungsgruppen mit Festnetzanschluss oder beiden Telefontypen. Da es für automatisierte Dialer illegal ist, Mobiltelefone anzurufen, führt dies zu Chaos bei Umfragen.

Für Meinungsforscher bedeutet dies, dass sie Menschen benutzen müssen, um alle Handys anzurufen, was offensichtlich viel teurer ist. Die Umfrageteilnehmer müssen also a priori entscheiden, wie viele Mobiltelefone sie anrufen müssen, um die Kosten zu kontrollieren. Die Anzahl der Mobiltelefonanrufe muss auf wissenschaftlich fundierte Weise gegen die Anzahl der automatischen Festnetzanrufe abgewogen werden. Dabei werden genügend Häuser nur für Mobiltelefone, Häuser nur für Festnetzanschlüsse und Häuser gewählt, wobei beide im Verhältnis zu ihrer Häufigkeit in der Bevölkerung stehen, ohne dass dies der Fall ist ihr Budget überschreiten!

Die Wirkung von Mobiltelefonen ist wahrscheinlich nicht die Quelle potenzieller Verzerrungen.

Ich vermute, dass die Umfrageteilnehmer, die in der Washington Times / ABC-Umfrage verwendet wurden, sich all dessen bewusst sind, da es so ziemlich das Thema ist, mit dem sich alle zeitgenössischen politischen Umfragen heute befassen , wie man eine Zufallsstichprobe im Lichte des "Handy-Effekts" erstellt . Es ist also wahrscheinlich, dass die Umfrageteilnehmer Schritte unternommen haben, um den "Handy-Effekt" in dieser Umfrage abzuschwächen. Vielleicht hatten die Umfrageteilnehmer jedoch einen schlechten Tag und ihre zufällige Wahl von Mobiltelefonnummern ergab nicht genügend tatsächliche Antworten.

Wenn eine Verzerrung vorliegt, können dies die Stichprobengewichte sein.

Eine weitere mögliche Quelle für Verzerrungen bei diesen Umfragen ist die Stichprobengewichtung. Das Ziel der Gewichtung von Stichproben besteht darin, die Anzahl der Personen zu verringern, die Sie in verschiedenen (Kombinationen von) demografischen Gruppen erreichen müssen, indem verschiedenen Bevölkerungsgruppen unterschiedliche Gewichte zugewiesen werden. Dies führt natürlich zu der Frage "Woher wissen Sie, dass Sie die Probe richtig gewichtet haben?" Aus diesem Grund werden einige Wahlbüros Schätzungen haben, die durchweg über / unter denen anderer Wahlbüros liegen: Sie haben unterschiedliche Methoden zur Gewichtung ihrer Stichprobe und ziehen das Ergebnis durchweg in eine bestimmte Richtung.

Dies ist ein Beispiel für den Bias-Varianz-Kompromiss. Die Umfrageteilnehmer könnten eine kleine, einfache Zufallsstichprobe verwenden, um eine Schätzung mit hoher Varianz zu erhalten. Oder sie könnten Gewichte verwenden, um die Varianz der Schätzung aus der kleinen Stichprobe zu verringern, jedoch auf Kosten der (statistischen) Verzerrung.

Meinungsforscher (und Statistiker im Allgemeinen) müssen sich alle auf die eine oder andere Weise mit dem Bias-Varianz-Kompromiss auseinandersetzen. Das bedeutet nicht unbedingt, dass sie böswillig sind oder versuchen, die Öffentlichkeit zu manipulieren.

Alternative Erklärungen gibt es zuhauf.

Es gibt viele Möglichkeiten, eine Umfrage versehentlich oder absichtlich durcheinander zu bringen. Das Umformulieren einer Frage kann zu unterschiedlichen Antworten zwischen verschiedenen Gruppen führen. Push-Polling, bei dem Fragen gestellt werden, um eine bestimmte Antwort hervorzurufen, ist das offensichtlichste und schändlichste Beispiel dafür.

Würde eine Organisation, die daran interessiert ist, die öffentliche Meinung zu manipulieren, eine Telefonumfrage, Online-Umfragen oder Interviews auf der Straße wählen, wenn sie nach einer bestimmten Tendenz wäre?

Diese Frage ist nicht ganz statistisch, da sie Spekulationen über die Motive und Methoden einer hypothetischen, böswilligen Entität erfordert. Ich kann es nur teilweise beantworten.

Die Befragung von Menschen auf der Straße ist nicht wirklich zufällig und wahrscheinlich voreingenommen (in dem Sinne, dass einige Gruppen in größerem Anteil als andere einbezogen werden).

Das Ziel der Zufallswahl ist es, einen Zustand zu erreichen, in dem jeder die gleiche Auswahlwahrscheinlichkeit hat. Wenn Sie zu einer Straßenecke gehen und Leute interviewen, wird dies nicht ganz erreicht, da Sie dazu neigen, Leute einzubeziehen, die in der Nähe leben und arbeiten. Wenn Sie in Washington, DC, auf eine Straße gehen, haben Sie fast keine Chance, eine Person auszuwählen, die nicht aus DC, Maryland oder Virginia stammt.

Überlegen Sie außerdem, in welche Straße Sie gehen. Die Befragung von Menschen auf der Straße im Stadtteil Cleveland Park in Washington, DC, unterscheidet sich erheblich von der Befragung von Menschen auf der Straße in Anacostia: Diese Orte weisen eine sehr unterschiedliche demografische Zusammensetzung auf.

Online-Umfragen sind nicht wirklich zufällig, aber es ist unklar, ob es schlimmer ist als telefonische Umfragen.

Die Bevölkerung von Personen, die sich für eine Online-Umfrage anmelden, ist eine sich selbst auswählende Bevölkerung, die nicht unbedingt zufällig aus allen potenziellen Befragten ausgewählt wird. Traditionelle Meinungsforscher, die Telefonumfragen bevorzugen, stehen Online-Umfragen aus diesem Grund sehr skeptisch gegenüber. Menschen wie Andrew Gelman sind sich jedoch weniger sicher, dass das Endergebnis einer zufällig gewählten Telefonumfrage und einer selbst ausgewählten Online-Umfrage erheblich anders ist. Dies ist ein sehr offenes Forschungsgebiet.

Würde eine Organisation, die daran interessiert ist, die öffentliche Meinung zu manipulieren, eine Telefonumfrage, Online-Umfragen oder Interviews auf der Straße wählen, wenn sie nach einer bestimmten Tendenz wäre?

Alle Abfragemethoden können voreingenommen sein, einschließlich einiger anderer, die in der Frage nicht erwähnt werden.

Um ältere Standpunkte zu überrepräsentieren, wählen Sie eine Telefonumfrage und „vergessen“ Sie, um die Altersquotengruppen zu normalisieren, da Sie wissen, dass jüngere Befragte schlecht vertreten waren.

Straßenumfragen ohne Quoteneinstellung und Normalisierung wären wahrscheinlich der einfachste Weg, um eine Verzerrung zu erhalten. Wählen Sie gemäß Sycorax einfach Ihre Straße. Umfragen innerhalb oder außerhalb der Arbeitszeit würden ebenfalls die Ergebnisse verändern. Ich war einmal ein Straßeninterviewer. Wir haben an strengen Quoten gearbeitet, die Altersgruppe, Geschlecht und soziale Klasse kombinieren, aber innerhalb dieser war ich mir meiner eigenen Tendenz bewusst, mich Menschen innerhalb einer Quote zu nähern, deren Aussehen mir gefiel (Leute, die ein bisschen wie ich waren, wenn Sie möchten) als Menschen innerhalb der Quote, die weniger unmittelbare visuelle Anziehungskraft hatten. Und ich glaube nicht, dass sie Quoten für Interviewertypen hatten!

Britische Boulevardzeitungen führen regelmäßig selbstauswählende Ja / Nein-Umfragen bei ihren eigenen Lesern durch, in der Regel zu einer emotionalen Leitfrage, und berichten über die Ergebnisse, als wären sie ein echter Vertreter der Bevölkerung, und häufig mit größerer Bedeutung als angemessen, ethisch Umfragen durchgeführt.

Wie Andy Jones kommentiert hat, gibt es viel einfachere Möglichkeiten, eine Umfrage zu beeinflussen. Auswahl von Datums- und Uhrzeitangaben, Wortlautanpassungen (insbesondere in Vorher- und Nachher-Umfragen), Leitfragen, Richtlinieneinstellung vor oder Filterung von Fragen, reduktionistische Annahmen, eingeschränkte Antwortmöglichkeiten usw. In London scheinen verschiedene Abteilungen für Verkehrsmanagement, Parkmanagement und öffentliche Konsultation solche Unterhandtechniken zu ihrer Spezialität zu machen.

Wenn sie Verkehrsbeschränkungen einführen, konsultieren sie normalerweise nur Anwohner in einem engen Gebiet in der Nähe und Fahrer überhaupt nicht. Die Bewohner erhalten eine Ankreuzkarte durch ihre Tür oder vielleicht zwei Karten in einem großen alten Anwesen, das in fünf oder sieben separate Wohnungen unterteilt ist.

Eine wirklich unschlagbare Form der Umfrageverzerrung, obwohl sie nicht Teil des Umfrageprozesses selbst ist, besteht darin, sie auf irgendeine Weise (z. B. perfekt) durchzuführen und dann die Ergebnisse einfach zu unterdrücken, wenn sie nicht passen. Ein Anwohnerverband für ein Gebiet, in dem ich einst lebte und der von einem sehr manipulativen Gewerkschaftsvertreter mit eiserner Hand kontrolliert wurde, tat genau das.

Als ich 2004 von einem Urlaub am Flughafen Stansted zurückkam, sah ich mich schließlich einer "Tür" gegenüber, die aus einer doppelten Plexiglaswand und einem Bewegungsmelder bestand. Passagiere wurden eingeladen, durch diese optionale Tür zu gehen, wenn sie die Olympischen Spiele in London durchführen wollten. Eine beträchtliche Minderheit der öffentlichen Meinung war zu dieser Zeit nicht begeistert davon, eine massive Rechnung für ein Eitelkeitsereignis zu erhalten, die an die griechische Steuerbelastung und die Korruption in Utah erinnerte, und das London Back the Bid-Team versuchte, Unterstützung zu sammeln.

Sie können so oft durch die Tür gehen, wie Sie möchten, um jedes Mal eine "Abstimmung" (so hieß es) für die Olympischen Spiele zu registrieren, zur Freude von Familien mit kleinen Kindern. Leider haben sie vergessen, eine zweite Tür für Leute bereitzustellen, die 30 Jahre lang keine große Rechnung wollten, oder für Leute wie mich, die Paris für würdig hielten.

Seltsamerweise war das Ergebnis im sowjetischen Stil, dass 100% der Briten die Olympischen Spiele wollten. Ich werde sie noch lange in meinem Ruhestand bezahlen. Handliche Dinge, Umfragen.