US-Wahlergebnisse 2016: Was ist mit Vorhersagemodellen schief gelaufen?

108

Erst war Brexit , jetzt die US-Wahl. Viele Modellvorhersagen waren mit großem Abstand falsch, und gibt es hier Lehren zu ziehen? Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1.

Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Gesamtheit aller verfügbaren Vorhersagemodelle fungieren sollten. Es ist also nicht weit hergeholt zu sagen, dass diese Modelle keine sehr gute Arbeit geleistet haben.

Ich sah eine Erklärung dafür, dass die Wähler sich nicht als Trump-Anhänger ausweisen wollten. Wie könnte ein Modell solche Effekte einbeziehen?

Eine Makroerklärung, die ich lese, ist der Aufstieg des Populismus . Die Frage ist dann, wie ein statistisches Modell einen solchen Makrotrend erfassen kann.

Stellen diese Prognosemodelle zu viel Gewicht auf die Daten aus Umfragen und der Stimmung, nicht genug von der Stelle aus, an der sich das Land in einer 100-Jahres-Perspektive befindet? Ich zitiere die Kommentare eines Freundes.

HoraceT
quelle
9
Wie schätzen Sie die "nicht bereit, sich als Trump-Anhänger zu identifizieren." Wirkung: Vielleicht Fokusgruppen? Dies ist eher eine sozialwissenschaftliche Frage als eine Statistik an sich.
kjetil b halvorsen
100
Warum müssen die Modelle falsch sein, nur weil sie ein Ergebnis vorhergesagt haben, das nicht eingetreten ist? Ich habe ein Modell, das besagt, dass ein Würfel wahrscheinlich keine Sechs zeigen wird, aber manchmal zeigt es sowieso eine Sechs.
Dsaxton
4
Ich bin mir nicht sicher, ob sich die Modelle wirklich stark auf die falsche Seite neigten. Haben wir die Ausgabe der Modelle richtig gelesen? Ich stimme auch dem Kommentar von dsaxton zu.
Richard Hardy
7
Einige gute Gedanken zu Andrew Gelmans Blog hier .
Richard Hardy
22
Bei einer Quote von 4: 1 sollte das seltenere Ergebnis immer noch häufig auftreten. Das ist, dass die Wettmärkte gut hätten richtig liegen können.
Gung

Antworten:

57

Kurz gesagt, das Abrufen ist nicht immer einfach. Diese Wahl mag die schwerste gewesen sein.

Jedes Mal, wenn wir versuchen, statistische Schlussfolgerungen zu ziehen, stellt sich die grundsätzliche Frage, ob unsere Stichprobe eine gute Repräsentation der interessierenden Bevölkerung ist. Eine typische Annahme, die für viele Arten statistischer Inferenz erforderlich ist, ist die, dass unsere Stichprobe eine vollständig zufällige Stichprobe aus der interessierenden Grundgesamtheit ist (und häufig müssen auch Stichproben unabhängig sein). Wenn diese Annahmen zutreffen, haben wir in der Regel gute Messgrößen für unsere Unsicherheit, die auf statistischer Theorie beruhen.

Aber wir haben definitiv nicht diese Annahmen, die mit Abstimmungen zutreffen! Wir haben genau 0 Stichproben aus unserer interessierenden Bevölkerung: tatsächliche Stimmen, die am Wahltag abgegeben wurden. In diesem Fall wir können nicht jede Art von gültigem Schluß machen , ohne weiteren, nicht überprüfbaren Annahmen über die Daten. Oder zumindest bis nach dem Wahltag nicht testbar.

Geben wir ganz auf und sagen "50% -50%!"? Normalerweise nein. Wir können versuchen, so weit wir glauben, vernünftige Annahmen darüber zu treffen, wie die Stimmen abgegeben werden. Zum Beispiel möchten wir vielleicht glauben, dass Umfragen unvoreingenommene Schätzungen für die Stimmen am Wahltag sind, plus ein gewisses unbefangenes zeitliches Rauschen (dh die Entwicklung der öffentlichen Meinung im Laufe der Zeit). Ich bin kein Experte für Abfragemethoden, aber ich glaube, dass dies der Typ des Modells 538 ist, der verwendet wird. Und 2012 hat es ganz gut geklappt. Diese Annahmen waren also wahrscheinlich ziemlich vernünftig. Leider gibt es keine wirkliche Möglichkeit, diese Annahmen zu bewerten, die nicht durch rein qualitative Überlegungen belegt ist. Weitere Informationen zu einem ähnlichen Thema finden Sie unter Nicht ignorierbare Fehlende.

Meine Theorie, warum Umfragen im Jahr 2016 so schlecht abschnitten: Die Umfragen waren keine unvoreingenommenen Schätzungen des Verhaltens am Wahltag. Das heißt, ich würde vermuten, dass Trump-Anhänger (und wahrscheinlich auch Brexit-Anhänger) Umfrageteilnehmern viel misstrauischer gegenüberstanden. Denken Sie daran, dass Herr Trump Umfragen aktiv anprangerte. Daher glaube ich, dass die Befürworter von Trump ihre Abstimmungsabsichten seltener den Umfrageteilnehmern melden als die Befürworter seiner Gegner. Ich würde spekulieren, dass dies eine unvorhergesehene starke Verzerrung in den Umfragen verursachte.

Wie hätten Analysten dies bei der Verwendung der Umfragedaten berücksichtigen können? Basierend auf den Umfragedaten allein gibt es keine echte Möglichkeit, dies quantitativ zu tun. Die Umfragedaten sagen nichts über diejenigen aus, die nicht teilgenommen haben. Es kann jedoch möglich sein, die Umfragen auf qualitative Weise zu verbessern, indem vernünftigere (aber nicht testbare) Annahmen über die Beziehung zwischen Umfragedaten und Wahltagsverhalten getroffen werden. Dies ist nicht trivial und der wirklich schwierige Teil, ein guter Meinungsforscher zu sein (Anmerkung: Ich bin kein Meinungsforscher). Beachten Sie auch, dass die Ergebnisse auch für die Experten sehr überraschend waren. Es ist also nicht so, dass es offensichtliche Anzeichen dafür gab, dass die Annahmen dieses Mal völlig anders waren.

Umfragen können schwierig sein.

Cliff AB
quelle
1
@horaceT: Woher wissen sie, dass es Verzerrungen gibt, bis sie Proben aus der interessierenden Bevölkerung haben? Eine der Falten hier ist, dass ich in der Vergangenheit vermute, dass es sich bei diesem Problem eher um Lärm als um Voreingenommenheit handelt . Wenn beide Parteien gleich häufig nicht reagieren, sind Ihre Schätzungen unvoreingenommen und nur geringfügig lauter. Aber da Herr Trump eine Kampagne mit stark negativen Ansichten zu Berichterstattung und Umfragen durch die Medien durchgeführt hat, viel mehr als bei jeder früheren Wahl, hätte die Nichtbeantwortung leicht schief gehen können, wenn er Trumps Stimmen nicht vertreten würde. Dies wäre ein Effekt, den Meinungsforscher haben würden ...
Cliff AB
38
Ich glaube immer noch nicht, dass 538 wirklich gescheitert ist. Es gab Trump eine Chance von ~ 30% (?), Was verdammt gut ist - es bedeutet, dass alle zwei bis drei Male, die es für richtig gehalten hat, das erste Mal falsch war. Das ist eine enorme Ungewissheit, weit mehr als andere Umfragen zugeben zu wollen schienen.
Mehrdad
3
Dieser Effekt ist bekannt: In den USA wird er Bradley-Effekt und in Großbritannien Shy Tory-Effekt genannt.
Emilio Pisanty
15
538 (und andere Dinge wie die PEC von Sam Wang) sind keine Umfragen. Sie sind Modelle, die aus Umfrageergebnissen erstellt wurden. Alle diese Modelle begannen mit im Wesentlichen denselben Daten, aber 538 sagten aus Gründen, die Nate Silver vor den Wahlen ausführlich diskutierte, eine viel größere Unsicherheit in den Ergebnissen voraus. Dies bedeutete, dass die 538-Chance auf einen Hillary-Sieg viel geringer war, obwohl dieselben Umfragen durchgeführt wurden. Ich bin damit einverstanden, dass 538 nicht gescheitert ist - ein Hillary-Sieg mit viel Unsicherheit scheint auch im Nachhinein die beste Vorhersage zu sein.
KAI
6
Am Morgen nach der Wahl habe ich zum ersten Mal die endgültige Prognose gelesen , und darin stellt Nate Silver ganz klar fest, dass eine Fehlerquote von 3% durchaus im üblichen Bereich liegen würde - und wenn man sich sein Diagramm mit einer Fehlerquote von 3% ansieht Zu Trumps Gunsten passt es ziemlich gut zu dem, was tatsächlich passiert ist.
Xiong Chiamiov
35

Es gibt eine Reihe von Ursachen für Abfragefehler:

  • Sie finden einige Leute schwer zu erreichen

    Dies wird korrigiert, indem eine demografische Analyse durchgeführt und dann Ihre Stichprobenverzerrung korrigiert wird. Wenn Ihre demografische Analyse nicht die Dinge widerspiegelt, die Menschen schwer zu erreichen sind, repariert diese Korrektur den Schaden nicht.

  • Leute lügen

    Sie können historische Raten verwenden, mit denen die Leute Umfrageteilnehmer anlügen, um Ihr Modell zu beeinflussen. In der Vergangenheit gaben die Menschen beispielsweise an, dass sie weit mehr als am Wahltag für Dritte stimmen werden. Ihre Korrekturen können hier falsch sein.

    Diese Lügen können auch Ihre anderen Korrekturen durcheinander bringen. Wenn sie bei der letzten Wahl lügen, werden sie möglicherweise als wahrscheinliche Wähler gezählt, auch wenn dies beispielsweise nicht der Fall ist.

  • Nur die Menschen, die wählen, zählen am Ende

    Jemand kann viel Unterstützung haben, aber wenn seine Unterstützer am Wahltag nicht auftauchen, zählt das nicht. Aus diesem Grund haben wir Wähler, wahrscheinliche Wähler usw. registriert. Wenn diese Modelle falsch sind, funktionieren die Dinge nicht.

  • Umfragen kosten Geld

    Umfragen sind teuer, und wenn Sie nicht erwarten, dass Michigan umdreht, werden Sie sie möglicherweise nicht sehr oft abrufen. Dies kann zu Überraschungen führen, wenn ein Bundesstaat, den Sie 3 Wochen vor der Wahl abgefragt haben, am Wahltag nicht so aussieht.

  • Die Leute ändern ihre Meinung

    Über Minuten, Stunden, Tage, Wochen oder Monate hinweg ändern Menschen ihre Meinung. Umfragen über "Was würden Sie jetzt tun?" Helfen nicht viel, wenn sie ihre Meinung ändern, bevor es darauf ankommt. Es gibt Modelle, die anhand historischer Umfragen ungefähr die Rate erraten, mit der Menschen ihre Meinung ändern.

  • Hüten

    Wenn alle anderen sagen, dass Hillary +3 ist und Sie eine Umfrage mit Hillary +11 oder Donald +1 erhalten, könnten Sie das in Frage stellen. Sie können einen weiteren Durchgang durchführen und feststellen, ob ein Analysefehler vorliegt. Sie könnten es sogar rausschmeißen und eine weitere Umfrage durchführen. Wenn Sie eine Hillary +2 oder +4 Umfrage erhalten, tun Sie dies möglicherweise nicht. Massive Ausreißer können Sie "schlecht aussehen" lassen, auch wenn das statistische Modell sagt, dass es manchmal vorkommt.

    Eine besonders beschissene Form davon ereignete sich am Wahltag, als sich alle , die eine Umfrage veröffentlicht hatten, auf magische Weise dem gleichen Wert näherten. Sie waren wahrscheinlich Ausreißer, aber niemand will diejenige sein, die am Tag vor dieser Wahl Hillary +11 gesagt hat. Sich in einer Herde zu irren, tut weniger weh.

  • Erwarteter Stichprobenfehler

    Wenn Sie 1 Million Menschen haben und 100 vollkommen zufällige Personen fragen und die eine Hälfte "Apfel" und die andere Hälfte "Orange" sagt, liegt der erwartete Fehler bei +/- 10, auch wenn keines der oben genannten Probleme vorliegt auftreten. Das letzte Bit ist , was Umfragen wie beschreiben ihre Fehlerquote. Umfragen beschreiben selten, was die oben genannten Korrekturfaktoren als Fehler einführen könnten.


Nate Silver (538) war einer der wenigen Abfrageaggregatoren, die konservative (vorsichtige) Mittel einsetzten, um mit den oben genannten Fehlerarten umzugehen. Er berücksichtigte die Möglichkeit systemisch korrelierter Fehler in den Abfragemodellen.

Während andere Aggregatoren eine Chance von über 90% voraussagten, dass HC gewählt wird, gab Nate Silver 70% an, da die Umfragen innerhalb des "normalen Abstimmungsfehlers" eines Donald-Sieges lagen.

Dies war ein historisches Maß für den Modellfehler im Gegensatz zum statistischen Rohstichprobenfehler. Was ist, wenn das Modell und die Korrekturen am Modell falsch waren?


Die Leute drücken immer noch die Zahlen. Vorläufige Ergebnisse deuten jedoch darauf hin, dass es sich zum großen Teil um Wahlbeteiligungsmodelle handelte. Die Befürworter von Donald zeigten sich bei den Umfragen in größerer Zahl und die Befürworter von Hillary in geringerer Zahl als die angegebenen Umfragemodelle (und Umfragen beenden!).

Latino hat mehr für Donald gestimmt als erwartet. Die Schwarzen stimmten mehr für Donald als erwartet. (Die meisten von beiden stimmten für Hillary). Weiße Frauen stimmten mehr für Donald als erwartet (mehr von ihnen stimmten für Donald als für Hillary, was nicht erwartet wurde).

Die Wahlbeteiligung war im Allgemeinen niedrig. Demokraten gewinnen in der Regel, wenn die Wahlbeteiligung hoch ist, und Republikaner, wenn die Wahlbeteiligung niedrig ist.

Yakk
quelle
1
Ein interessantes Wahlbeteiligungsproblem ist, dass die Wahl selbst die Wahlbeteiligung beeinflusst. Gibt es dafür ein Weichenmodell? Es sollte möglich sein, eine Funktion zu haben, die die von der Umfrage prognostizierte Wahlbeteiligung aufnimmt und sie für beide Seiten gemäß den Aussichten der Kandidaten modifiziert. Ein Kandidat mit weitem Rückstand bekommt möglicherweise keine zusätzlichen Wähler, die besorgter sind, nachdem die Umfrage die Aussichten seines Kandidaten als miserabel beschrieben hat. Wenn Ihr Kandidat jedoch weit voraus ist, arbeiten Sie möglicherweise nicht so hart, um zur Abstimmung zu gelangen lineare Funktion, aber es sollte messbar sein.
BenPen
2
+1 von mir, nur weil ich das Hüten erwähnt und es gut erklärt habe. Als ich in meiner Antwort darauf einging, war ich sehr misstrauisch, dass möglicherweise ab dem 5. (ungefähr drei Tage nach der Wahl) Hüten auf der Grundlage der 538-Grafik stattfinden würde. Ich vermute, wir werden in den kommenden Tagen mehr darüber herausfinden, was die Fehler wirklich waren. (Sie wissen, dass Sie ein Nerd sind, wenn Sie eine Webseite zwanghaft aktualisieren, um die zweite Ableitung einer Diagrammkurve zu betrachten).
TED
Ich weiß nicht, wie Sie das erklären, aber ich denke, dass Trump ein Stigma hat, das es schwierig machen würde, seine tatsächliche Unterstützung richtig zu quantifizieren, und das nur in den tatsächlichen Wahlergebnissen auftaucht. Ich stelle es mir gerne als die Folge der Autoaufkleber vor: George W. Bush und Obama waren beide zwei Amtszeitpräsidenten, aber während ein Obama-Autoaufkleber weit verbreitet und mit Stolz auf Autos geschmückt ist, glich ein Bush-Autoaufkleber einem 4-Blatt-Kleeblatt. Es gibt bestimmte Kandidaten, bei denen die offene Unterstützung der Opposition zu viel Wärme und Vitriol entlockt und die Unterstützung sehr zurückhaltend ist.
Coburne
3
@ Coburne Es gab keine Beweise dafür in den Vorwahlen; Trump-Anhänger waren nicht schüchtern. Bush-Autoaufkleber waren in verschiedenen Bereichen beliebt als Obama-Autoaufkleber.
Yakk
@ Coburne - Was Sie sprechen, heißt The Bradley Effect . Es gibt eine große Debatte darüber, ob es überhaupt existiert. Es gab jedoch eine Studie, deren Aussagekraft in etwa der Menge der in der Kampagne verwendeten rassistisch aufgeladenen Rhetorik entsprach. Ich glaube nicht, dass es viele Debatten gibt, von denen viel in dieser verwendet wurde.
TED
31

Dies wurde in den Kommentaren zur akzeptierten Antwort erwähnt (Hut vor Mehrdad ), aber ich denke, es sollte betont werden. 538 haben das in diesem Zyklus tatsächlich ganz gut gemacht * .

538 ist ein Polling-Aggregator, der Modelle für jeden Status ausführt, um den Gewinner vorherzusagen. Ihr letzter Lauf gab Trump eine Gewinnchance von 30%. Das heißt, wenn Sie drei Wahlen mit diesen Daten durchgeführt haben, würden Sie erwarten, dass Team Red eine davon gewinnt. Das ist keine große Chance. Es ist mit Sicherheit groß genug, dass ich Vorsichtsmaßnahmen getroffen habe (z. B .: Am Freitag, bevor ich am Mittwoch den 9. Urlaub bei der Arbeit beantragte, in Anbetracht der Wahrscheinlichkeit, dass es nahe genug ist, um spät in die Nacht zu kommen).

Eine Sache, die 538 Ihnen sagen wird, wenn Sie dort rumhängen, ist, dass wenn die Umfragen aus sind, es eine gute Chance gibt, dass sie alle in die gleiche Richtung ausfallen. Dies hat mehrere Gründe.

  • Wahrscheinlich Wahlmodelle. Die Umfragen müssen sich an die Art der Wähler anpassen, die am Wahltag tatsächlich auftauchen werden. Wir haben historische Modelle, aber dies war offensichtlich kein typisches Kandidatenpaar. Daher war die Vorhersage auf der Grundlage früherer Daten immer ein kleiner Scheiß.
  • Spätwahlen hüten . Niemand will die Wahl sein, die die Wahlen am schlimmsten verpasst hat. Obwohl es ihnen nichts ausmacht, mitten in einer Kampagne ein Ausreißer zu sein, neigen alle Umfragen dazu, sich selbst so zu verändern, dass sie dasselbe sagen. Dies ist einer der Gründe dafür, dass die Umfragen bei Eric Cantors Überraschungsverlust im Jahr 2014 so extrem ausgefallen sind, und auch für die überraschend knappen Ergebnisse des Rennens im Senat von Virginia im Jahr 2014 .

* - 538 hat jetzt eine eigene Analyse veröffentlicht . Es stimmt größtenteils mit dem überein, was oben gesagt wurde, aber es lohnt sich zu lesen, wenn Sie viel mehr Details wünschen.


Nun ein bisschen persönliche Spekulation. Ich war tatsächlich skeptisch gegenüber 538s letzten% Chancen für die letzten 3 Tage. Der Grund geht auf diese zweite Kugel zurück. Werfen wir einen Blick auf die Geschichte ihres Modells für diese Wahl (von ihrer Website)

Bildbeschreibung hier eingeben

(Leider verdecken die Etiketten dies, aber danach gingen die Kurven in den letzten drei Tagen wieder auseinander und ergaben für Clinton eine Chance von über 70%.)

Das Muster, das wir hier sehen, ist eine wiederholte Divergenz, gefolgt von einem Zerfall zurück zu einer Trump-Führung. Die Clinton-Blasen wurden alle durch Ereignisse verursacht. Das erste waren die Konventionen (normalerweise gibt es ein paar Tage Verspätung nach einem Ereignis, damit es in der Abstimmung auftaucht). Die zweite scheint von der ersten Debatte angestoßen worden zu sein, wahrscheinlich zusammen mit dem TMZ-Band. Dann gibt es den dritten Wendepunkt, den ich auf dem Bild markiert habe.

Es geschah am 5. November, 3 Tage vor der Wahl. Welches Ereignis hat das verursacht? Ein paar Tage zuvor war ein weiteres E-Mail-Aufflammen zu verzeichnen, aber das hätte nicht zu Clintons Gunsten funktionieren sollen.

Die beste Erklärung, die mir damals einfiel, war die Umfrage. Es waren nur noch drei Tage bis zur Wahl, zwei Tage bis zu den endgültigen Umfragen, und die Umfrageteilnehmer würden sich langsam Sorgen um ihre endgültigen Ergebnisse machen. Die "konventionelle Weisheit" dieser gesamten Wahl (wie die Wettmodelle belegen) war ein einfacher Clinton-Sieg. Es schien also eine eindeutige Möglichkeit zu sein, dass dies überhaupt keine echte Beugung war. Wenn dies der Fall wäre, wäre die wahre Kurve ab dem 5. November mit ziemlicher Wahrscheinlichkeit eine Fortsetzung dieser Kurve in Richtung Konvergenz.

Ein besserer Mathematiker als ich würde es brauchen, um die Kurve nach vorne ohne diesen verdächtigen Endknickpunkt abzuschätzen, aber wenn ich sie in Augenschein nehme, wäre der 8. November in der Nähe des Kreuzungspunktes gewesen . Vorne oder hinten hängt davon ab, wie viel von dieser Kurve tatsächlich real war.

Jetzt kann ich nicht genau sagen, was passiert ist. Es gibt noch andere sehr plausible Erklärungen (zB: Trump hat seine Wähler weitaus besser herausgeholt als von jedem Umfrageteilnehmer erwartet). Aber es war meine Theorie für das, was zu dieser Zeit vorging, und es hat sich zweifellos als vorhersagbar erwiesen.

TED
quelle
1
Ich denke, diese seltsame Umfragewende in den letzten Tagen wäre besser analysiert worden, aber die Anhänger von Clinton sahen, was sie sehen wollten, und die Anhänger von Trump hatten längst aufgehört, die Umfragen zu verfolgen. Hoffentlich wird es jetzt jemand tun.
TED
Ich dachte , die letzten Tage aufgrund der Aussage des Comey etwas normalisiert , dass die neuen E - Mails haben keine Ursache für eine erneute strafrechtliche Ermittlungen darstellen.
Konrad Rudolph
@KonradRudolph - Das war die Erklärung, die ich damals für diese Beugung gehört habe. Das Problem ist, dass die fragliche Aussage erst am 6. November veröffentlicht wurde und der Wendepunkt der verdächtigen Abfrage einen Tag zuvor aufgetreten ist (siehe Markierung im Bild oben). Außerdem ist das Timing falsch, da Comey den Drop vollständig erklärt hat. Es gibt also keinen logischen Grund, warum seine "nevermind" -Anweisung ihn gestoppt hätte (geschweige denn umgekehrt).
TED
2
Das Problem bei 538 ist weniger das Modell als die Qualität der darin enthaltenen Abfragedaten. Die Daten machen deutlich, dass es sich nicht um einen Stichprobenfehler handelte (was bei durchschnittlichen Umfragen mit angemessenen Stichprobengrößen recht gering ist). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html Stattdessen ist das Problem entweder voreingenommen Probenahme in den Löwenanteil der Umfragen, oder systemische Unwahrhaftigkeit von Umfrage Befragten (aufgrund sozialer Ablehnung von Trump) oder beide. Aber 538 bekommt ein Lob dafür, dass sie in ihrem Modell erkannt haben, dass Umfragen in verschiedenen Bundesstaaten nicht unabhängig sind.
Ohwilleke
@ohwilleke - Richtig. Wie eine der anderen Antworten sagte, GIGO. Das ist, was ich vermutet habe, wahrscheinlich mit diesem seltsamen unerklärten Wendepunkt passiert. Die Frage ist die Quelle des "Mülls" in den Eingabeumfragen.
TED
17

Erst war Brexit, jetzt die US-Wahl

Nicht wirklich eine Premiere, zB die französischen Präsidentschaftswahlen 2002 "führten zu ernsthaften Diskussionen über Wahltechniken".

Es ist also nicht weit hergeholt zu sagen, dass diese Modelle keine sehr gute Arbeit geleistet haben.

Müll rein, Müll raus.

Ich sah eine Erklärung dafür, dass die Wähler sich nicht als Trump-Anhänger ausweisen wollten. Wie könnte ein Modell solche Effekte einbeziehen?

Siehe Antwortverzerrung und insbesondere soziale Erwünschtheitsverzerrung . Andere interessante Lektüre: stille Mehrheit und Bradley-Effekt .

Franck Dernoncourt
quelle
2
Sicher, Müll in Müll raus. Aber wie erkennt man, dass die Prädiktoren Müll waren, und macht man "variable Auswahl", um sie loszuwerden?
HoraceT
6
@horaceT Wie Sie sehen können, ist dies sehr schwierig und manchmal unmöglich. FiveThirtyEight.com verfügte über eine sehr anständige Methodik und ein qualitativ hochwertiges Modell, das verschiedene Daten verwendete und mehrfache Verzerrungen korrigierte. Am Tag vor der Wahl gab es 71,4% Wahrscheinlichkeit, dass Hilary Clinton gewinnen wird ...
Tim
1
@horaceT Ich würde mich auf die Datenerfassung konzentrieren, da dies das Problem zu sein scheint. Die Seite mit den Vorurteilen für soziale Erwünschtheit enthält einige Ideen, um sie zu verbessern.
Franck Dernoncourt
1
@horaceT außerdem, wenn fast jeder Pool sagte, dass Clinton nur ein Verrückter führt, würde argumentieren, dass sie alle falsch sind ... Es wäre sehr schwer, ein solches Modell zu rechtfertigen.
Tim
1
Ich wäre gespannt, wie genau die Prognosen der Umfragen für die Wahlbeteiligung waren (z. B. basierend auf der Demografie). Ich könnte mir vorstellen, dass bei vielen Umfragen, die einen "signifikanten Vorsprung" vorhersagen, die Wahlbeteiligung unterdrückt werden könnte (z. B. ähnlich einem Beobachter-Effekt ).
GeoMatt22
12

Die USC / LA Times-Umfrage enthält einige genaue Zahlen. Sie sagten voraus, dass Trump die Führung übernehmen würde. Siehe Die USC / LA Times Umfrage sah , was andere Umfragen verpasst: Eine Welle von Trump Unterstützung

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

Bildbeschreibung hier eingeben

Sie hatten auch für 2012 genaue Zahlen.

Möglicherweise möchten Sie überprüfen: http://graphics.latimes.com/usc-presidential-poll-dashboard/

Und die NY Times beschwerte sich über ihre Gewichtung: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

Antwort von LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Jon
quelle
26
Bei dieser Umfrage gewann Trump die Volksabstimmung mit 3,2%, aber Clinton scheint mit 0,1% gewonnen zu haben. Ich verstehe also nicht, wie man sagen kann, dass sie genaue Zahlen hatten.
Winston Ewert
3
Nur eine kleine Anmerkung - würden Sie wirklich erwarten, dass eine Statistik weniger als 3,2% von einem Fehlerfenster entfernt ist?
AnoE
9
Probleme mit dieser Umfrage als Beispiel sind 1) Es wird das Falsche abgefragt. Die Volksabstimmung korreliert mit dem Gewinn der Präsidentschaft, aber so wird es nicht entschieden. 2) Die Topline ist falsch . Clinton gewann, was es misst, nicht Trump. 3) Die meisten anderen Umfragen lagen um die gleichen 3 Punkte daneben, nur in eine andere Richtung.
TED
5
... tatsächlich sieht es so aus, als würde Clinton bei der Volksabstimmung ungefähr einen Punkt vor Trump abschließen, was bedeutet, dass diese Umfrage um 4 statt um 3 Punkte verschoben wurde war doppelt so genau wie dieser (um nur 2 Punkte anstatt 4).
TED
8
Die LA Times-Umfrage war aus Versehen korrekt : Der übergewichtete 19-Jährige glich die untergewichtete weiße Landwahl aus.
Mark
11

Hier wurde kein hohes Gelände beansprucht. Ich arbeite in einem Bereich (Monitoring und Evaluierung), der genauso pseudowissenschaftlich geprägt ist wie jede andere Sozialwissenschaft, die Sie nennen können.

Aber hier ist der Deal, die Wahlbranche befindet sich angeblich heute in einer "Krise", weil die US-Wahlprognosen so falsch waren, die Sozialwissenschaft im Allgemeinen eine "Krise" der Reproduzierbarkeit aufweist und wir Ende der 2000er Jahre eine "Weltfinanzkrise" hatten Einige Praktiker glaubten, dass Subprime-Hypothekenderivate eine gültige Form von Finanzdaten sind (wenn wir ihnen den Vorteil des Zweifels geben ...).

Und wir alle stolpern trotzdem weiter. Jeden Tag sehe ich die fragwürdigsten Forscher-Konstrukte, die als Datenerfassungsansätze verwendet werden und daher letztendlich als Daten verwendet werden (von quasi-ordinalen Skalen bis zu absolut führenden festen Antwortkategorien). Sehr wenige Forscher scheinen sogar zu realisieren, dass sie einen konzeptionellen Rahmen für solche Konstrukte benötigen, bevor sie hoffen können, ihre Ergebnisse zu verstehen. Es ist, als hätten wir uns mit Marktforschungsansätzen befasst und beschlossen, nur die schlimmsten Fehler zu begehen, wobei wir ein wenig Numerologie hinzugefügt haben.

Wir wollen als "Wissenschaftler" betrachtet werden, aber die Strenge ist ein bisschen zu groß, um sie in Kauf zu nehmen. Deshalb sammeln wir Mülldaten und beten zum Loki-ähnlichen Gott der Statistik, um das GIGO-Axiom auf magische Weise außer Kraft zu setzen.

Aber wie der stark zitierte Mr. Feynman ausführt:

„Es ist egal, wie schön deine Theorie ist, es ist egal, wie schlau du bist. Wenn es nicht mit dem Experiment übereinstimmt, ist es falsch.

Es gibt bessere Möglichkeiten, mit den qualitativen Daten umzugehen, mit denen wir oft zu kämpfen haben, aber sie sind etwas aufwändiger, und diese netten Konstrukte von Forschern sind oft einfacher in SPSS einzugeben. Bequemlichkeit scheint die Wissenschaft jedes Mal zu übertreffen (kein Wortspiel beabsichtigt).

Kurz gesagt, wenn wir uns nicht ernsthaft mit der Rohdatenqualität befassen, verschwenden wir meiner Meinung nach nur die Zeit und das Geld aller, einschließlich unserer eigenen. Möchte also jemand an einer "Initiative zur Datenqualität" in Bezug auf sozialwissenschaftliche Methoden mitarbeiten (ja, es gibt in den Lehrbüchern viel über solche Dinge, aber niemand scheint sich nach den Prüfungen um diese Quelle zu kümmern).

Wer die akademischsten Gravitas hat, darf an der Spitze stehen! (Ich werde es nicht sein.)

Um meine Antwort hier klar zu formulieren: Ich sehe so oft schwerwiegende grundsätzliche Probleme mit 'erfundenen' Rohdatentypen, dass ich vorschlagen möchte, am Anfang anzufangen. Bevor wir uns also Gedanken über Stichproben machen oder welche Tests mit den Daten ausgeführt werden sollen, müssen wir die Gültigkeit / Einschränkungen der von uns erfassten Datentypen in Bezug auf die von uns vorgeschlagenen Modelle überprüfen. Andernfalls ist das gesamte Vorhersagemodell unvollständig definiert.

colin
quelle
2
Ich bin mir sicher, dass Sie Beispiele für fragwürdige Forscherkonstrukte nennen können.
HoraceT
4
Ich bin nicht unbedingt mit vielen Ihrer Punkte nicht einverstanden. Ich möchte jedoch darauf hinweisen, dass ich im Falle einer Umfrage der Meinung bin, dass jeder Umfrageteilnehmer sich der Einschränkungen aufgrund der Datenqualität sehr bewusst ist, aber eigentlich keine Möglichkeiten hat, diese zu verbessern (siehe meine Antwort). Ihre Antwort scheint darauf hinzudeuten, dass Umfrageteilnehmer eine Antwort herausgeben möchten , ohne sich um die Datenqualität zu kümmern. Meiner Meinung nach liegt den Umfragetreibenden die Datenqualität sehr am Herzen , sie stellen jedoch auch fest, dass das Beste, was sie bekommen können, schwerwiegende potenzielle Mängel aufweist. Gibst du auf ("50% -50%!") Oder versuchst du etwas zu bauen, das vernünftig sein könnte ?
Cliff AB
Meine Antwort auf Kommentare war zwangsläufig etwas lang, also fügte ich sie als neue Antwort hinzu
colin
9

Umfragen haben in der Regel eine Fehlerquote von 5%, die Sie nicht wirklich loswerden können, da es sich nicht um einen zufälligen Fehler handelt, sondern um eine Verzerrung. Auch wenn Sie über viele Umfragen hinweg durchschnittlich sind, wird es nicht viel besser. Dies hat mit falsch dargestellten Wählergruppen, mangelnder Mobilisierung, Unfähigkeit, an einem Arbeitstag zur Abstimmung zu gehen, Unwillen zur Antwort, Unwillen zur richtigen Antwort , spontanen Entscheidungen in letzter Minute zu tun , ... weil diese Tendenz dazu neigt, "korreliert" zu sein. Bei allen Umfragen können Sie es nicht mit mehr Umfragen loswerden. Sie können es auch bei größeren Stichproben nicht loswerden. und Sie scheinen auch nicht in der Lage zu sein, diese Tendenz vorherzusagen, weil sie sich zu schnell ändert (und wir zu selten Präsidenten wählen).

Aufgrund der dummen Winner-takes-all - Prinzip nach wie vor in fast allen Staaten, ein Fehler von 5% kann zu sehr unterschiedlichen Ergebnissen führen: Angenommen , die Umfragen vorhergesagt immer 49-51, aber das eigentliche Ergebnis war 51-49 (so ein Fehler von nur 2%), das Ergebnis ist 100% weg; wegen Winner-Takes-It-All.

Betrachtet man einzelne Zustände, so liegen die meisten Ergebnisse innerhalb der vorhergesagten Fehlergrenzen!

Wahrscheinlich ist das Beste, was Sie tun können, eine Stichprobe dieser Tendenz (+ -5%) zu erstellen, die Gewinner-Alles-Extreme anzuwenden und dann die Ergebnisse zu aggregieren. Dies ähnelt wahrscheinlich dem, was 538 getan hat; und in 30% der Proben gewann Donald Trump ...

Anony-Mousse
quelle
9
Ich nenne dies das "Wahnsinnsprinzip" der Umfrage : Bei jeder Umfrage geben 5% aller Befragten eine verrückte Antwort. Wie bei jedem empirischen Prinzip gibt es Ausnahmen, aber es hat sich jahrzehntelang bewährt, um die Umfrageergebnisse zu verdeutlichen.
Whuber
1
Wenn es nur gerade eine „verrückt“ Antwort. Das Problem ist, dass es systematisch nicht "zufällig verrückt" ist. Sie könnten die Wahl als eine binäre Umfrage betrachten, und welche "verrückten Antworten" könnten Sie in binärer Form erwarten? Aber anscheinend geben viele Leute absichtlich (?) Eine falsche Antwort oder entscheiden sich anders, wenn sie tatsächlich am Stand sind, oder gehen dann nicht zu den Wahlen, ...
Anony-Mousse
3
@ Anony-Mousse Egal wie genau es auch sein mag oder nicht, ich kann nicht erkennen, wie wichtig die statistische Analyse für das Aufrufen jugendlicher Namen ist.
Jared Smith
Oh, es ist eine unbezahlbare Geschichte. An manchen Tagen muss man lachen, anstatt sich Sorgen zu machen, warum Vorhersageergebnisse ungenau sind.
Anony-Mousse
Kommentare sind nicht für eine längere Diskussion gedacht. Diese Unterhaltung wurde in den Chat verschoben .
Gung
7

Das Vertrauen in die Datenanalyse hatte enorme Auswirkungen auf strategische Kampagnenentscheidungen, journalistische Berichterstattung und letztendlich auf individuelle Entscheidungen. Was könnte möglicherweise schief gehen, wenn die Entscheidungen der Clinton-Kampagne von nur täglichen Simulationen des geheimen Ada-Algorithmus getroffen wurden ?400,000

Am Ende stellte es ein kolossales Versagen der numerischen Analyse heraus, um den Mangel an Kenntnis des Themas auszugleichen. Die Menschen schämten sich, den siegreichen Kandidaten aus offensichtlichen Gründen ausdrücklich anzunehmen.

Das schlimmste Computermodell hätte dem Ergebnis näher kommen können, wenn sich jemand die Mühe gemacht hätte, eine vorläufige Umfrage von Angesicht zu Angesicht durchzuführen und an die Türen zu klopfen. Hier ist ein Beispiel: Die Trafalgar Group (keine andere Zugehörigkeit oder Kenntnis als die folgenden) hatte Trump einen Tag vor der Wahl in PA, FL, MI, GA, UT und NV an der Spitze (letzterer Zustand wurde letztendlich blau). Was war die Magie?

eine Kombination von Umfrageteilnehmern, die sowohl einen Standard-Stimmzetteltest als auch einen Stimmzetteltest absolviert haben, in denen die Nachbarn der Befragten stehen. Dies spricht die grundlegende Tendenz der traditionellen Umfrage an, bei der die Befragten ihre Position in Bezug auf äußerst kontroverse Kandidaten nicht vollständig wahrheitsgetreu beurteilen.

Ziemlich Low-Tech, einschließlich der fehlenden Rechtschreibprüfung, zeigt in Zahlen viel über die menschliche Natur. Hier ist die Diskrepanz in PA :

Bildbeschreibung hier eingeben

Historisches Pennsylvania - weit davon entfernt, nur wenige Stunden vor dieser abschließenden Erkenntnis am 9. November 2016 um 01:40 Uhr als der letzte Strohhalm in der Niederlage der Demokraten wahrgenommen zu werden:

Bildbeschreibung hier eingeben

Antoni Parellada
quelle
2
Die Frage nach der Wahlabsicht der Nachbarn ist brillant - es scheint mir einer der cleveren Tricks zu sein, die manchmal in der Statistik angewendet werden, um eine scheinbar hoffnungslose Tendenz (zumindest zu einem gewissen Grad) zu korrigieren. Danke, dass du darüber geschrieben hast, sehr interessant!
DeltaIV
5

Einer der Gründe für die Ungenauigkeit der Umfragen bei den US-Wahlen ist, dass der "Allesgewinner" -Effekt Vorhersagen noch weniger erleichtert, abgesehen davon, dass manche Menschen aus irgendeinem Grund nicht die Wahrheit sagen. Ein Unterschied von 1% in einem Staat kann zu einer vollständigen Verschiebung eines Staates führen und das gesamte Ergebnis sehr stark beeinflussen. Hillary hatte mehr Wähler wie Al Gore gegen Bush.

Das Brexit-Referendum war keine normale Wahl und daher auch schwieriger vorherzusagen (keine guten historischen Daten und jeder war wie ein Erstwähler in dieser Angelegenheit). Menschen, die jahrzehntelang für dieselbe Partei stimmen, stabilisieren Vorhersagen.

Sascha
quelle
2
Sehr gute Beobachtung. Es gab klare Zustände für jede Seite und Schwungzustände. Während ihre Zahl niedrig war, ist der Effekt auf eine kleine Änderung dort in der Zahl von Stimmen groß. Es ist ein sehr kompliziertes, historisch gewachsenes Wahlsystem in den USA.
Trilarion
4

(Beantworten Sie einfach dieses Bit, da die anderen Antworten anscheinend alles andere abgedeckt haben.)

Noch gestern um 16 Uhr PST favorisierten die Wettmärkte Hillary 4 zu 1. Ich gehe davon aus, dass die Wettmärkte mit echtem Geld als Ensemble aller verfügbaren Vorhersagemodelle fungieren sollten.

Nein ... aber indirekt ja.

Die Wettmärkte sind so konzipiert, dass die Buchmacher in jedem Fall Gewinne erzielen. Angenommen, die aktuellen Quoten lauten 1-4 für Hilary und 3-1 für Trump. Wenn die nächsten zehn Leute alle Wette $ 10 auf Hilary, dann ist das $ 100 genommen in wird sie kosten $ 25 , wenn Hilary gewinnt. Also verkürzen sie Hilary auf 1-5 und erhöhen Trump auf 4-1. Jetzt setzen mehr Leute auf Trump und das Gleichgewicht ist wieder hergestellt. Das heißt, es basiert nur darauf, wie die Leute wetten, nicht auf den Experten oder den Vorhersagemodellen.

Aber natürlich schauen sich die Kunden der Buchmacher diese Umfragen an und hören sich diese Experten an. Sie hören, dass Hilary einen Vorsprung von 3% hat, und entscheiden, dass ein schneller Weg, um 10 $ zu verdienen, darin besteht, 40 $ auf sie zu setzen.

Indirekt bewegen die Experten und Umfragen die Chancen.

(Einige Leute bemerken auch, dass alle ihre Freunde bei der Arbeit über Trump abstimmen werden, also setzen Sie auf ihn, andere bemerken, dass alle Beiträge ihrer Facebook-Freundin für Hilary sind, also setzen Sie auf sie, damit die Realität ein wenig beeinflusst wird sie auf diese Weise.)

Darren Cook
quelle
2

Es ist nicht verwunderlich, dass diese Bemühungen gescheitert sind, wenn man bedenkt, dass die Unterschiede zwischen den Informationen, auf die die Modelle zugreifen können, und den Informationen, die das Verhalten in der Wahlkabine beeinflussen, unterschiedlich sind. Ich spekuliere, aber die Modelle berücksichtigen wahrscheinlich:

  • eine Vielzahl von Wahlergebnissen vor der Wahl
  • historische Staatsanleihen (blau / rot)
  • historische Ergebnisse früherer Wahlen mit aktuellen Vorstellungen

Umfragen vor den Wahlen sind jedoch unzuverlässig (wir haben in der Vergangenheit immer wieder Misserfolge erlebt), Staaten können umkippen, und es gab in unserer Geschichte nicht genügend Wahlzyklen, um die Vielzahl der Situationen zu erklären, die auftreten können und dies tun .

Eine weitere Komplikation ist der Zusammenfluss der Volksabstimmung mit dem Wahlkollegium. Wie wir bei dieser Wahl gesehen haben, kann die Volksabstimmung innerhalb eines Staates extrem eng sein, aber sobald der Staat gewonnen ist, gehen alle Stimmen an einen Kandidaten, weshalb die Karte so rot ist.

HEITZ
quelle
1

Bei den Umfragemodellen wurde nicht berücksichtigt, wie viele Libertäre bei der tatsächlichen Abstimmung von Johnson zu Trump wechseln könnten . Die Staaten, die mit einem knappen Vorsprung gewonnen wurden, wurden anhand des Prozentsatzes der Stimmen, die Johnson erhielt, gewonnen. PA (die Trump in der Wahlnacht an 270 vorbeischob) gab Johnson nur 2%. NH (das an Clinton ging) gab Johnson 4% +. Johnson hatte am Tag vor der Wahl eine Umfrage bei 4 bis 5% und am Tag der Wahl bei 3%.

Also, warum haben die Libertären plötzlich den Wahltag eingeläutet? Niemand dachte darüber nach, was für die libertären Wähler das zentrale Thema war. Sie neigen dazu, die wörtliche Auslegung der Verfassung als Kanon zu betrachten. Die meisten Menschen, die für Clinton gestimmt haben, waren nicht der Meinung, dass ihre Ablehnung des Gesetzes eine ausreichend hohe Priorität hatte, um darüber nachzudenken. Sicherlich nicht höher als alles, was sie an Trump nicht mochten.

Unabhängig davon, ob ihre rechtlichen Probleme für andere wichtig waren oder nicht, wären sie für Libertäre wichtig. Sie würden der Abwesenheit einer Person, die die Einhaltung von Gesetzen bestenfalls als freiwillig ansieht, höchste Priorität einräumen. Für eine große Anzahl von ihnen würde die Abwesenheit von Clinton eine höhere Priorität haben als die Aussage, dass die libertäre Philosophie eine tragfähige politische Philosophie ist.

Viele von ihnen mochten Trump vielleicht nicht einmal, aber wenn sie dachten, dass er die Rechtsstaatlichkeit mehr respektieren würde als Clinton, hätte der Pragmatismus für viele von ihnen Prinzipien gewonnen und sie veranlasst, ihre Stimme zu wechseln, wenn dies geschah Es wurde Zeit, tatsächlich abzustimmen.

Dmitry Rubanovich
quelle
In NH leben alle Menschen aus dem Freistaatsprojekt. Aufstrebende libertäre Partei und aktive Unterstützer.
John
@ John, NH Libertarians blieb bei Johnson (4%). Trump verlor den Staat um 1%.
Dmitry Rubanovich
Ich verstehe das. Ich habe versucht zu erklären, dass die libertäre Partei in NH stark ist.
John
@ John, aber es ist nicht nur NH. Minnesota: Johnson 4%, Trump verlor um 2%; NV (ein schwierigeres Argument, aber der Trend hält an): Johnson 3,5%, Trump verlor 2%; Maine: Johnson 5%, Trump 3% verloren; Colorado Johnson 5%, Trump verlor um 3%.
Dmitry Rubanovich
Afaik, Umfragen fragen nach einer möglichen Umstellung der Stimmen und Prognosen berücksichtigen dies. Haben Sie Informationen, die darauf hindeuten, dass es vor der Wahl solche Informationen gab, die von keiner Prognose berücksichtigt wurden, oder handelt es sich um reine Spekulationen?
Tim
1

Umfragen sind keine historischen Trends. Ein Bayesianer würde nach den historischen Trends fragen. Seit Abraham Lincoln gibt es eine Republikanische Partei und eine Demokratische Partei, die das Präsidentenamt innehaben. Der seitdem 16-malige Parteitrend aus Wikipedia hat folgende kumulative Massenfunktion

Bildbeschreibung hier eingeben

x

Was Journalisten, die Demokratische Partei und die Umfrageteilnehmer dazu veranlasste, zu glauben, dass die Chancen für einen Sieg der Liberalen standen, war vielleicht Wunschdenken. Das Verhalten mag in Grenzen vorhersehbar sein, aber in diesem Fall wünschten sich die Demokraten, dass die Menschen nicht für eine Änderung stimmen würden, und aus historischer Sicht scheint es wahrscheinlicher, dass es eine geben würde, als nicht.

Carl
quelle
0

Meines Erachtens wurden die Umfrageergebnisse auf das Ausmaß der Öffentlichkeit hochgerechnet, in dem davon ausgegangen wurde, dass die demografischen Daten der Wähler denen der Umfrageteilnehmer ähneln und die gesamte Bevölkerung gut repräsentieren. Wenn beispielsweise 7 von 10 Minderheiten Hillary in den Umfragen unterstützten und wenn diese Minderheit 30% der US-Bevölkerung repräsentiert, wird die Mehrheit der Umfragen davon ausgehen, dass 30% der Wähler von dieser Minderheit vertreten sind, und dies entspricht einem Zuwachs von 21% für Hillary. In Wirklichkeit waren weiße Männer der Mittel- und Oberschicht unter den Wählern besser vertreten. Weniger als 50% der teilnahmeberechtigten Personen stimmten, was nicht zu 50% bei allen Geschlechtern, Rennen usw. führte.

Oder Umfragen gingen von einer perfekten Randomisierung aus und basierten auf deren Modellen. In Wirklichkeit waren die Wählerdaten jedoch auf ältere Männer der mittleren bis oberen Klasse ausgerichtet.

Oder die Umfragen gingen nicht genau von einer perfekten Randomisierung aus, aber ihre Extrapolationsparameter unterschätzten die Heterogenität der Wählerdemografie.

ETA: Die Umfragen der letzten beiden Wahlen verliefen besser, da die Stimmen von Gruppen, die normalerweise nicht gut vertreten sind, stärker berücksichtigt wurden.

brian
quelle
Soweit ich weiß, basieren alle Umfragen auf „wahrscheinlichen Wählern“. Ich kann mir keine Umfragen vorstellen, bei denen angenommen wird, dass ein 20-Jähriger die gleiche Wahlmöglichkeit hat wie ein 70-Jähriger. Zentraler scheint das Problem zu sein: Wie wahrscheinlich ist es, dass jemand abstimmt?
dimpol
Die Bilanzierung der Demografie ist der einfachste Teil. Sie gewichten einfach Ihre Stichprobenpopulation auf die tatsächliche Population um. Die Wahlbeteiligung und die in den anderen Antworten erwähnten Vorurteile zu berücksichtigen, ist jedoch viel schwieriger.
Graipher
Die Art und Weise, wie die Meinungsforscher diese Probleme angehen, ist recht unterschiedlich. Einige demografisch oder parteibezogen, andere nicht. Da es jedoch Abweichungen bei den Modellen gibt, die Durchschnittswerte verwenden, sollte das Endergebnis robust gegenüber Problemen sein, die bei einer Methode auftreten, die von anderen Umfragen nicht geteilt wird, insbesondere nach Berücksichtigung historischer parteipolitischer Vorurteile (dh Hauseffekte) Abrufvorgänge. Die Probleme in den durchschnittlichen Abfrageergebnissen müssen von gemeinsamen Methoden oder Effekten herrühren, nicht von Methoden, die für jede Abfrage spezifisch sind.
Ohwilleke
0

HoraceT und CliffAB (sorry für zu lange Kommentare) Ich fürchte, ich habe ein Leben lang Beispiele, die mir auch beigebracht haben, dass ich mit ihren Erklärungen sehr vorsichtig sein muss, wenn ich es vermeiden möchte, Menschen zu beleidigen. Also bitte ich Sie um Geduld, auch wenn ich Ihre Nachsicht nicht will. Hier geht:

Um mit einem extremen Beispiel zu beginnen, sah ich einmal eine vorgeschlagene Umfragefrage, in der Analphabeten von Dorfbauern (Südostasien) gebeten wurden, ihre "wirtschaftliche Rendite" zu schätzen. Wenn wir die Antwortoptionen für den Moment beiseite lassen, können wir hoffentlich alle sehen, dass dies eine dumme Sache ist, aber es ist nicht so einfach, konsequent zu erklären, warum es dumm ist. Ja, wir können einfach sagen, dass es dumm ist, weil der Befragte die Frage nicht versteht und sie einfach als semantisches Problem abweist. Aber das ist im Forschungskontext nicht gut genug. Die Tatsache, dass diese Frage jemals nahegelegt wurde, impliziert, dass Forscher inhärente Variabilität in Bezug auf das haben, was sie als "dumm" betrachten. Um dies objektiver anzugehen, müssen wir einen Schritt zurücktreten und transparent einen relevanten Rahmen für die Entscheidungsfindung in Bezug auf solche Dinge festlegen. Es gibt viele solche Optionen,

Nehmen wir also transparent an, dass wir zwei grundlegende Informationstypen haben, die wir für Analysen verwenden können: qualitativ und quantitativ. Und dass die beiden durch einen Transformationsprozess verbunden sind, sodass alle quantitativen Informationen als qualitative Informationen begannen, aber die folgenden (stark vereinfachten) Schritte durchliefen:

  1. Konventionen (z. B. haben wir alle beschlossen, dass [unabhängig davon, wie wir es individuell wahrnehmen], wir alle die Farbe eines tagsüber geöffneten Himmels „blau“ nennen.)
  2. Klassifizierung (zB wir bewerten alles in einem Raum nach dieser Konvention und unterteilen alle Gegenstände in "blaue" oder "nicht blaue" Kategorien)
  3. Zählen (wir zählen / erkennen die 'Menge' der blauen Dinge im Raum)

Beachten Sie, dass es (unter diesem Modell) ohne Schritt 1 keine Qualität gibt. Wenn Sie nicht mit Schritt 1 beginnen, können Sie niemals eine aussagekräftige Menge generieren.

Einmal gesagt, sieht das alles sehr offensichtlich aus, aber es sind solche Sätze erster Prinzipien, die (wie ich finde) am häufigsten übersehen werden und daher zu "Garbage-In" führen.

Die 'Dummheit' im obigen Beispiel wird also sehr klar als ein Misserfolg definiert, eine gemeinsame Konvention zwischen dem Forscher und den Befragten festzulegen. Natürlich ist dies ein extremes Beispiel, aber viel subtilere Fehler können ebenso Müll erzeugen. Ein anderes Beispiel, das ich gesehen habe, ist eine Umfrage unter Bauern im ländlichen Somalia, bei der die Frage gestellt wurde, inwiefern sich der Klimawandel auf Ihren Lebensunterhalt ausgewirkt hat. Auch wenn ich die Reaktionsmöglichkeiten für den Moment beiseite lasse, würde ich vorschlagen, dies sogar von Bauern im Mittleren Westen von Somalia zu verlangen Die Vereinigten Staaten würden ein schwerwiegendes Versäumnis darstellen, eine gemeinsame Konvention zwischen dem Forscher und dem Befragten anzuwenden (dh was als "Klimawandel" gemessen wird).

Kommen wir nun zu den Antwortoptionen. Indem Sie den Befragten erlauben, Antworten aus einer Reihe von Multiple-Choice-Optionen oder ähnlichen Konstrukten selbst zu codieren, bringen Sie dieses Problem der Konvention auch in diesen Aspekt des Fragens. Dies kann in Ordnung sein, wenn wir uns alle effektiv an „universelle“ Konventionen in Bezug auf Antwortkategorien halten (z. B. Frage: In welcher Stadt leben Sie? Antwortkategorien: Liste aller Städte im Forschungsgebiet [plus „Nicht in diesem Gebiet“]). Viele Forscher scheinen jedoch stolz darauf zu sein, ihre Fragen und Antwortkategorien genau auf ihre Bedürfnisse abzustimmen. In der gleichen Umfrage, in der die Frage nach der wirtschaftlichen Rendite auftauchte, bat der Forscher auch die Befragten (arme Dorfbewohner), anzugeben, zu welchem ​​Wirtschaftszweig sie beigetragen haben: mit den Antwortkategorien „Produktion“, „Dienstleistung“, "Herstellung" und "Marketing". Auch hier ergibt sich offensichtlich eine qualitative Konventionsfrage. Da sich die Antworten jedoch gegenseitig ausschlossen, konnten die Befragten nur eine Option auswählen (weil „es einfacher ist, auf diese Weise in SPSS einzuspeisen“), und die Bauern in den Dörfern produzieren routinemäßig Getreide, verkaufen ihre Arbeitskräfte, stellen Kunsthandwerk her und nehmen alles in die Hand Dieser Forscher hatte nicht nur ein Konventionsproblem mit seinen Befragten, er hatte auch eines mit der Realität.

Aus diesem Grund empfehlen alte Bohrer wie ich immer den arbeitsintensiveren Ansatz, die Codierung auf die Nacherfassung von Daten anzuwenden. Zumindest können Sie Codierer in von Forschern abgehaltenen Konventionen ausreichend schulen (und beachten Sie, dass Sie versuchen, den Befragten solche Konventionen zu vermitteln in umfrage anleitung 'ist ein tassenspiel - vertraue mir erstmal auf dieses). Beachten Sie auch, dass, wenn Sie das oben genannte "Informationsmodell" akzeptieren (was ich auch nicht behaupte), es auch zeigt, warum quasi-ordinale Antwortskalen einen schlechten Ruf haben. Es sind nicht nur die grundlegenden mathematischen Fragen gemäß der Steven-Konvention (dh Sie müssen einen aussagekräftigen Ursprung auch für Ordnungszahlen definieren, Sie können sie nicht hinzufügen und mitteln usw. usw.). es ist auch so, dass sie oft nie einen transparent deklarierten und logisch konsistenten Transformationsprozess durchlaufen haben, der einer „Quantifizierung“ gleichkommt (dh eine erweiterte Version des oben verwendeten Modells, die auch die Generierung von „ordinalen Größen“ umfasst [- das ist nicht schwer] machen]). Erfüllt es jedoch nicht die Anforderungen an qualitative oder quantitative Informationen, so behauptet der Forscher tatsächlich, eine neue Art von Informationen außerhalb des Rahmens entdeckt zu haben, und muss daher seine grundlegende konzeptionelle Grundlage vollständig erläutern ( dh ein neues Framework transparent definieren).

Schauen wir uns zum Schluss die Stichprobenprobleme an (und ich denke, dies stimmt mit einigen der anderen Antworten überein, die bereits hier gegeben wurden). Wenn ein Forscher beispielsweise eine Konvention anwenden möchte, die einen „liberalen“ Wähler ausmacht, muss er sicherstellen, dass die demografischen Informationen, die er für die Auswahl seines Stichprobenregimes verwendet, mit dieser Konvention übereinstimmen. Diese Ebene ist in der Regel am einfachsten zu identifizieren und zu handhaben, da sie weitgehend der Kontrolle der Forscher unterliegt und am häufigsten die Art der angenommenen qualitativen Konvention ist, die in der Forschung transparent deklariert wird. Dies ist auch der Grund, warum diese Ebene in der Regel diskutiert oder kritisiert wird, während die grundlegenderen Fragen nicht behandelt werden.

Während sich die Umfrageteilnehmer also an Fragen wie "Wen planen Sie zu diesem Zeitpunkt zu wählen?" Halten, sind wir wahrscheinlich noch in Ordnung, aber viele von ihnen möchten viel "schicker" werden als diese ...

colin
quelle