Randomisierung der nicht zufälligen Stichprobe

9

Ich bin immer ein bisschen überrascht, psychologische Anzeigen für die Teilnahme an experimentellen Studien zu sehen. Personen, die auf diese Anzeigen antworten, werden nicht zufällig ausgewählt und sind daher eine selbst ausgewählte Population.

Da bekannt ist, dass die Randomisierung das Selbstauswahlproblem löst, habe ich mich gefragt, ob die Randomisierung einer nicht zufälligen Stichprobe tatsächlich etwas geändert hat.

Was denkst du ? Und was sollen wir aus all diesen psychologischen Experimenten machen, die auf einer stark selbst ausgewählten Stichprobe basieren?

Giac
quelle

Antworten:

10

Die Randomisierung in einer nicht zufälligen Stichprobe kann immer noch zeigen, dass ein Effekt nicht durch zufällige Variation erklärt werden kann.

Stellen Sie sich zum Beispiel vor, wir haben eine Population mit zwei nicht erkannten Untergruppen (mit etwas unterschiedlichen Merkmalen *) von ungefähr gleicher Größe, aber Ihre Stichprobe ist nicht zufällig und ergibt eine Aufteilung von 80/20. Stellen wir uns 2 gleich große Behandlungsgruppen vor. Die Randomisierung (zumindest bei angemessenen Stichprobengrößen) führt in der Regel zu einer Aufteilung von 80/20 in jeder Gruppe, sodass die Behandlungseffekte eher auf die Behandlung zurückzuführen sind als auf die ungleiche Zuordnung der heterogenen Gruppen zu den Behandlungen.

* was beispielsweise zu unterschiedlichen Grundlinienmitteln führt

Das Problem tritt auf, wenn Sie die Inferenz auf eine andere Zielpopulation ausweiten möchten, als die, für die Ihre Stichprobe repräsentativ ist (die Selbstselektoren). Dies erfordert Annahmen / ein Argument, für das Sie möglicherweise keine Beweise haben (z. B. die Annahme, dass die Behandlungsunterschiede für alle Untergruppen der Bevölkerung konsistent sind).

Stellen Sie sich für eine ähnliche Situation vor, Sie testen ein Medikament gegen Bluthochdruck nur bei Männern im Vergleich zu einer Standardbehandlung und einem Placebo. Angenommen, die Männer sind ordnungsgemäß in die Behandlungsgruppe randomisiert. Ein Behandlungseffekt wird in dem Sinne real sein, dass er tatsächlich einen Effekt bei Männern beschreibt. Die Schwierigkeit wird auftreten, wenn versucht wird, diese Schlussfolgerung auf Frauen auszudehnen .

Wenn sie also, abgesehen von der Rekrutierung, ordnungsgemäß durchgeführt und randomisiert werden , wird ein signifikanter Effekt beobachtet, wie es scheint, aber er gilt für das, was Sie tatsächlich beprobt haben, nicht unbedingt für das, was Ihr gewünschtes Ziel war - das Überqueren der Lücke zwischen beiden kann erfordern sorgfältige Argumentation; ein solches Argument fehlt oft.

Als ich Student war, war es durchaus üblich, dass Psychologieexperimente an Psychologiestudenten durchgeführt wurden, von denen erwartet wurde, dass sie sich für eine bestimmte Anzahl von Stunden solcher Experimente freiwillig melden (dies mag immer noch der Fall sein, aber ich habe keinen regelmäßigen Kontakt zu Psychologen die nicht mehr experimentieren). Bei einer Randomisierung der Behandlung waren die Schlussfolgerungen möglicherweise gültig (abhängig davon, was getan wurde), würden jedoch für die lokale Bevölkerung selbst ausgewählter Psychologiestudenten gelten (da sie im Allgemeinen auswählen, für welche Experimente sie sich anmelden möchten), von denen sie weit entfernt sind eine Zufallsstichprobe der breiteren Bevölkerung.

Glen_b - Monica neu starten
quelle
Die Rekrutierung armer Studenten ist immer noch üblich. Dass von einem Psychologiestudenten erwartet wird, dass er an solchen Studien teilnimmt, ist ein schrecklicher Verstoß gegen die Integrität der Forschung, IMO.
StasK
@StasK: Warum? Früher fand ich sie ziemlich interessant, und ich würde mir vorstellen, dass die Teilnahme an ihnen den Psychologiestudenten eine nützliche Perspektive bietet.
Scortchi - Monica wieder einsetzen
1
Ja, das "Intro Psych Pool" -Modell ist noch am Leben und gut. @StasK, um es etwas weniger zwanghaft zu machen, werden die Schüler nur gebeten, an einigen Experimenten teilzunehmen, und sie können auswählen, welche. Ich denke, wir haben auch eine Möglichkeit für die Studenten, sich von der ganzen Sache abzumelden.
Matt Krause
2
Heutzutage sind die Leute auch wild auf Amazon Mechanical Turk, Google Consumer Surveys und einige andere "Cloud" -Dinge. Diese geben Ihnen theoretisch Zugang zu anderen Themenpools, aber es gibt auch viele Probleme (die "Bedingungen" sind viel variabler, die Themen sind möglicherweise weniger motiviert und Sie haben keine wirkliche Möglichkeit zu wissen, ob sie die sind, die sie sagen ...). Studenten sind genau dort, ziemlich motiviert, das Experiment durchzuführen, und oft bereit, günstig zu arbeiten.
Matt Krause
@MattKrause: Zu meiner Zeit nahmen Sie an einer Verlosung für eine Flasche Wein teil - es gab nie einen Mangel an Freiwilligen.
Scortchi - Monica wieder einsetzen
6

Da bekannt ist, dass die Randomisierung das Selbstauswahlproblem löst, habe ich mich gefragt, ob die Randomisierung einer nicht zufälligen Stichprobe tatsächlich etwas geändert hat.

Kurz gesagt, nein. Stellen Sie sich das so vor: Sie haben eine Urne mit 100 schwarzen und 100 weißen Kugeln. Sie probieren 90 schwarze und 10 weiße Kugeln aus. Eine zufällige Stichprobe aus dieser Teilstichprobe ermöglicht keinen unvoreingenommenen Rückschluss auf die Urne selbst.

Und was sollen wir aus all diesen psychologischen Experimenten machen, die auf einer stark selbst ausgewählten Stichprobe basieren?

Die Leute sind sich einig, dass nicht zufällige Stichproben ein Problem sind. Aber wie viel von einem Problem ist auch eine Frage Ihrer "Theorie" des Mechanismus, an dem Sie interessiert sind. Wenn Ihre Hypothese einen Mechanismus behandelt, der grundsätzlich für alle Menschen gleich sein sollte (dh ein Einfrieren beim Eintauchen in Eis erleben Wasser), dann ist die nicht zufällige Auswahl nicht so wichtig. Leider sind das oft nicht die Dinge, an denen wir interessiert sind.

abaumann
quelle
Psychologen stellen Fragen wie "Wenn ich versuche, einen Ball zu brechen, indem ich ihn gegen die Wand werfe, anstatt ihn auf einen Tisch zu legen und ihn mit einem Hammer zu schlagen, welches Verfahren ist es wahrscheinlicher, ihn zu spalten?" Sie versuchen nicht, auf die Anzahl der Kugeln jeder Farbe zu schließen, sondern auf den Bruchmodus in Bezug auf die Randomisierung in diesen Modus.
StasK
Nicht unbedingt, Stas. In einigen Fällen (zum Beispiel beim Stroop-Effekt) besteht das Ziel darin, einen kognitiven Mechanismus zu verallgemeinern, der allen Menschen eigen ist. Selbst wenn wir Behandlungen vergleichen, lässt die Randomisierung innerhalb der Stichprobe keinen unvoreingenommenen Rückschluss auf die Bevölkerung zu (was uns interessiert).
Abaumann
1

Es gibt eine Technik, die entwickelt wurde, um die von Ihnen erwähnten Probleme zu lösen, die als Bootstrapping bezeichnet werden. Bootstrapping ist ein Ansatz, bei dem Sie neue synthetische Samples generieren, indem Sie mit Ersatz aus Ihrem tatsächlichen Sample-Pool ziehen . Anschließend erstellen Sie Statistiken zu jedem dieser synthetischen Stichprobenpools und vergleichen die Statistiken zwischen den Sätzen.

Dies hat den großen Vorteil, dass Sie eine Vielzahl zusätzlicher Tools in Ihren Statistiken verwenden können, da diese synthetischen Proben aus einer bekannten Verteilung stammen. Sie können dann feststellen, wie gut Ihre Schätzer mit diesen synthetischen Fällen umgehen können. Wenn Sie feststellen, dass die Schätzer für alle Ihre synthetischen Stichproben gut zum gleichen Ergebnis konvergieren, können Sie anhand der Bootstrapping-Annahmen schließen, dass Ihre Schätzer, wenn sie auf die vollständige Stichprobe angewendet werden, gute Schätzungen für die unbekannte Population liefern. Wenn Sie andererseits feststellen, dass Ihre Schätzer von synthetischem Stichprobensatz zu synthetischem Stichprobensatz sehr unterschiedliche Ergebnisse liefern, sollten Sie daraus schließen, dass Ihre Schätzer bei Anwendung auf die vollständige Stichprobe möglicherweise keine sehr gute Schätzung für die unbekannte Population liefern.

Dieser Bootstrapping-Ansatz kann verwendet werden, um zu überprüfen, ob die Randomisierung Ihrer nicht zufälligen Stichprobe ausreichend ist. Es kann es natürlich nicht beweisen, aber es wurde als Instrument zur Verbesserung der Glaubwürdigkeit verwendet, indem Ihre Annahme, dass Ihre Zufallsstichprobe ausreichend zufällig ist, doppelt überprüft wird.

Cort Ammon
quelle
2
Beim Bootstrapping wird davon ausgegangen, dass Ihre Stichprobe der Grundgesamtheit sehr ähnlich ist. Bootstrapping ist nutzlos, wenn Ihre Stichprobe nicht repräsentativ für die Population ist. Daher bin ich mir nicht sicher, wie Bootstrapping das Problem nicht zufälliger Stichproben lösen kann.
Hotaka