Was ist, wenn Ihre Zufallsstichprobe eindeutig nicht repräsentativ ist?

Was ist, wenn Sie eine Zufallsstichprobe entnehmen und feststellen, dass diese eindeutig nicht repräsentativ ist, wie in einer aktuellen Frage . Was ist zum Beispiel, wenn die Populationsverteilung bei 0 symmetrisch sein soll und die Stichprobe, die Sie zufällig ziehen, ungleiche positive und negative Beobachtungen aufweist und die Ungleichheit statistisch signifikant ist? Welche vernünftigen Aussagen können Sie über die Bevölkerung anhand einer voreingenommenen Stichprobe machen? Was ist eine vernünftige Vorgehensweise in einer solchen Situation? Ist es wichtig, wenn wir in unserer Forschung dieses Ungleichgewicht bemerken?

sampling experiment-design inference sample Joel W.
quelle

Michael, es ist zu erwarten, dass dieses Problem einmal in 20 auftritt, wenn wir die statistische Signifikanz als Metrik verwenden. Meistens wissen wir nicht, wann wir zufällig eine nicht repräsentative Stichprobe ausgewählt haben, weil wir nicht genug über die Bevölkerung wissen. Aber wenn wir etwas über die Bevölkerung wissen und eine solche Anomalie feststellen, was tun wir dann?

Joel W.

Ja, die richtigste Vorgehensweise ist, eine ausreichend große Zufallsstichprobe zu erhalten, wie @MichaelChernick schrieb. Einer meiner Professoren hat mir jedoch durch Monte-Carlo-Simulation bestätigt, dass es nicht so richtig ist, statistische Einheiten zur Stichprobe hinzuzufügen, wenn ein Forscher die Stichprobe vergrößern muss, sondern die Stichprobe muss wiederholt werden. Andernfalls kann die Statistik verzerrt sein (noch einmal!).

das.ist.nicht.ein.Nick

@Michael, ich verstehe nicht, warum deine Aussage wahr ist. Ein p-Wert von weniger als 0,05 tritt unter der Nullhypothese unabhängig von der Stichprobengröße in 5% der Fälle auf . Wie kann es also möglich sein, dass größere Stichprobengrößen dieses Problem lösen? Es scheint mir, dass Ihre Empfehlung den Leser implizit dazu einlädt, die Größe und die Stärke von Hypothesentests zu verwechseln.

Whuber

@Michael, was meinst du damit, dass wir mehr Daten nach dem Zufallsprinzip sammeln sollen? Sollen wir hoffen, dass wir zufällig eine Stichprobe ziehen, die in die andere Richtung verzerrt ist? Wie viele zusätzliche Fälle sollten wir auf jeden Fall zeichnen? Schlagen Sie vor, dass wir zu Beginn eine Zahl festlegen oder eine Stoppregel anwenden? Wenn es sich um eine Stoppregel handelt, wie könnte sie aussehen? Selbst wenn die resultierende größere Stichprobe keine statistisch signifikante Abweichung aufweist, besteht sie bekanntermaßen aus zwei Stichproben, eine mit Abweichung und eine ohne Abweichung. Welche vernünftigen Aussagen können Sie zu der Population machen, die auf einer solch komplexen Stichprobe basiert?

Joel W.

@Michael Eine alternative Schlussfolgerung ist, dass eine hoch signifikante, stark verzerrte Stichprobe auf ein Problem mit dem Stichprobenverfahren hinweist. In diesem Fall bleibt die fehlende Symmetrie bei einer größeren Stichprobe bestehen.

Whuber

Antworten:

Die Antwort von MLS (Use Important Sampling) ist nur so gut wie die Annahmen, die Sie über Ihre Verteilungen treffen können. Die Hauptstärke des Paradigmas der endlichen Populationsstichprobe besteht darin, dass es nicht parametrisch ist, da es keine Annahmen über die Verteilung der Daten macht, um (gültige) Rückschlüsse auf die endlichen Populationsparameter zu ziehen.

Ein Ansatz zur Korrektur von Stichprobenungleichgewichten wird als Nachschichtung bezeichnet . Sie müssen die Stichprobe in nicht überlappende Klassen (nach Schichten) aufteilen und diese Klassen dann gemäß den bekannten Populationszahlen neu gewichten. Wenn bekannt ist, dass Ihre Bevölkerung einen Median von 0 hat, können Sie die positiven und negativen Beobachtungen so gewichten, dass ihre gewichteten Anteile 50-50 betragen. Wenn Sie eine unglückliche SRS mit 10 negativen Beobachtungen und 20 positiven Beobachtungen hätten, würden Sie die geben negative das gewicht von 15/10 = 1,5 und die positiven, 15/20 = 0,75.

Subtileren Formen der Probenkalibration Existieren , in dem Sie Ihre Probe kalibrieren können allgemeinere Einschränkungen, wie ein Mittelwert einer kontinuierlichen Variablen mit, dass er gleich den spezifischen Wert zu befriedigen. Die Symmetrieeinschränkung ist ziemlich schwierig zu bearbeiten, obwohl dies auch machbar sein könnte. Kann sein , Jean Opsomer etwas dazu hat er für Vermessungsdaten wurde eine Menge Kernel Schätzung Arbeit zu tun.

StasK
quelle

Wie vergleicht sich die Nachschichtung logisch oder statistisch mit dem einfachen Verwerfen der unausgeglichenen Stichprobe und dem Ziehen einer weiteren Stichprobe? (Manchmal ist das Zeichnen der Probe der arbeitsintensive Teil der Forschung, aber manchmal ist es das, was getan wird, nachdem Sie die Probe gezeichnet haben, was arbeitsintensiv ist und das Zeichnen der Probe einen relativ geringen Aufwand erfordert, wie bei vielen experimentellen Untersuchungen.)

Joel W .

Ich war noch nie in einer Situation, in der das Verwerfen der Daten die beste Antwort ist, und ich habe sie noch nie in einem der Umfragestatistikbücher erörtert gesehen. In den meisten Umfragestatistiken ist das Abrufen der Daten mindestens fünfmal teurer als die folgenden Datenverarbeitungen und -analysen (mit Ausnahme einiger billiger Webumfragen, bei denen die Datenerfassung nahezu kostenlos ist). Wenn Sie sich in einer experimentellen Welt befinden, sollten Sie Ihren Beitrag nicht mit "Sampling" markieren, sondern stattdessen "Experiment Design" verwenden.

StasK

Zufallsstichproben können eher verwendet als geschichtet werden, da es viele Möglichkeiten gibt, in einer realen Umgebung zu schichten. Es kann vorkommen, dass Sie nach der Auswahl von zwei Zufallsstichproben für ein Experiment ein offensichtliches Ungleichgewicht feststellen. Dann stecken Sie zwischen einem Stein und einem harten Ort fest: leben Sie mit dem Ungleichgewicht (z. B. alle älteren Menschen in einer Gruppe, alle Nicht-Muttersprachler in einer Gruppe, alle Doktoranden in einer Gruppe usw.) oder zeichnen Sie eine neue Stichprobe und schwächen die Verbindung zwischen dem, was Sie getan haben, und den Annahmen aller statistischen Techniken. Die Nachschichtung scheint vom zweiten Typ zu sein.

Joel W.

Ich bin hier das Junior-Mitglied, aber ich würde sagen, dass das Verwerfen und erneute Beginnen immer die beste Antwort ist, wenn Sie wissen, dass Ihre Stichprobe signifikant nicht repräsentativ ist und Sie eine Vorstellung davon haben, wie die nicht repräsentative Stichprobe überhaupt entstanden ist und wie man es nach Möglichkeit beim zweiten Mal vermeidet.

Was nützt es, ein zweites Mal zu probieren, wenn Sie wahrscheinlich im selben Boot landen?

If doing the data gathering again doesn't make sense or is prohibitively costly, you have to work with what you have, attempting to compensate for the unrepresentativeness via stratification, imputation, fancier modeling, or whatever. You need to clearly note that you compensated in this way, why you think it's necessary, and why you think it worked. Then work the uncertainty that arose from your compensation all the way through your analysis. (It will make your conclusions less certain, right?)

If you can't do that, you need to drop the project entirely.

Wayne
quelle

Was ist, wenn Sie nicht wissen, warum die Stichprobe nicht repräsentativ ist? Sind Sie dennoch berechtigt, sie zu verwerfen und eine neue Zufallsstichprobe zu ziehen? Wenn nein, warum nicht? Angenommen, Sie verwerfen die erste Stichprobe und zeichnen eine zweite. Sind die Inferenzstatistiken, die Sie auf der Grundlage der zweiten Stichprobe berechnen, aufgrund der verworfenen ersten Stichprobe in irgendeiner Weise unangemessen? Wenn Sie beispielsweise nicht repräsentative Stichproben verwerfen, ändern Sie dann die Stichprobenverteilung, auf der Ihr statistischer Test basiert? Wenn ja, machen Sie es leichter oder schwerer, statistische Signifikanz zu finden?

Joel W.

@ Wayne Gute Idee.

Subhash C. Davar

This is a partial answer that assumes we know both the distribution $q$ from which was sampled, and the true (or desired) distribution $p$ . Additionally, I assume that these distributions are different. If the samples were actually obtained through $p$ , but they look wrong: the samples are still unbiased and any adaptation (such as removing outliers) will likely add bias.

I assume you want to find some statistic $s_p = E \{ f(X) | X \sim p \}$ . For instance, $s(p)$ might be the mean of the distribution, in which case $f$ is the identity function. If you had samples $\{ x_1, \ldots, x_n \}$ obtained through $p$ , you could simply use

s_{p} \approx \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$s_p \approx \frac{1}{n} \sum_{i=1}^n f(x_i) \enspace.$ However, suppose you only have samples that were obtained (from the same domain) with a sampling distribution

x_{i} \sim q

$x_i \sim q$ . Then, we can still get an unbiased estimate of

s_{p}

$s_p$ by weighting each of the samples according to the relative probability of it occuring under each distribution:

s_{p} \approx \frac{1}{n} \sum_{i = 1}^{n} \frac{p (x_{i})}{q (x_{i})} f (x_{i}) .

$s_p \approx \frac{1}{n} \sum_{i=1}^n \frac{p(x_i)}{q(x_i)} f(x_i) \enspace.$ The reason this works is that

E {\frac{p (X)}{q (X)} f (X) | X \sim q} = \int p (X) f (X) d x,

$E \left\{ \frac{p(X)}{q(X)} f(X) \middle| X \sim q \right\} = \int p(X) f(X) dx \enspace,$ as desired. This is called importance sampling.

MLS
quelle

You say the sample is not biased and any attempt to fix the sample will add bias. I suggest that the process by which the sample was collected is without bias but, in fact, the sample is biased, perhaps seriously biased. Are there ways to try to fix the known large bias that might be expected to introduce relatively little additional bias?

Joel W.

To disambiguate the terminology a bit: I think of bias as a property of the expectation of a random variable. In other words, if the process that collects the data is unbiased, then so is the sample. However, the sample may still be atypical and lead to unwanted conclusions. Any general way to fix this induces bias, since you are adapting the (unbiased) sampling procedure. Probably the less biased approach is to collect and use new samples. A slightly more biased approach would add these new samples to the old ones, but the result might be less variable since you have more samples in total.

MLS

@Joel W. What do you mean when you say the sample is biased? Is it the estimate of the mean based on the sample that is biased? Any sample estimate is going to differ from the true mean and some can be far off. When sampling at random this is due to variance not bias. It is not right to say a sample is biased because the distribution of the sample is known to look a lot different from the distribution for the population. In small samples many can look unrepresentative for one reason or another but random sampling is not biased sampling.

Michael R. Chernick

@Michael, I agree that we must recognize and live with random variance when we have to. I am asking what we might reasonably do when we detect unintended variance. What if our random sample turns out to include relatively too many young people, or too many blue collar workers, etc., when those categories are relevant to our research? Going even further, should we check our samples to see if they are unbalanced in such ways? And does it matter if we notice this before doing further research with the sample or after we have invested resources in conducting research with the sample?

Joel W.

Covariate imbalance is very important. If it exists in a sample a regression model can be used to adjust for it. Vance Berger has written a book on this topic which I have probably cited previously on this website. Here is an amazon link to a description of the book. amazon.com/Selection-Covariate-Imbalances-Randomized-Statistics/…

Michael R. Chernick