Statistischer Rückschluss, wenn die Stichprobe die Grundgesamtheit ist

Stellen Sie sich vor, Sie müssen über die Anzahl der Kandidaten berichten, die jährlich einen bestimmten Test ablegen. Es scheint ziemlich schwierig zu sein, den beobachteten Prozentsatz des Erfolgs beispielsweise bei einer breiteren Population zu bestimmen, da die Zielpopulation spezifisch ist. Sie können also davon ausgehen, dass diese Daten die gesamte Bevölkerung repräsentieren.

Sind Testergebnisse, die auf ein unterschiedliches Verhältnis von Männern und Frauen hinweisen, wirklich richtig? Scheint ein Test, der beobachtete und theoretische Anteile vergleicht, korrekt zu sein, da Sie eine ganze Population (und keine Stichprobe) betrachten?

Es mag unterschiedliche Meinungen dazu geben, aber ich würde die Populationsdaten als Stichprobe behandeln und eine hypothetische Population annehmen und dann auf die übliche Weise Schlüsse ziehen. Eine Möglichkeit, darüber nachzudenken, besteht darin, dass ein zugrunde liegender Datenerzeugungsprozess für die gesammelten Daten, die "Bevölkerungsverteilung", verantwortlich ist.

In Ihrem speziellen Fall ist dies möglicherweise noch sinnvoller, da Sie in Zukunft Kohorten haben werden. Dann ist Ihre Bevölkerung wirklich Kohorten, die den Test auch in Zukunft machen. Auf diese Weise können Sie zeitliche Schwankungen berücksichtigen, wenn Sie Daten für mehr als ein Jahr haben, oder versuchen, latente Faktoren durch Ihr Fehlermodell zu berücksichtigen. Kurz gesagt, Sie können umfangreichere Modelle mit größerer Aussagekraft entwickeln.

Wenn Sie sich wirklich sicher sind, dass Sie die gesamte Bevölkerung haben, brauchen Sie nicht einmal Statistiken zu erstellen. Dann wissen Sie genau, wie groß der Unterschied ist, und es gibt keinen Grund mehr, ihn zu testen. Ein klassischer Fehler ist die Verwendung statistischer Signifikanz als "relevante" Signifikanz. Wenn Sie die Population abgetastet haben, ist der Unterschied der, was es ist.

Wenn Sie andererseits Ihre Hypothese neu formulieren, können die Kandidaten als Stichprobe möglicher Kandidaten angesehen werden, die statistische Tests ermöglichen würden. In diesem Fall würden Sie im Allgemeinen testen, ob sich Mann und Frau bei dem vorliegenden Test unterscheiden.

Wie bereits erwähnt, können Sie mehrjährige Tests verwenden und die Zeit als Zufallsfaktor hinzufügen. Wenn Sie sich jedoch wirklich für die Unterschiede zwischen diesen Kandidaten in diesem speziellen Test interessieren, können Sie die Verallgemeinerung nicht verwenden, und das Testen ist sinnlos.

Traditionell wird die statistische Inferenz im Zusammenhang mit Wahrscheinlichkeitsstichproben und der Art des Stichprobenfehlers gelehrt. Dieses Modell ist die Grundlage für den Signifikanztest. Es gibt jedoch auch andere Möglichkeiten, systematische Abweichungen vom Zufall zu modellieren, und es stellt sich heraus, dass unsere parametrischen (stichprobenbasierten) Tests tendenziell gute Annäherungen an diese Alternativen sind.

Parametrische Hypothesentests stützen sich auf die Stichprobentheorie, um Schätzungen des wahrscheinlichen Fehlers zu erhalten. Wenn einer Grundgesamtheit eine Stichprobe einer bestimmten Größe entnommen wird, sind Tests und Konfidenzintervalle nach Kenntnis der systematischen Art der Stichprobe von Bedeutung. Bei einer Population ist die Stichprobentheorie einfach nicht relevant und Tests sind im herkömmlichen Sinne nicht aussagekräftig. Inferenz ist nutzlos, es gibt nichts, worauf man schließen kann, es gibt nur das, was ... den Parameter selbst.

Einige umgehen dies, indem sie Superpopulationen ansprechen, für die die aktuelle Volkszählung steht. Ich finde diese Appelle nicht überzeugend - parametrische Tests basieren auf Wahrscheinlichkeitsstichproben und ihren Eigenschaften. Eine Population zu einem bestimmten Zeitpunkt kann eine Stichprobe einer größeren Population im Zeit- und Ortsverlauf sein. Ich sehe jedoch keine Möglichkeit, zu Recht zu behaupten, dass dies eine Zufallsstichprobe (oder allgemein eine Form einer Wahrscheinlichkeitsstichprobe) ist. Ohne eine Wahrscheinlichkeitsstichprobe sind die Stichprobentheorie und die traditionelle Logik des Testens einfach nicht anwendbar. Genauso gut können Sie anhand einer Convenience-Probe testen.

Um Tests bei der Verwendung einer Population zu akzeptieren, müssen wir natürlich auf die Grundlage dieser Tests bei Stichprobenverfahren verzichten. Ein Weg, dies zu tun, besteht darin, den engen Zusammenhang zwischen unseren probentheoretischen Tests - wie t, Z und F - und Randomisierungsverfahren zu erkennen. Randomisierungstests basieren auf der vorliegenden Stichprobe. Wenn ich Daten über das Einkommen von Männern und Frauen sammle, sind das Wahrscheinlichkeitsmodell und die Grundlage für unsere Fehlerschätzungen wiederholte zufällige Zuordnungen der tatsächlichen Datenwerte. Ich konnte beobachtete Unterschiede zwischen Gruppen mit einer Verteilung vergleichen, die auf dieser Randomisierung basierte. (Das machen wir übrigens immer wieder in Experimenten, bei denen die Zufallsauswahl aus einem Populationsmodell selten angemessen ist).

Nun stellt sich heraus, dass probentheoretische Tests oft gute Annäherungen an Randomisierungstests sind. Letztendlich denke ich, dass Tests aus Populationen in diesem Rahmen nützlich und sinnvoll sind und dazu beitragen können, systematische von zufälligen Variationen zu unterscheiden - genau wie bei stichprobenbasierten Tests. Die Logik, die verwendet wird, um dorthin zu gelangen, ist ein wenig anders, hat jedoch keinen großen Einfluss auf die praktische Bedeutung und Verwendung von Tests. Natürlich ist es möglicherweise besser, nur Randomisierungs- und Permutationstests zu verwenden, da diese bei all unserer modernen Rechenleistung leicht verfügbar sind.

Angenommen, die Ergebnisse deuten darauf hin, dass sich die Kandidaten nach Geschlecht unterscheiden. Zum Beispiel ist der Anteil derjenigen, die die Tests abgeschlossen haben, wie folgt: 40% weiblich und 60% männlich. Um das Offensichtliche zu verdeutlichen: 40% unterscheiden sich von 60%. Jetzt ist es wichtig zu entscheiden: 1) Ihre interessierende Bevölkerung; 2) Wie hängen Ihre Beobachtungen mit der interessierenden Bevölkerung zusammen? Hier einige Details zu diesen beiden Problemen:

1. Wenn es sich bei Ihrer interessierenden Population nur um die Kandidaten handelt, die Sie beobachtet haben (z. B. die 100 Kandidaten, die sich 2016 an einer Universität beworben haben), müssen Sie keine statistischen Signifikanztests melden. Dies liegt daran, dass Ihre interessierende Bevölkerung vollständig beprobt wurde. Alles, was Sie interessiert, sind die 100 Kandidaten, zu denen Sie vollständige Daten haben. Das heißt, 60% sind Punkt, anders als 40%. Die Art der Frage, auf die diese Antwort lautet: Gab es geschlechtsspezifische Unterschiede in der Bevölkerung von 100 Personen, die für das Programm zutrafen? Dies ist eine beschreibende Frage und die Antwort lautet Ja.

2. Viele wichtige Fragen beziehen sich jedoch darauf, was in unterschiedlichen Umgebungen passieren wird. Das heißt, viele Forscher möchten Trends über die Vergangenheit entwickeln, die uns helfen, die Zukunft vorherzusagen (und dann zu planen). Eine Beispielfrage in diesem Zusammenhang wäre: Wie wahrscheinlich ist es, dass zukünftige Tests von Kandidaten geschlechtsspezifisch unterschiedlich ausfallen? Die Population von Interesse ist dann breiter als in Szenario 1 oben. An dieser Stelle ist eine wichtige Frage zu stellen: Sind Ihre beobachteten Daten wahrscheinlich repräsentativ für zukünftige Trends? Dies ist eine inferentielle Frage, und basierend auf den Informationen, die das Originalplakat liefert, lautet die Antwort: Wir wissen es nicht.

Zusammenfassend hängt die von Ihnen gemeldete Statistik von der Art der Frage ab, die Sie beantworten möchten.

Das Nachdenken über Grundlagenforschung kann am hilfreichsten sein (versuchen Sie es hier: http://www.socialresearchmethods.net/kb/design.php ). Das Nachdenken über Superpopulationen kann hilfreich sein, wenn Sie erweiterte Informationen wünschen (hier ist ein Artikel, der hilfreich sein kann: http://projecteuclid.org/euclid.ss/1023798999#ui-tabs-1 ).

Wenn Sie alles, was Sie messen, als zufälligen Prozess betrachten, sind statistische Tests relevant. Werfen Sie beispielsweise zehnmal eine Münze, um festzustellen, ob sie fair ist. Du bekommst 6 Köpfe und 4 Schwänze - was schlussfolgerst du?