Welche Methode simuliert p-Werte aus der erneuten Abtastung aus den Daten?

Vor einiger Zeit stellte ich eine Frage zu Korrelationszeiten zwischen Zeitstempeln und erhielt eine Antwort von Peter Ellis, dass ich mittlere Entfernungen zwischen Codes berechnen könnte ...

Dies gibt Ihnen bereits einen Eindruck davon, welche Verhaltensweisen zusammengefasst sind, aber Sie sollten auch überprüfen, ob dies nicht nur zufällig plausibel ist.

Um dies zu überprüfen, würde ich simulierte Daten erstellen, die von einem Modell unter der Nullhypothese ohne Beziehung generiert wurden. Um dies zu tun, müssten Daten für die Zeit jedes Verhaltens aus einem plausiblen Nullmodell generiert werden, wahrscheinlich basierend auf dem erneuten Abtasten der Zeiten zwischen jedem Ereignis (z. B. zwischen jedem Gähnen), um einen neuen Satz von Zeitstempeln für hypothetische Nullmodellereignisse zu erstellen. Berechnen Sie dann dieselbe Indikatorstatistik für dieses Nullmodell und vergleichen Sie sie mit dem Indikator aus Ihren Originaldaten. Wenn Sie diese Simulation mehrmals wiederholen, können Sie feststellen, ob sich der Indikator aus Ihren Daten ausreichend von den simulierten Daten des Nullmodells unterscheidet (z. B. geringere durchschnittliche Zeit von jedem Gähnen bis zur nächsten Strecke), um als statistisch signifikanter Beweis dafür zu gelten Ihre Nullhypothese.

Ich besitze endlich die Fähigkeiten, dies zu tun, und habe dies in R getan, aber ich weiß nicht, wie diese Methode oder Technik heißt, damit ich (a) mehr darüber lernen kann (b) intelligent über die Theorie hinter dem, was ich bin, sprechen kann 'Ich tue.

Einige Leute haben vorgeschlagen, dass dies als Permutationstest bezeichnet wird, andere sagen, dass es ähnlich, aber nicht dasselbe wie Bootstrapping ist, und einige haben mir gesagt, dass es mit der erneuten Probenahme in Monte Carlo zusammenhängt.

Wie heißt diese Methode des Resamplings, wenn NULL TRUE ist? Wenn Sie eine oder zwei Referenzen haben, um Ihre Antwort zu sichern, kann dies hilfreich, aber nicht notwendig sein.

Es scheint mir, dass Ellis sich hier auf bis zu drei verschiedene Ideen beziehen könnte. Zuerst sagt er etwas über das Erstellen von "simulierten Daten, die von einem Modell unter der Nullhypothese ohne Beziehung erzeugt werden". Ich würde dies eine Form von parametrischem Bootstrapping nennen . Dann sagt er, dass dies "wahrscheinlich darauf beruhen würde, die Zeiten zwischen jedem Ereignis (z. B. zwischen jedem Gähnen) neu abzutasten, um einen neuen Satz von Zeitstempeln für hypothetische Nullmodellereignisse zu erstellen." Lassen Sie uns hier nur klarstellen, dass dies nicht bedeutet , "simulierte Daten zu erstellen". Wenn ich das richtig verstehe, werden wir stattdessen erneut von unseren tatsächlich beobachteten Daten abtasten. Dieses letztere Verfahren ist entweder ein Permutationstest oder ein nichtparametrisches Bootstrapping .

Ich denke, ich sollte noch ein paar Worte über parametrisches Bootstrapping, Permutationstests und nichtparametrisches Bootstrapping sagen.

Normalerweise erfolgt das parametrische Bootstrapping durch Simulation basierend auf dem tatsächlich geschätzten Modell und nicht basierend auf einem hypothetischen Modell, das genau wie das geschätzte Modell ist, außer dass die Nullhypothese als wahr angenommen wird, wie Ellis zunächst zu vermuten scheint. Mit "Daten simulieren" meine ich so etwas wie ein Beispiel: Mein Modell besagt, dass meine Daten aus zwei Gruppen mit jeweils normaler Verteilung mit den Mitteln bzw. und der Standardabweichung , also werde ich generieren Viele Datensätze, die dies erfüllen und die Verteilung der Teststatistiken verwenden, die aus jedem dieser simulierten Datensätze berechnet wurden, sind meine Stichprobenverteilung. Beachten Sie, dass ich diese Daten mit etwas wie in erstelle , nicht mit$\mu_1$$\mu_2$$\sigma$rnorm()Rdirekt mit meinen beobachteten Daten. Nun könnte man dieses Verfahren sicherlich durchführen und eine Art Stichprobenverteilung unter der Nullhypothese von beispielsweise keinem Unterschied in den Gruppenmitteln erhalten - wir würden einfach in allen simulierten Datensätzen annehmen , im Gegensatz zu dem, was wir tatsächlich haben beobachtet - und auf diese Weise erhalten wir einen Bootstrap-p-Wert (anstelle eines Bootstrap-Konfidenzintervalls, wie es Ihnen die frühere / traditionelle Methode bietet). Auch hier würde ich dies als eine Möglichkeit bezeichnen, einen p-Wert über parametrisches Bootstrapping zu erhalten.$\mu_1=\mu_2$

Bei einem Permutationstest werden die beobachteten Daten jedoch immer wieder so gemischt, dass sie mit der Nullhypothese übereinstimmen. Wenn die Nullhypothese beispielsweise impliziert, dass die Gruppenzuweisung keinen Unterschied in Bezug auf die Gruppenmittelwerte macht, können Sie die Gruppenbezeichnungen unter all Ihren Beobachtungen viele Male zufällig mischen und sehen, welche mittleren Unterschiede Sie für alle möglichen Arten des Mischens erhalten würden auf diese Weise. Und dann würden Sie sehen, wo innerhalb der Verteilung der aus diesen gemischten Datensätzen berechneten Teststatistiken Ihre tatsächlich beobachtete Statistik liegt. Beachten Sie, dass es eine begrenzte (aber normalerweise große) Anzahl von Möglichkeiten gibt, wie Sie Ihre tatsächlich beobachteten Daten mischen können.

Schließlich ist das nichtparametrische Bootstrapping dem Permutationstest sehr ähnlich, aber wir probieren die beobachteten Daten durch Ersetzen erneut ausum zu versuchen, einer unendlichen "Population" von Werten näher zu kommen, aus denen unsere Daten stammen könnten. Es gibt viel, viel mehr Möglichkeiten, Ihre Daten durch Ersetzen neu abzutasten, als Ihre Daten zu mischen (obwohl dies auch in der Praxis technisch begrenzt ist). Ähnlich wie beim parametrischen Bootstrapping erfolgt dies normalerweise nicht unter der Nullhypothese, sondern unter dem Modell, das durch die beobachteten Daten impliziert wird, was Konfidenzintervalle um die beobachteten Teststatistiken und nicht um p-Werte ergibt. Aber man könnte sich durchaus vorstellen, dies unter der Nullhypothese zu tun, wie Ellis es vorschlägt, und auf diese Weise p-Werte zu erhalten. Als Beispiel für nichtparametrisches Bootstrapping hier (auf traditionelle Weise, dh nichtunter der Nullhypothese) unter Verwendung des gleichen Beispiels für den Unterschied in Gruppenmitteln, das ich im parametrischen Bootstrapping-Absatz verwendet habe, würden wir dazu die Beobachtungen innerhalb jeder Gruppe viele Male durch Ersetzen wiederholen, aber Beobachtungen nicht zwischen Gruppen mischen (anders als bei der Permutation) test) und bauen Sie die Stichprobenverteilung der Gruppenmittelwertunterschiede auf, die wir auf diese Weise erhalten.