Was bedeutet ein Konfidenzintervall aus Bootstrapped Resamples?

38

Ich habe auf dieser Website zahlreiche Fragen zu Bootstrapping und Konfidenzintervallen geprüft, bin aber immer noch verwirrt. Ein Grund für meine Verwirrung ist wahrscheinlich, dass ich in meinen statistischen Kenntnissen nicht weit genug fortgeschritten bin, um viele der Antworten zu verstehen. Ich bin ungefähr in der Mitte eines Statistik-Einführungskurses und mein Mathematiklevel liegt nur in der Mitte von Algebra II, also verwirrt mich alles, was darüber hinausgeht. Wenn einer der sachkundigen Personen auf dieser Website dieses Problem auf meiner Ebene erklären könnte, wäre dies äußerst hilfreich.

Wir haben in der Klasse gelernt, wie man Resamples mit der Bootstrap-Methode erstellt und daraus ein Konfidenzintervall für eine Statistik erstellt, die wir messen möchten. Angenommen, wir ziehen eine Stichprobe aus einer großen Population und stellen fest, dass 40% für Kandidat A stimmen. Wir gehen davon aus, dass diese Stichprobe die ursprüngliche Population ziemlich genau widerspiegelt. In diesem Fall können wir erneut Stichproben entnehmen es etwas über die Bevölkerung zu entdecken. Wir nehmen also Resamples und stellen (unter Verwendung eines 95% -Konfidenzniveaus) fest, dass das resultierende Konfidenzintervall zwischen 35% und 45% liegt.

Meine Frage ist, was bedeutet das Konfidenzintervall eigentlich bedeuten ?

Ich lese immer wieder, dass es einen Unterschied zwischen (häufigen) Konfidenzintervallen und (bayesianischen) glaubwürdigen Intervallen gibt. Wenn ich richtig verstanden hat , wäre ein glaubwürdiges Intervall sagen , dass es eine 95% ige Chance , dass in unserer Situation der wahren Parameter innerhalb des vorgegebenen Intervalls (35% -45%), während ein Konfidenzintervall sagen würde , dass es ein 95%, dass diese Art der Situation (aber nicht unbedingt in unserer Situation speziell) Die von uns verwendete Methode würde genau angeben, dass der wahre Parameter innerhalb des angegebenen Intervalls liegt.

Unter der Annahme, dass diese Definition korrekt ist, lautet meine Frage: Worum geht es bei der Verwendung von Konfidenzintervallen, die mit der Bootstrap-Methode erstellt wurden? Beziehen wir uns auf (a) den wahren Parameter der ursprünglichen Grundgesamtheit oder (b) den wahren Parameter der Stichprobe ? Wenn (a), dann würden wir sagen, dass die Bootstrap-Methode in 95% der Fälle zutreffende Aussagen über die ursprüngliche Population liefert. Aber woher können wir das wissen? Beruht die gesamte Bootstrap-Methode nicht auf der Annahmedass die ursprüngliche Stichprobe genau die Bevölkerung widerspiegelt, aus der sie entnommen wurde? Wenn (b) dann verstehe ich die Bedeutung des Konfidenzintervalls überhaupt nicht. Kennen wir den wahren Parameter der Stichprobe nicht schon? Es ist eine einfache Messung!

Ich habe das mit meiner Lehrerin besprochen und sie war sehr hilfsbereit. Aber ich bin immer noch verwirrt.

Iarwain
quelle

Antworten:

28

Wenn das Bootstrapping-Verfahren und die Bildung des Konfidenzintervalls korrekt durchgeführt wurden, bedeutet dies dasselbe wie bei jedem anderen Konfidenzintervall. Aus der Sicht des Frequenzspektrums impliziert ein 95% -KI, dass 95% der auf diese Weise gebildeten Konfidenzintervalle den wahren Wert enthalten , wenn die gesamte Studie identisch und unendlich oft wiederholt wurde . Natürlich enthält das Konfidenzintervall in Ihrer Studie oder in einer bestimmten Einzelstudie entweder den wahren Wert oder nicht, aber Sie wissen nicht, welchen. Um diese Ideen besser zu verstehen, kann es hilfreich sein, meine Antwort hier zu lesen: Warum impliziert ein 95% iges Konfidenzintervall (CI) keine 95% ige Chance, den Mittelwert zu enthalten?

In Bezug auf Ihre weiteren Fragen bezieht sich der „wahre Wert“ auf den tatsächlichen Parameter der relevanten Population. (Stichproben haben keine Parameter, sie haben Statistiken . Beispielsweise ist der Stichprobenmittelwert eine Stichprobenstatistik, der Populationsmittelwert jedoch ein Populationsparameter.) Wie wir das in der Praxis wissen wir nicht. Sie haben Recht, dass wir uns auf einige Annahmen stützen - wir sind es immer. Wenn diese Annahmen richtig sind, kann nachgewiesen werden, dass die Eigenschaften gelten. Dies war der Punkt, an dem Efron in den späten 1970er und frühen 1980er Jahren gearbeitet hat, aber die meisten Menschen können der Mathematik nur schwer folgen. Eine etwas mathematische Erklärung des Bootstraps finden Sie in der Antwort von @ StasK hier: Erklären Sie Laien, warum das Bootstrapping funktioniert μx¯μ. Betrachten Sie für eine kurze Demonstration der Mathematik die folgende Simulation mit R:

# a function to perform bootstrapping
boot.mean.sampling.distribution = function(raw.data, B=1000){
  # this function will take 1,000 (by default) bootsamples calculate the mean of 
  # each one, store it, & return the bootstrapped sampling distribution of the mean

  boot.dist = vector(length=B)     # this will store the means
  N         = length(raw.data)     # this is the N from your data
  for(i in 1:B){
    boot.sample  = sample(x=raw.data, size=N, replace=TRUE)
    boot.dist[i] = mean(boot.sample)
  }
  boot.dist = sort(boot.dist)
  return(boot.dist)
}

# simulate bootstrapped CI from a population w/ true mean = 0 on each pass through
# the loop, we will get a sample of data from the population, get the bootstrapped 
# sampling distribution of the mean, & see if the population mean is included in the
# 95% confidence interval implied by that sampling distribution

set.seed(00)                       # this makes the simulation reproducible
includes = vector(length=1000)     # this will store our results
for(i in 1:1000){
  sim.data    = rnorm(100, mean=0, sd=1)
  boot.dist   = boot.mean.sampling.distribution(raw.data=sim.data)
  includes[i] = boot.dist[25]<0 & 0<boot.dist[976]
}
mean(includes)     # this tells us the % of CIs that included the true mean
[1] 0.952
gung - Wiedereinsetzung von Monica
quelle
Auf welche besonderen Annahmen stützen wir uns?
Jarwain
2
Vielen Dank. Ich glaube, ich habe in der zweiten Antwort auf diesen Thread gefunden, wonach ich gesucht habe: "Denken Sie daran, dass wir nicht die Mittelwerte der Bootstrap-Stichproben verwenden, um den Populationsmittelwert zu schätzen. Wir verwenden den Stichprobenmittelwert dafür (oder für welche Statistik auch immer) Wir verwenden jedoch die Bootstrap-Stichproben, um die Eigenschaften (Ausbreitung, Verzerrung) des Stichprobenprozesses abzuschätzen, und Stichproben aus einer bekannten Population (von der wir hoffen, dass sie repräsentativ für die interessierende Population sind), um die Auswirkungen der Stichproben zu ermitteln und ist viel weniger kreisförmig. " ...
iarwain
1
... Mit anderen Worten, alles, was uns das CI mitteilt, ist, dass wir in einer Population, die in etwa unserer ähnlich ist, davon ausgehen würden, dass 95% der aus dieser Population entnommenen Proben den wahren Wert +/- der Fehlerspanne widerspiegeln. Wir geben also nur einen sehr groben Hinweis - obwohl vielleicht der beste, den wir haben - darüber, wie nahe unsere Stichprobenstatistik dem wahren Populationsparameter sein könnte. Wenn ja, dann klingt es so, als sollten wir die exakten Zahlen im CI nicht zu ernst nehmen - sie bedeuten nur so etwas wie "Die Stichprobenstatistik ist wahrscheinlich ungefähr genau bis ungefähr zu diesem Grad." Habe ich das richtig verstanden?
Jarwain
1
Das ist im Wesentlichen richtig. Ein CI gibt uns ein Gefühl für die Genauigkeit unserer Schätzung, aber wir wissen nie, ob unser tatsächliches (realisiertes) CI den wahren Wert enthält. Die Hauptannahme ist, dass unsere Daten repräsentativ für die interessierende Bevölkerung sind. Beachten Sie, dass keine dieser Aussagen für Bootstrap- CIs spezifisch ist. In einem CI, das mithilfe der asymptotischen Theorie berechnet wird, haben Sie dieselbe Interpretation und Annahme.
gung - Wiedereinsetzung von Monica
1
Dies ist eine hervorragende Erklärung. Ich möchte nur hinzufügen, dass der "wahre Wert" manchmal ein Artefakt des Studiendesigns ist. Bei der Umfrage nach politischen Kandidaten liefern geschichtete Stichproben viel genauere und zuverlässigere Schätzungen als eine Zufallsstichprobe. Die Kosten sind das Risiko, dass die falsche Gruppe aufgrund ihres Designs überabgetastet wird. In diesem Fall konzentriert sich der 95% -KI auf den korrekten Wert, der durch Replikation der Studie ad infinitum erreicht wird , aber dieser Wert ist nicht der andere Sinn eines wahren Parameters: der Parameter, den wir schätzen wollten . Aus diesem Grund sind Studiendesign und Inferenz eng miteinander verbunden.
AdamO
0

Was Sie sagen, ist, dass es nicht erforderlich ist, das Konfidenzintervall für Bootstrap-Resamples zu ermitteln. Wenn Sie mit der Statistik (Stichprobenmittelwert oder Stichprobenanteil) zufrieden sind, die Sie mit bootstrapped Resamples erhalten haben, finden Sie kein Konfidenzintervall und damit keine Frage der Interpretation. Wenn Sie jedoch mit der Statistik, die Sie durch Bootstrap-Resamples erhalten haben, nicht zufrieden sind oder dennoch das Konfidenzintervall ermitteln möchten, ist die Interpretation für dieses Konfidenzintervall dieselbe wie für jedes andere Konfidenzintervall. Dies liegt daran, dass Ihre bootstrap-Resamples genau die ursprüngliche Population darstellen (oder als solche angenommen werden), Wo ist dann die Notwendigkeit eines Konfidenzintervalls? Die Statistik aus den Bootstrapped-Resamples ist der ursprüngliche Populationsparameter selbst. Wenn Sie die Statistik jedoch nicht als ursprünglichen Populationsparameter betrachten, muss das Konfidenzintervall ermittelt werden. Es geht also nur darum, wie Sie darüber nachdenken. Angenommen, Sie haben ein Konfidenzintervall von 95% anhand von Bootstrap-Resamples berechnet. Nun lautet die Interpretation: "In 95% der Fälle führt diese Bootstrap-Methode genau zu einem Konfidenzintervall, das den wahren Populationsparameter enthält."

(Dies ist, was ich denke. Korrigieren Sie mich, wenn es Fehler gibt).

Chikatla Prashanth
quelle
-1

Wir beziehen uns auf den wahren Parameter der ursprünglichen Population. Dies ist unter der Annahme möglich, dass die Daten zufällig aus der ursprünglichen Grundgesamtheit gezogen wurden. In diesem Fall gibt es mathematische Argumente, die zeigen, dass die Bootstrap-Prozeduren ein gültiges Konfidenzintervall ergeben, zumindest wenn die Größe des Datensatzes ausreichend groß wird .

Gareth
quelle
Es klingt also so, als ob ich, um zu verstehen, warum es funktioniert, genug Mathematik wissen muss, um den mathematischen Beweisen zu folgen. Ist das korrekt?
Jarwain
Ich denke schon (die Beweise sind mir nicht bekannt)
Gareth
Sie können jedoch intuitiv erkennen, dass die Stichprobe mit zunehmender Stichprobengröße der Grundgesamtheit sehr ähnlich sieht. Nehmen wir zum Beispiel an, ich nehme 1 Million Proben aus einer Normalverteilung mit gegebenem Mittelwert und gegebener Varianz. Nennen Sie diese Stichprobe X. Eine Zufallsstichprobe (mit Ersetzung) aus X ähnelt einer Zufallsstichprobe aus der ursprünglichen Verteilung. Ich denke, das ist die Grundidee, warum es funktioniert.
Gareth