Bootstrapping vs. Bayesian Bootstrapping konzeptionell?

Ich habe Probleme zu verstehen, was ein Bayes-Bootstrapping-Prozess ist und wie sich dieser von Ihrem normalen Bootstrapping unterscheidet. Und wenn jemand eine intuitive / konzeptionelle Überprüfung und einen Vergleich von beiden anbieten könnte, wäre das großartig.

Nehmen wir ein Beispiel.

Angenommen, wir haben einen Datensatz X, der [1,2,5,7,3] ist.

Wenn wir mehrmals mit Ersatz probieren, um Probengrößen zu erstellen, die der Größe von X (also [7,7,2,5,7], [3,5,2,2,7] usw.) entsprechen, und dann wir Berechnen Sie jeweils die Mittelwerte. Ist dies die Bootstrap-Verteilung des Stichprobenmittelwerts?

Was wäre die Bayes'sche Bootstrap-Verteilung davon?

Und wie erfolgt die Bayes'sche Bootstrap-Verteilung anderer Parameter (Varianz usw.) auf die gleiche Weise?

Der (frequentistische) Bootstrap nimmt die Daten als vernünftige Annäherung an die unbekannte Populationsverteilung. Daher kann die Stichprobenverteilung einer Statistik (eine Funktion der Daten) angenähert werden, indem die Beobachtungen wiederholt neu abgetastet werden, wobei die Statistik für jede Stichprobe ersetzt und berechnet wird.

Sei die ursprünglichen Daten. (Im gegebenen Beispiel ist n = 5. ) Sei y b = ( y b 1 , ... , y b n ) ein Bootstrap-Beispiel. Bei einer solchen Stichprobe werden wahrscheinlich einige Beobachtungen ein- oder mehrmals wiederholt, und andere Beobachtungen fehlen. Der Mittelwert der Bootstrap-Stichprobe ergibt sich aus m b = $y = (y_1,\ldots,y_n)$$n=5$$y^b = (y_1^b, \ldots, y_n^b)$Es ist die Verteilung vonmbüber eine Anzahl von Bootstrap-Replikationen, die verwendet wird, um die Stichprobenverteilung aus der unbekannten Population anzunähern.

$$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ $m_b$

Um die Verbindung zwischen dem frequentistischen Bootstrap und dem bayesianischen Bootstrap zu verstehen, ist es lehrreich, zu sehen, wie man aus einer anderen Perspektive berechnet .$m_b$

In jedem Bootstrap-Sample tritt jede Beobachtung y i irgendwo zwischen 0 und n- mal auf. Sei h b i die Häufigkeit, mit der y i in y b vorkommt , und sei h b = ( h b 1 , ... , h b n ) . Also h b i ∈ { 0 , 1 , … , n - 1 , n $y^b$$y_i$$n$$h_i^b$$y_i$$y^b$$h^b = (h_1^b, \ldots, h_n^b)$$h_i^b \in \{0, 1, \ldots, n-1,n\}$und . Wenn h b gegeben ist , können wir eine Sammlung von nichtnegativen Gewichten konstruieren , die sich zu eins summieren: w b = h b / n , wobei w b i = h b i / n . Mit dieser Notation können wir den Mittelwert des Bootstrap-Samples als m b = n ∑ i = 1 w b $\sum_{i=1}^n h_i^b = n$$h^b$$w^b = h^b/n$$w_i^b = h_i^b/n$

$$m_b = \sum_{i=1}^n w_i^b\, y_i.$$

Die Art und Weise, wie die Beobachtungen für eine Bootstrap-Stichprobe ausgewählt werden, bestimmt die gemeinsame Verteilung für . Insbesondere hat h b eine multinomiale Verteilung und somit ( $w^b$$h^b$Daher können wir m b berechnen,indemwir w b aus seiner Verteilung ziehen und das Skalarprodukt mit y berechnen. Aus dieser neuen Perspektive scheint es, dass die Beobachtungenfest sind,während die Gewichte variieren.

$$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ $m_b$$w^b$$y$

In der Bayes'schen Folgerung werden die Beobachtungen in der Tat als fest genommen, so dass diese neue Perspektive dem Bayes'schen Ansatz entspricht. Tatsächlich unterscheidet sich die Berechnung des Mittelwerts nach dem Bayes'schen Bootstrap nur in der Verteilung der Gewichte. (Aus konzeptioneller Sicht unterscheidet sich der Bayes'sche Bootstrap jedoch erheblich von der frequentistischen Version.) Die Daten sind fest und die Gewichte w sind die unbekannten Parameter. Wir sind möglicherweise an einigen Funktionen der Daten interessiert , die von den unbekannten Parametern abhängen: μ = n ∑ i = 1 w $y$$w$

$$\mu = \sum_{i=1}^n w_i\, y_i.$$

Hier ist eine Skizze des Modells hinter dem Bayes'schen Bootstrap: Die Stichprobenverteilung für die Beobachtungen ist multinomial und die Prioritätsverteilung für die Gewichte ist eine begrenzende Dirichlet-Verteilung, die das gesamte Gewicht auf die Eckpunkte des Simplex legt. (Einige Autoren bezeichnen dieses Modell als multinomiales Wahrscheinlichkeitsmodell .)

$$w \sim \textsf{Dirichlet}(1,\ldots,1).$$

$\mu$$w$$y$

$$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$$ $g(y_i,\theta)$$\theta$$\underline 0$$\theta$$y$$w$$w$empirische Wahrscheinlichkeit und mit verallgemeinerter Methode der Momente (GMM).)

$$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$$ $\theta = (\mu,v)$ $$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$$