Warum erfolgt die Probenahme aus der posterioren prädiktiven Verteilung?

In einem Bayes'schen Modell wird die posteriore Vorhersageverteilung normalerweise wie folgt geschrieben:

$$p(x_{new} \mid x_1, \ldots x_n) = \int_{-\infty}^{\infty} p(x_{new}\mid \mu) \ p(\mu \mid x_1, \ldots x_n)d\mu$$

für einen mittleren Parameter . Dann, in den meisten Büchern, wie diesem Link:$\mu$

Probenahme MCMC

Es wird behauptet, dass es oft einfacher ist, mit Monte-Carlo-Methoden aus abzutasten. Im Allgemeinen lautet der Algorithmus:$p(x_{new} \mid x_1, \ldots x_n)$

für :$j=1 \ldots J$

1) Probe aus dann$\mu^{\ j}$$p(\mu \mid x_1, \ldots x_n)$

2) Probiere aus .$x^{\ * j}$$p(x_{new} \mid \mu^{\ j})$

Dann ist ein iid-Beispiel aus .$x^{\ * 1}, \ldots, x^{\ * J}$$p(x_{new} \mid x_1, \ldots x_n)$

Was mich verwirrt, ist die Gültigkeit dieser Technik. Mein Verständnis ist, dass Monte-Carlo-Ansätze das Integral approximieren. Warum bilden in diesem Fall die jeweils eine Stichprobe aus ?$x^{\ * j}$$p(x_{new} \mid x_1, \ldots x_n)$

Warum wird der Durchschnitt aller dieser Stichproben nicht stattdessen als ? Ich gehe davon aus, dass ich eine endliche Partition erstelle, um das obige Integral zu approximieren. Vermisse ich etwas Vielen Dank!$p(x_{new} \mid x_1, \ldots x_n)$

Was Sie tatsächlich mit dem von Ihnen beschriebenen zweistufigen Prozess tun, ist das Abtasten aus der gemeinsamen Verteilung und das Ignorieren der abgetasteten Werte von . Es ist nicht ganz intuitiv, aber wenn Sie die abgetasteten Werte von ignorieren , integrieren Sie darüber.$p(x_{new}, \mu \thinspace | \thinspace x_1, \dots, x_n)$$\mu$$\mu$

Ein einfaches Beispiel kann dies verdeutlichen. Betrachten Sie die Abtastung von , einheitlich über und , einheitlich über . Sie sollten intuitiv sehen können, wie aussehen wird. Wir konstruieren einen einfachen, schrecklich ineffizienten R-Code (der für Expository-Zwecke auf diese Weise geschrieben wurde), um die Beispiele zu generieren:$p_X(x \thinspace | \thinspace y) = 1/y \thinspace \text{I}(0,y)$$(0,y)$$p_Y(y) = 1$$(0,1)$$\int_0^1p_X(x \thinspace | \thinspace y)p_Y(y)dy$

samples <- data.frame(y=rep(0,10000), x=rep(0,10000))
for (i in 1:nrow(samples)) {
   samples$y[i] <- runif(1)
   samples$x[i] <- runif(1, 0, samples$y[i])
}
hist(samples$x)

samplesist eindeutig eine Zufallsstichprobe aus der gemeinsamen Verteilung von und . Wir ignorieren die Werte und erstellen ein Histogramm nur der Werte, das wie folgt aussieht:$x$$y$$y$$x$

was hoffentlich zu Ihrer Intuition passt.

Wenn Sie sorgfältig darüber nachdenken, werden Sie feststellen, dass die Stichproben von nicht von einem bestimmten Wert von abhängen . Stattdessen hängen sie (gemeinsam) von einer Stichprobe von Werten von . Aus diesem Grund entspricht das Ignorieren der Werte der Integration von , zumindest aus der Perspektive der Zufallszahlengenerierung.$x$$y$$y$$y$$y$

Überlegen Sie sich andererseits, was passiert, wenn Sie durchschnittlich sind. Sie erhalten nur eine Zahl aus Ihrem Monte-Carlo-Lauf, nämlich den Durchschnitt der -Stichproben. Dies ist nicht das, was Sie wollen (in Ihrem Fall)!$x_{new}$

Ich denke, Sie müssen definitiv die abgetasteten Werte irgendwann übermischen. Es gibt auch Vorlesungsunterlagen von Peter Hoff zum Thema "Einführung in die Bayes'sche Statistik für die Sozialwissenschaften". Andernfalls hätten Sie die vom hinteren Teil empfangenen Massen nicht berücksichtigt. Sie erstellen also die empirische Verteilung Ihrer Stichprobenwerte x ^ {* j} und nehmen dann erneut eine Stichprobe aus dieser Verteilung.

Als Beispiel: Wenn Ihr posterior diskret war (nur Punktmassen auf Atomen), nehmen einige Ihrer Parameterproben dieselben Werte an. Wenn Sie sie schließlich übermischen, berücksichtigen Sie, "wie oft" solche Parameter aus dem Seitenzahnbereich hervorgegangen sind - anders ausgedrückt, wie wahrscheinlich es ist. Dann ergibt eine Mittelung gemäß diesen Erscheinungen die hintere Vorhersage, die angemessen sein sollte. Dies gilt auch für das obige Verfahren mit dem eventuellen Mischen, zumindest wenn die Probengröße (n) groß ist (sind).

Ich denke, dass die vorhandenen Antworten, die sehr gut sind, durch ein Beispiel mit diskreten Zufallsvariablen erweitert werden könnten. Wir haben

$$p(x_{new} \mid x_1, \ldots x_n) = \int_{-\infty}^{\infty} p(x_{new},\mu \mid x_1, \ldots x_n)d\mu = \int_{-\infty}^{\infty} p(x_{new}\mid \mu) \ p(\mu \mid x_1, \ldots x_n)d\mu$$

Betrachten Sie zur Vereinfachung a $\mu$ das ist binär: $p(\mu = 1 \mid x_1 \dots x_n) = p$ und $p(\mu = 0 \mid x_1 \dots x_n) = 1-p$. Nehmen wir weiter an$x_{new}$ ist binär mit $p(X=1)=\mu-1$ und $p(X=0)=\mu$. Ich werde diese Wahrscheinlichkeiten in Zukunft nicht mehr verwenden, aber Sie können das sehen$x_{new}$ kommt drauf an $\mu$.

Nehmen wir an, wir ziehen dann 14 Proben mit $\mu \sim p(\mu \mid x_1,\dots, x_n)$ und $x_{new} \sim p(x_{new} \mid \mu )$. Wir bekommen folgendes. Wie von @jbowman erwähnt, probieren wir tatsächlich aus$p(x_{new}, \mu \mid x_1 \dots x_n)$.

    mu    x_new
1.  1       0
2.  1       1
3.  0       0
4.  1       1
5.  0       0
6.  0       0
7.  0       0
8.  1       1
9.  1       1
10. 0       1
11. 1       0
12. 1       1
13. 0       1
14. 1       1

Wir können die Tatsache veranschaulichen, dass wir Proben aus dem Gelenk entnehmen $p(x_{new}, \mu \mid x_1,\dots, x_n)$ expliziter, indem zuerst eine Zählertabelle erstellt wird.

        x_new
        0    1    
      ----------- 

   0    6    1
mu 
   1    2    5

Teilen Sie jeden Eintrag durch die Summe (6 + 1 + 2 + 5 = 14)

        x_new
        0    1    
      ----------- 

   0    0.43    0.07
mu 
   1    0.14    0.36

Welches ist die empirische gemeinsame Verteilung. ZB unsere Schätzung von$p(x_{new}=0, \mu=0)=.43$. Daher hat uns unser Probenahmeverfahren die Verbindung gegeben.

Schließlich werden wir sehen, warum es tatsächlich notwendig ist, das Integral zu "bewerten" (obwohl das Integral nicht gemittelt wird). Dies ist implizit in der Antwort von @ jbowman enthalten, als sie sagten

Es ist nicht ganz intuitiv, aber wenn Sie die abgetasteten Werte von 𝜇 ignorieren, integrieren Sie darüber.

Erhalten $p(x_{new} \mid x_1 \dots x_n)$, wir summieren einfach über Zeilen.

        x_new
        0    1    
      ----------- 

       .57  .43

Dies ist impliziert, indem "die abgetasteten Werte von ignoriert werden"$\mu$"und dies ist der Marginalisierungsschritt. Eine andere Möglichkeit, dies üblicherweise zu tun, besteht darin, ein Histogramm zu erstellen (durch Summieren über Zeilen haben wir hier eine Art Histogramm erstellt).

Das Stichprobenverfahren gibt uns also keinen Rand - mit anderen Worten, es "funktioniert" nicht gemäß Ihrer Definition in der Frage. Vielmehr gibt es uns das Gelenk, und wir gemeinsam (durch Ignorieren$\mu$durch Erstellen eines Histogramms oder durch Erhalten von Quantilen) marginalisieren $\mu$.