Was ist der Unterschied zwischen Metropolis Hastings, Gibbs, Importance und Rejection Sampling?

Ich habe versucht, MCMC-Methoden zu erlernen und bin auf Stichproben von Metropolis Hastings, Gibbs, Wichtigkeit und Ablehnung gestoßen. Während einige dieser Unterschiede offensichtlich sind, dh wie Gibbs ein Sonderfall von Metropolis Hastings ist, wenn wir die vollständigen Bedingungen haben, sind die anderen weniger offensichtlich, wenn wir MH in einem Gibbs-Sampler usw. verwenden möchten einfache Möglichkeit, den Großteil der Unterschiede zwischen diesen beiden zu sehen? Vielen Dank!

mcmc monte-carlo gibbs metropolis-hastings importance-sampling user1398057
quelle

Iain Murray spricht dies in seinem Vortrag , zumindest in Bezug auf MCMC, gut an.

gwr

Ich stimme Xi'an zu, dass dies eine sehr breite Frage ist. Sie fragen effektiv nach einer Menge Informationen zu vier verschiedenen Dingen, von denen eine Diskussion (oder ein Kontrast zwischen zwei Dingen) zu einer etwas längeren Antwort führen würde. Wir könnten in der Lage sein, die Frage zu fokussieren, indem wir feststellen, dass alle vier Monte-Carlo-Methoden, wichtige Stichproben und Zurückweisungsstichproben keine MCMC sind (das heißt nicht, dass sie nicht in MCMC verwendet werden können).

Glen_b

Antworten:

Wie bereits in unserem Buch ausführlich mit George Casella, Monte Carlo statistischen Methoden werden diese Verfahren zur Herstellung von Proben aus einer bestimmten Verteilung verwendet wird , mit der Dichte sagen wir, entweder eine Vorstellung über diese Verteilung zu bekommen, oder eine Integration oder Optimierungsproblem im Zusammenhang zu lösen mit . Zum Beispiel den Wert zu finden $f$ $f$ oder die Art der Verteilung von wenn oder ein Quantil dieser Verteilung ist.

\int_{X} h (x) f (x) d x h (X) \subset R

$\int_{\mathcal{X}} h(x) f(x)\text{d}x\qquad h(\mathcal{X})\subset \mathbb{R}$

h (X)

$h(X)$

X \sim f (x)

$X\sim f(x)$

Um die Monte-Carlo- und Markov-Ketten-Monte-Carlo-Methoden zu vergleichen, die Sie anhand relevanter Kriterien erwähnen, müssen Sie den Hintergrund des Problems und die Ziele des Simulationsexperiments festlegen, da die Vor- und Nachteile von Fall zu Fall unterschiedlich sind.

Hier einige allgemeine Bemerkungen , die die Komplexität des Problems mit Sicherheit nicht abdecken :

$f$ $u_1,u_2,\ldots$ $x$ $f$ $f$ $f$ $x$ $X$ $f$
$(x_t)_t$ $f$ $f$ $f$ $f (x) \propto \int_{Z} \tilde{f} (x, z) d z$ $f(x)\propto\int_{\mathcal{Z}} \tilde{f}(x,z)\text{d}z$ $(x_t)_t$ $(x_t)_t$ $x_t$ $t$ $f$ $f$ $t$
$g(x)$ $f (x) / g (x) .$ $f(x)/g(x)\,.$ $g$ $f$ $g$ $g$ $f$

I = \int_{X} h (x) f (x) d x,

$\mathcal{I}=\int_{\mathcal{X}} h(x) f(x)\text{d}x\,,$

\hat{I} = \int_{X} h (x) f (x) d x

$\hat{\mathcal{I}}=\int_{\mathcal{X}} h(x) f(x)\text{d}x$

f

$f$

Xi'an
quelle

f

$f$

Ich habe mich nur gefragt, was h(x)konkret h(x)f(x)dxin einem Bayes'schen Analyseszenario gemeint ist . Wir versuchen, den posterior zu bekommen, unter Berücksichtigung des Prior und der Daten. Es scheint jedoch, dass wir mit all diesen Stichprobenverfahren tatsächlich versuchen, uns anzunähern f(x). Kann man also sagen, dass dies f(x)bereits der Posterior ist, den wir suchen, und dass h(x)es sich nur um eine willkürliche Funktion handelt, die wir auch mit dem Posterior zusammenstellen könnten f(x)? Oder habe ich es nicht richtig verstanden. Vielen Dank.

xji

\int_{X} h (x) f (x) d x

$\int_{\mathcal{X}} h(x) f(x)\text{d}x$

f

$f$

h

$h$