MCMC und Datenerweiterung

Ich habe mir eine Frage zur MCMC-Datenerweiterung angesehen. Die allgemeine Form der Frage lautet wie folgt:

Angenommen, die in einem Prozess gesammelten Daten deuten auf und ein Prior für den Ratenparameter wird als . Die Daten werden in einer typischen Form aufgezeichnet und dargestellt (dh die Anzahl der Vorkommen jedes Werts für von bis ). Die gesammelten Daten unterscheiden jedoch nicht in Fällen, in denen (dh Alle Vorkommen mit und sind in einer Kategorie zusammengefasst. $X_{i} \sim \text{Pois}(\lambda)$ $\lambda \sim \text{Exp}(\lambda_{0})$ $X_{i}$ $0$ $n$ $X_{i} \leq 1$ $X_{i} = 0$ $X_{i} = 1$

Angesichts der Daten, der Wahrscheinlichkeit und des oben beschriebenen Vorgängers stellt sich die Frage:

Die hintere Form von , $\lambda$
Die Anzahl der Vorkommen, bei denen . $X_{i} = 0$

Ich bin mir nicht sicher, wie ich diese Frage beantworten soll, aber mir ist bewusst, dass Gibbs Sampling zur Datenerweiterung verwendet werden kann. Hat jemand Informationen darüber, wie dies getan werden könnte?

BEARBEITEN:

Ich sollte angeben, dass es hauptsächlich der zweite Teil (die Anzahl der Vorkommen, bei denen ) ist, bei dem ich mir nicht sicher bin. Für den ersten Teil (die hintere Form von ) habe ich angesichts der Wahrscheinlichkeit und des vorgeschlagenen Vorschlags argumentiert (obwohl ich froh bin, korrigiert zu werden): $X_{i} = 0$ $\lambda$

Gegeben:

π (λ | \vec{x}) \propto p (\vec{x} | λ) \times p (λ)

$\pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda)$

Also, für das oben angegebene Modell:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- n λ} \times λ_{0} e^{- λ λ_{0}}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-n\lambda} \times \lambda_{0}e^{-\lambda \lambda_{0}}$

Ertrag vereinfachen:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

das ist proportional zu (und daher ist die hintere Form gegeben durch):

π (λ | \vec{x}) \propto λ^{\sum_{i = 1}^{n} x_{i}} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) \propto \lambda^{\sum_{i=1}^{n}x_{i}}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

self-study mcmc monte-carlo data-augmentation user9171
quelle

Ihre Antwort berücksichtigt nicht die Tatsache, dass die Beobachtungen gleich Null und Eins zusammengeführt werden: Was Sie berechnet haben, ist der Posterior für die vollständigen Poisson-Daten und nicht für die aggregierten oder zusammengeführten Daten , . $(X_1,\ldots,X_n)$ $(X_1^*,\ldots,X^*_n)$

Wenn wir die Konvention , dass die Fälle nehmen , wenn die Beobachtungs entsprechen oder und die Beobachtung bis , die Dichte des beobachteten Vektor ist (nach einiger Algebra und Faktorisierung) wobei die Anzahl von ist mal sind die gleich eins. Der letzte Term zwischen den Klammern oben ist die Wahrscheinlichkeit, bei einem Poisson-Draw 0 oder 1 zu erhalten. $X_i^*=1$ $X_i=1$ $X_i=0$ $X_i^*=k>1$ $X_i=k$ $(X_1^*,\ldots,X^*_n)$

π (λ | x_{1}^{*}, \dots, x_{n}^{*}) \propto λ^{\sum_{ich = 1}^{n} x_{ich}^{*} ich (x_{ich}^{*} > 1)} \exp {- - λ (λ_{0} + n)}} \times {1 + λ {}}}^{n_{1}}

$\pi(\lambda|x_1^*,\ldots,x^*_n) \propto \lambda^{\sum_{i=1}^n x_i^*\mathbb{I}(x_i^*>1)} \exp\{-\lambda(\lambda_0+n)\} \times \{1+\lambda\}^{n_1}$

n_{1}

$n_1$

x_{i}^{*}

$x_i^*$

Das ist also dein wahrer / beobachteter posterior. Von dort aus können Sie einen Gibbs-Sampler von implementieren

Erzeugen der "fehlenden Beobachtungen" bei und der Beobachtungen, nämlich Simulation von , gegeben durch $\lambda$ $p(x_i|\lambda,x_i^*=1)$ $P. (x_{ich} = 0 | λ, x_{ich}^{*} = 1) = 1 - - P. (x_{ich} = 1 | λ, x_{ich}^{*} = 1) = \frac{1}{1 + λ} .$ $\mathbb{P}(x_i=0|\lambda,x_i^*=1)=1-\mathbb{P}(x_i=1|\lambda,x_i^*=1)=\dfrac{1}{1+\lambda}\,.$
Generieren von Berücksichtigung der "abgeschlossenen Daten", die sich auf wie Sie bereits berechnet haben. $\lambda$ $λ | x_{1}, \dots, x_{n} \sim G (\sum_{ich} x_{ich} + 1, n + λ_{0})$ $\lambda|x_1,\ldots,x_n \sim \mathcal{G}(\sum_i x_i + 1,n+\lambda_0)$

(Wenn Sie weitere Einzelheiten wünschen, behandelt Beispiel 9.7, S. 346, in meinem Buch über statistische Monte-Carlo-Methoden mit George Casella genau diese Einstellung.)

Xi'an
quelle

(2) Jeder MCMC-Algorithmus kann mit beliebigen Werten beginnen, da die Markov-Kette wiederkehrend ist. Dies ist die Kernidee der Monte-Carlo-Methoden der Markov-Kette. Beachten Sie, dass ein Parameter des Prior ist: Es wird a priori ausgewählt und ändert sich nicht, sobald die Daten beobachtet werden.

λ_{0}

$\lambda_0$

Xi'an

(3) Beachten Sie beim Abtasten aus der Gammaverteilung in Schritt 2 des Gibbs-Probenehmers, dass ich von den vollständigen Daten abhängig bin, die in Schritt 1 des Gibbs-Probenehmers erzeugt wurden. Ich "kenne" also jeden Wert der , auch diejenigen, für die . Bitte versuchen Sie, die Unterscheidung zwischen und zu verstehen. Dies ist die Grundidee hinter dem Prinzip der Datenerweiterung.

x_{i}

$x_i$

x_{i}^{*} = 1

$x_i^*=1$

x_{i}

$x_i$

x_{i}^{*}

$x_i^*$

Xi'an

(1) Der Teil entspricht den gruppierten Beobachtungen.

[{λ + 1} \exp (- λ)]^{n_{1}}

$[\{\lambda+1\}\exp(-\lambda)]^{n_1}$

Xi'an

(2) Dies ist eine bedingte Wahrscheinlichkeit (bitte versuchen Sie, selbst zu rechnen):

P (x_{i} = 0 | λ, x_{i}^{*} = 1) = P (x_{i} = 0, x_{i}^{*} = 1 | λ) / P (x_{i}^{*} = 1 | λ) = P (x_{i} = 0 | λ) / P (x_{i}^{*} = 1 | λ)

$\mathbb{P}(x_i=0|\lambda,x^∗_i=1)=\mathbb{P}(x_i=0,x^∗_i=1|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)=\mathbb{P}(x_i=0|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)$

Xi'an

(3) Gibbs-Abtastung funktioniert nach Bedingungen. In Schritt 2 bedingen wir also die in Schritt 1 simulierten (und in Schritt 1 das in Schritt 2 simulierte ). Dies bedeutet, dass diese bekannt sind (obwohl sie sich bei der nächsten Iteration ändern werden), ebenso wie die Summe. Sie müssen auf jeden Fall eine Einführung in Gibbs lesen, wenn Ihnen dieser grundlegende Punkt unklar bleibt ...

x_{i}

$x_i$

λ

$\lambda$ $x_i$

Xi'an

MCMC und Datenerweiterung

Antworten: