Können wir die Akzeptanzrate im Metropolis-Algorithmus für zufällige Spaziergänge ändern, indem wir den Parameter der Angebotsverteilung ändern?

Die Zielverteilung sei . Sei die Vorschlagsdichte für einen neuen Zustand im aktuellen Zustand . Die Akzeptanzrate ist $\pi$ $p(x_2 | x_1)$ $x_2$ $x_1$

α = Mindest (1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})})

$\alpha = \min(1, \frac{\pi(x_2) p(x_1|x_2)}{\pi(x_1) p(x_2|x_1)})$

Wenn ich richtig bin, ist im Vorschlags-Metropolis-Algorithmus die Angebotsdichte in dem Sinne symmetrisch, dass $p(x_2 | x_1) = p(x_1 | x_2)$ , sodass die Akzeptanzrate nicht von der Angebotsdichte abhängt, sondern nur auf der abzutastenden Zielverteilung $\pi$ . Wenn Sie also den Parameter der Angebotsverteilung ändern, ändert sich die Akzeptanzrate $\alpha$ .

Wenn zum Beispiel die Vorschlagsverteilung im aktuellen Zustand eine Gaußsche Verteilung ist, die im aktuellen Zustand mit einer konstanten Varianz zentriert ist, dh , die im obigen Sinne übrigens symmetrisch ist, wird Ändern der Varianz der Gaußschen Vorschlagsverteilung Ändern Sie nicht die Akzeptanzrate ? $x_1$ $N(x_1, \sigma^2)$ $\sigma^2$ $\alpha$

Vielen Dank!

mcmc Tim
quelle

Antworten:

Wenn Ihr Vorschlag eine sehr geringe Varianz aufweist, ist Ihr vorgeschlagener neuer Status dem aktuellen Status sehr ähnlich, sodass nahe 1 liegt (im Grenzwert, Bei einer Varianz von 0 sind der Vorschlag und der aktuelle Status gleich und Sie haben genau 1), sodass die Akzeptanzrate nahe bei 100% liegt. $\frac{\pi(x_2)}{\pi(x_1)}$

Wenn Ihr Vorschlag jedoch eine hohe Varianz aufweist, ist (zumindest manchmal) viel kleiner als 1, sodass Ihre Akzeptanzrate immer näher an 0% rückt. Die Akzeptanzrate nimmt also mit zunehmender Varianz des Vorschlags ab. $\frac{\pi(x_2)}{\pi(x_1)}$

Das Problem bei sehr geringen Varianzen (wodurch Sie eine höhere Akzeptanzrate erhalten) ist, dass sie länger brauchen, um den hinteren Raum zu erkunden, indem sie sich nie weit vom aktuellen Zustand entfernen. Adaptive MCMC-Methoden wie Haario et al. Versuchen Sie, dieses Problem zu lösen, indem Sie die Varianzmatrix des Vorschlags im laufenden Betrieb ändern.

Um Ihre Akzeptanzrate zu optimieren, können Sie einfach versuchen, die Varianz zu erhöhen und zu verringern. Dies ist ein Versuch und Irrtum. Abhängig von der Geometrie des Seitenzahns kann sich die Akzeptanzrate während des Probenahmevorgangs drastisch ändern. Für Multiparametermodelle weist die vorgeschlagene Kovarianzmatrix viele Varianz- und Kovarianzterme auf, und ein solches Verfahren wird unpraktisch.

Es gibt weichere Methoden, um dies zu handhaben, wie die im obigen Link beschriebene adaptive Metropolenmethode, oder Sie möchten sich andere Methoden wie die hier aufgeführten ansehen . Sie können auch Software wie Jags und Stan ausprobieren, wenn Metropolis für Ihr Problem nicht funktioniert.

random_user
quelle

Vielen Dank! Kannst du meinen aktualisierten Beitrag sehen? Mit "Pr (Vorschlagsstatus)" meinen Sie "Pr (Vorschlagsstatus | aktueller Status)"?

Tim

Hallo, in deiner neuen Notation meinte ich . Ich habe mich nicht mit da Sie sagten, Sie arbeiten mit einem symmetrischen Vorschlag, und daher ist ihre Beziehung konstant und gleich 1 für jede Varianz, die Sie wählen.

π (x_{2}) / π (x_{1})

$\pi(x_2)/\pi(x_1)$

p (x_{1} | x_{2}) / p (x_{2} | x_{1})

$p(x_1|x_2)/p(x_2|x_1)$

random_user

Die Antwort wurde ein wenig erweitert, um dies zu berücksichtigen.

random_user

Ist es richtig, dass es keine Möglichkeit gibt, die Akzeptanzrate in einem Intervall wie [0,2,0,5] zu steuern, da der Vorschlagsstatus eine Zufallsvariable ist?

Tim

Dies hängt von der Geometrie der hinteren AFAIK ab. Wenn Ihr Posterior eine Normalverteilung oder etwas in der Nähe davon ist und wenn Sie eine Angebotsverteilung haben, die auch normal ist, verstehe ich nicht, warum Sie Ihre Akzeptanzrate nicht "kontrollieren" konnten, indem Sie Versuch und Irrtum in der Varianz der Vorschlag. Natürlich können (und sind) echte Probleme viel komplexer sein.

random_user

Ich denke, dass einige Definitionen für die zukünftige Bezugnahme auf diese Frage und Antwort von Vorteil sein können.

Das Verhältnis der Anzahl der akzeptierten vorgeschlagenen Staaten zur Anzahl der Vorschläge ergibt die Akzeptanzrate. Beachten Sie, dass die Akzeptanzrate die Akzeptanzrate im Verlauf des zufälligen Spaziergangs ist.

$\alpha$ $\alpha$

x_{2} = {\begin{cases} x_{2} & mit Wahrscheinlichkeit α (x_{2}, x_{1}) \\ x_{1} & mit Wahrscheinlichkeit 1 - - α (x_{2}, x_{1}) \end{cases} wo α (x_{2}, x_{1}) = Mindest {1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})}}}

$x_2= \begin{cases} x_2 & \quad \text{with probability } \alpha(x_2,x_1) \\ x_1 & \quad \text{with probability } 1 - \alpha(x_2,x_1)\\ \end{cases} \\ \\ \text{where }\ \alpha(x_2,x_1) = \min\left\{1, \frac{\pi(x_2)p(x_1 | x_2)}{\pi(x_1)p(x_2 | x_1)}\right\}$

$\alpha$ $p(x|y)=p(y|x)$

Robert und Casella sind sich sehr klar darüber, die beiden zu unterscheiden, und definieren letzteres als "[...] den Durchschnitt der Akzeptanzwahrscheinlichkeit über die Iterationen".

Ich habe wenig Erfahrung in dieser Angelegenheit, aber es hat mir gereicht zu beobachten, dass das, was als "Akzeptanzrate" bezeichnet wird, manchmal als "Akzeptanzquote" bezeichnet wird (siehe beispielsweise Wikipedia ), was zu ähnlichen Verwirrungen wie in der Frage führt.

Oğuzhan Öğreden
quelle