Wie kommt es, dass Metropolis-Hastings-Akzeptanzraten nahe 1 liegen (z. B. wenn eine unimodale Verteilung mit einer normalen Angebotsverteilung mit zu kleiner SD untersucht wird), nachdem das Einbrennen beendet ist? Ich sehe es in meinen eigenen MCMC-Ketten, aber ich verstehe nicht, wie es Sinn macht. Es scheint mir, dass sich die Akzeptanzrate nach Erreichen des Gipfels um Werte stabilisieren sollte, die kleiner als 0,5 sind.
mcmc
metropolis-hastings
TanZor
quelle
quelle
Antworten:
Die Akzeptanzrate hängt weitgehend von der Angebotsverteilung ab. Wenn die Varianz gering ist, liegt das Verhältnis der Wahrscheinlichkeiten zwischen dem aktuellen Punkt und dem Vorschlag notwendigerweise immer nahe bei 1, was eine hohe Akzeptanzchance ergibt. Dies liegt nur daran, dass die Zielwahrscheinlichkeitsdichten, mit denen wir normalerweise arbeiten, lokal Lipschitz (eine Art von Glätte) in kleinen Maßstäben sind, sodass die Wahrscheinlichkeit von zwei nahe gelegenen Punkten (informell) ähnlich ist.
Wenn Ihre aktuelle Stichprobe nahe am MAP-Wert liegt, haben die Vorschläge weniger als eine Akzeptanzwahrscheinlichkeit, können aber immer noch sehr nahe an 1 liegen.
Als Randnotiz ist es üblich, die Angebotsverteilung so abzustimmen, dass eine Akzeptanzrate von 0,2 bis 0,25 erreicht wird. Sehen Sie hier für eine Diskussion über diese.
quelle
Ein einfaches Beispiel für eine Akzeptanzwahrscheinlichkeit von eins ist die Simulation vom genauen Ziel: in diesem Fall Während dies wie ein unrealistisches Beispiel klingt, ist der Gibbs-Sampler eine echte Illustration, der als eine Folge von Metropolis-Hastings-Schritten interpretiert werden kann, alle mit der Wahrscheinlichkeit eins.
Ein möglicher Grund für Ihre Verwirrung ist die mögliche Wahrnehmung des Metropolis-Hastings-Algorithmus als Optimierungsalgorithmus. Der Algorithmus verwendet mehr Iterationen für höhere Zielregionen, zielt jedoch nicht auf das Maximum ab. Und während für alle , bedeutet dies nicht, dass Werte mit niedrigeren Zielwerten notwendigerweise abgelehnt werden, da die Vorschlagswerte und ebenfalls eine Rolle.π(xMAP)≥π(x) x q(xMAP,x) q(x,xMAP)
quelle