Was verursacht Autokorrelation im MCMC-Sampler?

7

Bei der Durchführung einer Bayes'schen Analyse ist die Autokorrelation der MCMC-Proben zu überprüfen. Aber ich verstehe nicht, was diese Autokorrelation verursacht.

Hier sagen sie das

Proben mit hoher Autokorrelation [von MCMC] werden häufig durch starke Korrelationen zwischen Variablen verursacht.

  1. Ich frage mich, was andere Ursachen für Proben mit hoher Autokorrelation in MCMC sind.

  2. Gibt es eine Liste von Dingen, die überprüft werden müssen, wenn in einer JAGS-Ausgabe eine Autokorrelation beobachtet wird?

  3. Wie können wir die Autokorrelation in einer Bayes'schen Analyse verwalten? Ich weiß, dass einige zu dünn sagen , aber andere sagen, dass es schlecht ist . Das Modell über einen längeren Zeitraum laufen zu lassen, ist eine weitere Lösung , die leider zeitaufwändig ist und in einigen Fällen immer noch die Spur der Proben in der MCMC beeinflusst. Warum sind einige Algorithmen viel effektiver bei der Erforschung und Unkorrelation? Sollten wir zunächst die Anfangswerte für die Kette ändern?

M. Beausoleil
quelle

Antworten:

6

Bei der Verwendung von Markov-Ketten-Monte-Carlo-Algorithmen (MCMC) in der Bayes'schen Analyse besteht das Ziel häufig darin, Proben aus der posterioren Verteilung zu entnehmen. Wir greifen auf MCMC zurück, wenn andere unabhängige Stichprobenverfahren nicht möglich sind (z. B. Ablehnungsstichproben). Das Problem bei MCMC ist jedoch, dass die resultierenden Proben korreliert sind. Dies liegt daran, dass jede nachfolgende Stichprobe unter Verwendung der aktuellen Stichprobe gezogen wird.

Es gibt zwei Haupt-MCMC-Abtastmethoden: Gibbs-Abtastung und Metropolis-Hastings (MH) -Algorithmus.

  1. Die Autokorrelation in den Proben wird von vielen Dingen beeinflusst. Wenn Sie beispielsweise MH-Algorithmen verwenden, können Sie Ihre Autokorrelationen bis zu einem gewissen Grad verringern oder erhöhen, indem Sie die Schrittgröße der Angebotsverteilung anpassen. Bei der Gibbs-Abtastung ist jedoch keine solche Einstellung möglich. Die Autokorrelation wird auch durch Startwerte der Markov-Kette beeinflusst. Es gibt im Allgemeinen einen (unbekannten) optimalen Startwert, der zu einer vergleichsweise geringeren Autokorrelation führt. Die Multimodalität der Zielverteilung kann auch die Autokorrelation der Proben stark beeinflussen. Somit gibt es Attribute der Zielverteilung, die definitiv die Autokorrelation bestimmen können. Am häufigsten wird die Autokorrelation jedoch vom verwendeten Sampler vorgegeben. Wenn ein MCMC-Sampler mehr im Zustandsraum springt, wird er wahrscheinlich eine kleinere Autokorrelation haben.
  2. Ich bin mit JAGS nicht vertraut.
  3. Wenn Sie sich bereits für den Sampler entschieden haben und nicht die Möglichkeit haben, mit anderen Samplern herumzuspielen, ist es am besten, eine vorläufige Analyse durchzuführen, um gute Startwerte und Schrittgrößen zu finden. Eine Ausdünnung wird im Allgemeinen nicht empfohlen, da argumentiert wird, dass das Wegwerfen von Proben weniger effizient ist als die Verwendung korrelierter Proben. Eine universelle Lösung besteht darin, den Sampler über einen langen Zeitraum laufen zu lassen, damit Ihre effektive Probengröße (ESS) groß ist. Schauen Sie sich das RPaket mcmcse hier an . Wenn Sie sich die Vignette auf Seite 8 ansehen , schlägt der Autor eine Berechnung der minimalen effektiven Proben vor, die für ihren Schätzprozess benötigt würden. Sie können diese Nummer für Ihr Problem finden und die Markov-Kette laufen lassen, bis Sie so viele effektive Proben haben.
Greenparker
quelle
3
In Bezug auf die Ausdünnung ist eine praktische Überlegung, wie viele Proben leicht zu verarbeiten sind. Wenn Sie beispielsweise 100 Millionen Proben entnehmen müssen, ist es oft bequem (in Bezug auf Speicher usw.), dünn zu werden, um beispielsweise 10.000 ziemlich unkorrelierte Proben zu behalten, anstatt mit 100 Millionen arbeiten zu müssen. Ein bisschen ineffizient durch Ausdünnen zu sein (und vielleicht sogar ein bisschen praktische Bequemlichkeit zu erlangen), schien mir im Vergleich zu all den wirklich schlechten statistischen Dingen, die Menschen tun, immer ein relativ kleiner Punkt zu sein.
Björn