Warum wir ein Trace-Diagramm für MCMC-Ergebnisse benötigen

12

Ich lese Forschungsarbeiten mit MCMC-Methoden und sehe, dass die meisten von ihnen Spurdiagramme liefern. Warum brauchen wir Spuren in der Monte-Carlo-Markov-Kette? Was zeigt ein Trace-Plot von Parametern an?

Benzamin
quelle

Antworten:

17

Sie erstellen die Parameter-Trace-Diagramme, um sicherzustellen, dass Ihre A-priori-Verteilung gut kalibriert ist. Dies wird dadurch angezeigt, dass Ihre Parameter während der Ausführung des MCMC-Algorithmus ausreichende Statusänderungen aufweisen.

Ein extremes Beispiel ist, dass Sie Ihre a priori Verteilungsvarianz auf 0 setzen. Dann wird sich die Schätzung der hinteren Parameter niemals ändern. Ihr Algorithmus würde sagen, dass Sie die beste Parameterschätzung haben, aber er hat nicht genügend Parameter überprüft, um festzustellen, ob dies wirklich die beste Anpassung ist. Wenn Sie die a priori Verteilungsvarianz zu hoch einstellen, tritt ein ähnliches Problem auf. Dies liegt daran, dass der neue Parameter weniger wahrscheinlich mit Ihren Daten zusammenhängt. Daher ist die mit Ihrem neuen Parameter berechnete Protokollwahrscheinlichkeit wahrscheinlich nicht besser als die mit dem alten Parameter berechnete Protokollwahrscheinlichkeit. (Ein Beispiel ist, wenn Ihr "wahrer" Parameter 0,5 und Ihre anfängliche Schätzung 2 ist, Sie jedoch aus einer Normalverteilung mit einem Mittelwert von 2 und einer Varianz von 10.000 auswählen, ist es unwahrscheinlich, dass Sie einen Parameter erhalten, der näher an 1 liegt .

Sie müssen eine a priori-Varianz auswählen, die es Ihren Parameterzuständen ermöglicht, sich so weit zu ändern, dass Sie nicht an lokalen Minima und Maxima in der Loglikelihood-Verteilung hängen bleiben, aber dennoch gut genug, um vernünftige Parameterschätzungen zu erhalten. Die meiste Literatur schlägt vor, dass Sie Ihre Parameter 40-60% der Zeit dazu bringen, den Zustand zu ändern.

Ein weiterer Grund für die Ablaufverfolgungsdiagramme ist das Einbrennen. Normalerweise ist die Einbrennperiode im Diagramm offensichtlich (wenn beispielsweise der wahre Parameter 1,5 beträgt und Ihre anfängliche Schätzung 4 beträgt, sollten sich die Parameterschätzungen schnell von 4 auf 1,5 bewegen und dann "hüpfen" um 1,5). In der Regel schließen Sie nur die ersten n Iterationen aus, bei denen n groß genug ist, um das Einbrennen sicher zu entfernen (z. B. 1000). Wenn die Berechnungen jedoch zeitaufwändig sind oder die Konvergenz Ihrer Parameterschätzungen viel länger dauert als Ihre n In diesem Fall möchten Sie möglicherweise mehr oder weniger Beobachtungen weglassen, um das Einbrennen zu berücksichtigen. Sie können Ihre Diagramme überprüfen, um festzustellen, wo die Einbrennperiode endet, um sicherzustellen, dass das Einbrennen Ihre Ergebnisse nicht beeinflusst.

Beachten Sie, dass ich im Zusammenhang mit Parameterpunktschätzungen gesprochen habe. Wenn Sie die Parametervarianz schätzen, ist es noch wichtiger, sicherzustellen, dass Sie über entsprechende Statusänderungen verfügen.

Eric
quelle
5
+1 Aber die andere Seite ist, dass wir der formalen Konvergenzdiagnose nicht ganz vertrauen und etwas in Augenschein nehmen wollen, bevor wir behaupten, dass es konvergiert. Ob dies völlig rational ist, ist eine andere Frage ...
Conjugateprior
1
Tut mir leid, diesen alten Beitrag ausgegraben zu haben. Aber sollte der vorherige Wert (der aus der vorherigen Verteilung generiert wurde) nicht irrelevant sein, solange eine ausreichende Anzahl von Iterationen vorhanden ist?
mscnvrsy
@mscnvrsy: Sie können nicht informative Prior wie Jeffrys Prior oder Uniform Prior setzen, wenn Sie Ihrem Prior weniger Informationen zur Verfügung stellen möchten.
Benzamin
3
Ich bin völlig anderer Meinung als die Vorstellung, dass MCMC-Trace-Plots in irgendeiner Weise mit der Kalibrierung einer vorherigen Verteilung zusammenhängen. Ein MCMC-Algorithmus zielt auf eine gegebene posteriore Verteilung ab, unabhängig von der Wahl des Prior, und erzeugt unter geeigneten Bedingungen eine Markov-Kette, die zu dieser stationären Verteilung konvergiert. Das Betrachten von Spurendiagrammen ist nur nützlich, um die Konvergenz oder das Fehlen derselben der Markov-Kette zu beurteilen.
Xi'an