Hamiltonian Monte Carlo gegen sequentielles Monte Carlo

23

Ich versuche, ein Gefühl für die relativen Vor- und Nachteile sowie für die unterschiedlichen Anwendungsbereiche dieser beiden MCMC-Schemata zu bekommen.

  • Wann würden Sie welche und warum verwenden?
  • Wann könnte einer scheitern, der andere nicht (z. B. wo ist HMC anwendbar, SMC jedoch nicht und umgekehrt)
  • Könnte man, sehr naiv zugestanden, ein Maß an Nützlichkeit für eine Methode im Vergleich zur anderen angeben (dh ist eine Methode im Allgemeinen besser )?

Ich lese gerade Betancourts hervorragendes Papier über HMC .

Astrid
quelle
3
SMC ist keine MCMC-Technik, dh es gibt keine Markov-Kette, die bei Verwendung von SMC erstellt wird.
Jaradniemi
1
Manchmal benutzt du mcmc in smc. Und manchmal benutzt man smc innerhalb von mcmc. Zum Zeitpunkt meines Schreibens sind mir jedoch keine Artikel bekannt, die die Verwendung von hmc und smc kombinieren.
Taylor
1
Ich selbst möchte die Beziehung zwischen SMC (auch bekannt als Partikelfilterung) und HMC besser verstehen. Danke für die Frage! Ich nehme dieses Papier zur Kenntnis, das auf den ersten Blick eine Art Verschmelzung der beiden Ansätze zu repräsentieren scheint: arxiv.org/pdf/1504.05715v2.pdf
David C. Norris

Antworten:

23

Der Hamiltonianer Monte Carlo schneidet bei kontinuierlichen Zielverteilungen mit "seltsamen" Formen gut ab. Die Zielverteilung muss differenzierbar sein, da sie im Wesentlichen die Steigung der Zielverteilung verwendet, um zu wissen, wohin sie gehen soll. Das perfekte Beispiel ist eine bananenförmige Funktion.

Hier ist eine Standard Metropolis Hastings in einer Bananenfunktion: Akzeptanzrate von 66% und sehr schlechte Abdeckung. Metropole Hastings mit Bananenfunktion

Hier ist mit HMC: 99% Akzeptanz bei guter Abdeckung. Metropole Hastings mit Bananenfunktion

SMC (die Methode hinter der Partikelfilterung) ist nahezu unschlagbar, wenn die Zielverteilung multimodal ist, insbesondere wenn mehrere separate Bereiche mit Masse vorhanden sind. Anstatt eine Markov-Kette in einem Modus einzufangen, laufen mehrere Markov-Ketten parallel. Beachten Sie, dass Sie damit eine Abfolge von Verteilungen abschätzen , in der Regel mit zunehmender Schärfe. Sie können die zunehmende Schärfe durch simuliertes Tempern erzeugen (indem Sie dem Ziel einen progressiv zunehmenden Exponenten zuweisen). Oder typischerweise ist in einem Bayes'schen Kontext die Folge von Verteilungen die Folge von Seitenzähnen:

P(θ|y1),P(θ|y1,y2),...,P(θ|y1,y2,...,yN)

Diese Sequenz ist beispielsweise ein hervorragendes Ziel für SMC: Bildbeschreibung hier eingeben

Die Parallelität des SMC macht es besonders gut für verteiltes / paralleles Rechnen geeignet.

Zusammenfassung:

  • HMC: Gut für langgestreckte seltsame Ziele. Funktioniert nicht mit nicht kontinuierlicher Funktion.
  • SMC: gut für multimodale und nicht kontinuierliche Fälle. Konvergieren Sie möglicherweise langsamer oder verwenden Sie mehr Rechenleistung für hochdimensionale seltsame Formen.

Quelle: Die meisten Bilder stammen aus einer Arbeit, die ich mit der Kombination der beiden Methoden (Hamiltonian Sequential Monte Carlo) verfasst habe. Diese Kombination kann so ziemlich jede Verteilung simulieren, die wir darauf werfen können, selbst bei sehr hohen Dimensionen.

RemiDav
quelle
1
Schön und klar; +1. Keine Ahnung, warum das nicht mehr stimmt!
arboviral
2
Hier ist das Paper für Interessierte: remidaviet.com/files/HSMC-paper.pdf
stackoverflax