Wann würde man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden?

Es gibt verschiedene Arten von MCMC-Algorithmen:

• Metropolis-Hastings
• Gibbs
• Stichprobe von Bedeutung / Ablehnung (in Verbindung stehend).

Warum sollte man Gibbs-Sampling anstelle von Metropolis-Hastings verwenden? Ich vermute, dass es Fälle gibt, in denen Rückschlüsse mit Gibbs-Stichproben besser möglich sind als mit Metropolis-Hastings, aber die Einzelheiten sind mir nicht klar.

Lassen Sie mich zunächst [etwas umständlich] darauf hinweisen

Es gibt verschiedene Arten von MCMC-Algorithmen: Metropolis-Hastings, Gibbs, Wichtigkeits- / Zurückweisungsabtastung (verwandt).

Stichprobenverfahren für Wichtigkeit und Zurückweisung sind keine MCMC-Algorithmen, da sie nicht auf Markov-Ketten basieren. Tatsächlich Importance Sampling keine Probe aus der Zielverteilung erzeugen, sagen, aber nur Wichtigkeitsgewichte sagen wir, in Monte Carlo Approximationen von Integralen verwendet werden im Zusammenhang mit . Die Verwendung dieser Gewichte als Wahrscheinlichkeiten zur Erzeugung einer Stichprobe führt nicht zu einer geeigneten Stichprobe aus , obwohl unverzerrte Schätzer der Erwartungen unter erzeugt werden können.ω f f $f$$\omega$$f$$f$$f$

Zweitens die Frage

Warum sollte jemand mit Gibbs Sampling anstelle von Metropolis-Hastings gehen? Ich vermute, dass es Fälle gibt, in denen Inferenzen mit Gibbs-Stichproben besser als mit Metropolis-Hastings nachvollziehbar sind

hat keine Antwort darauf, dass ein Metropolis-Hastings-Sampler fast alles sein kann, einschließlich eines Gibbs-Samplers. Ich antwortete ziemlich ausführlich auf eine frühere und ähnliche Frage. Aber lassen Sie mich hier ein paar redundante Punkte hinzufügen:

Der Hauptgrund, warum die Gibbs-Abtastung eingeführt wurde, bestand darin, den Fluch der Dimensionalität (der sowohl die Zurückweisung als auch die Wichtigkeitsabtastung beeinflusst) zu brechen, indem eine Folge von Simulationen mit geringer Dimension erzeugt wurde, die immer noch zum richtigen Ziel konvergieren. Auch wenn die Dimension des Ziels die Konvergenzgeschwindigkeit beeinflusst. Metropolis-Hastings-Probenehmer sind so konzipiert, dass sie eine Markov-Kette (wie Gibbs-Probenahme) basierend auf einem Vorschlag (wie Wichtigkeits- und Zurückweisungs-Probenahme) erstellen, indem sie die falsche Dichte durch einen Akzeptanz-Zurückweisungs-Schritt korrigieren. Ein wichtiger Punkt ist jedoch, dass sie sich nicht widersetzen: Für die Gibbs-Abtastung sind möglicherweise Schritte nach Metropolis-Hastings erforderlich, wenn komplexe, bedingte Ziele mit geringer Dimension vorliegen, während die Vorschläge nach Metropolis-Hastings auf Annäherungen an (Gibbs) vollständige Bedingungen beruhen können. In einer formalen Definition Die Gibbs-Abtastung ist ein Spezialfall des Metropolis-Hasting-Algorithmus mit einer Akzeptanzwahrscheinlichkeit von eins. (Ich widerspreche übrigens der Verwendung vonRückschluss in diesem Zitat, da ich es für statistische Zwecke reservieren würde , während diese Sampler numerische Geräte sind.)

In der Regel wird die Gibbs-Abtastung [die so verstanden wird, dass sie eine Folge von niederdimensionalen bedingten Simulationen ausführt] in Umgebungen bevorzugt, in denen die Zerlegung in solche Bedingungen einfach zu implementieren und schnell durchzuführen ist. In Umgebungen, in denen solche Zerlegungen Multimodalität induzieren und sich daher nur schwer zwischen den Modi bewegen lassen (latente variable Modelle wie Mischungsmodelle fallen ein), kann die Verwendung eines globaleren Vorschlags in einem Metropolis-Hasting-Algorithmus zu einer höheren Effizienz führen. Der Nachteil liegt jedoch in der Auswahl der Angebotsverteilung im Metropolis-Hasting-Algorithmus.