Welche MCMC-Algorithmen / Techniken werden für diskrete Parameter verwendet?

Ich kenne mich mit der Anpassung kontinuierlicher Parameter, insbesondere mit gradientenbasierten Methoden, ziemlich gut aus, aber nicht mit der Anpassung diskreter Parameter.

Was sind allgemein verwendete MCMC-Algorithmen / Techniken zum Anpassen diskreter Parameter? Gibt es Algorithmen, die sowohl allgemein als auch leistungsfähig sind? Gibt es Algorithmen, die sich gut mit dem Fluch der Dimensionalität auseinandersetzen? Zum Beispiel würde ich sagen, Hamiltonian MCMC ist allgemein, leistungsfähig und skaliert gut.

Das Abtasten von einer beliebigen diskreten Verteilung scheint schwieriger zu sein als das Abtasten von einer kontinuierlichen Verteilung, aber ich bin gespannt, wie der Stand der Technik ist.

Edit : JMS hat mich gebeten, näher darauf einzugehen.

Ich habe keine spezifischen Anwendungen im Sinn, aber hier sind einige Arten von Modellen, die ich mir vorstelle:

• Modellauswahl zwischen verschiedenen Arten von kontinuierlichen Regressionsmodellen. Sie haben einen diskreten einzelnen 'Modell'-Parameter
• Ein kontinuierliches Modell, bei dem jede Beobachtung die Möglichkeit hat, ein "Ausreißer" zu sein und aus einer viel stärker verteilten Verteilung zu stammen. Ich nehme an, das ist ein Mischmodell.

Ich würde erwarten, dass viele Modelle sowohl kontinuierliche als auch diskrete Parameter enthalten.

Die einfache Antwort lautet also ja: Metropolis-Hastings und sein Spezialfall Gibbs Sampling :) Allgemein und mächtig; ob es skaliert oder nicht, hängt vom jeweiligen Problem ab.

$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

Haben Sie ein bestimmtes Modell im Sinn? Es gibt alle möglichen MCMC-Ansätze, um beispielsweise Mischungsmodelle anzupassen, bei denen die latenten Komponentenzuweisungen diskrete Parameter sind. Diese reichen von sehr einfach (Gibbs) bis ziemlich komplex.

Wie groß ist der Parameterraum? Ist es potenziell enorm (z. B. im Fall eines Mischungsmodells ist es N durch die Anzahl der Mischungskomponenten)? Möglicherweise benötigen Sie nicht mehr als einen Gibbs-Sampler, da die Konjugation kein Problem mehr darstellt (Sie können die Normalisierungskonstante direkt abrufen, um die vollständigen Bedingungen zu berechnen). Tatsächlich war der knifflige Gibbs in diesen Fällen beliebt, in denen ein fortlaufender Prior diskretisiert wird, um die Berechnung zu vereinfachen.

Ich denke nicht, dass es für alle Probleme mit einem diskreten Parameterraum ein bestimmtes "Beste" gibt, so wenig wie für den kontinuierlichen Fall. Aber wenn Sie uns mehr über die Modelle erzählen, an denen Sie interessiert sind, können wir Ihnen vielleicht einige Empfehlungen geben.

Bearbeiten: OK, ich kann ein wenig mehr Informationen in Bezug auf Ihre Beispiele geben.

$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$$2^p$$1:2^p$

$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS bettet den gesamten Modellraum in ein großes Modell ein. Oft ist dies einfach zu implementieren, aber es gibt schlecht funktioniert. Reversibler Sprung MCMC ist ein anderer Ansatz, bei dem die Dimension des Parameterraums explizit variiert. siehe [3] für eine Übersicht und einige praktische Hinweise. Ausführlichere Hinweise zur Implementierung in verschiedenen Modellen finden Sie in der Literatur, da bin ich mir sicher.

$p=1000$

Ein anderer Ansatz, der immer beliebter wird, ist die Verwendung von absolut kontinuierlichen Schrumpfungsprioren, die modellgemittelte Ergebnisse imitieren. Typischerweise werden diese als Skalenmischungen von Normalen formuliert. Das Bayes'sche Lasso ist ein Beispiel, bei dem es sich um einen Sonderfall von Normal-Gamma-Priors und einen Grenzfall von Normal-Exponential-Gamma-Priors handelt. Andere Möglichkeiten sind das Hufeisen und die allgemeine Klasse der Normalverteilungen mit invertierten Beta-Prioritäten in Bezug auf ihre Varianz. Um mehr darüber zu erfahren, würde ich vorschlagen, mit [6] zu beginnen und die Referenzen noch einmal durchzugehen (zu viele, als dass ich sie hier wiederholen könnte :)).

Ich werde später mehr über Ausreißermodelle hinzufügen, wenn ich die Gelegenheit dazu bekomme. die klassische Referenz ist [7]. Sie sind im Geist sehr ähnlich zu schrumpfenden Priors. Normalerweise sind sie mit Gibbs Sampling ziemlich einfach zu machen.

Vielleicht nicht so praktisch, wie Sie es sich erhofft hatten; Insbesondere die Modellauswahl ist ein schwieriges Problem. Je ausgefeilter das Modell, desto schlimmer wird es. Das Block-Update, wo immer es möglich ist, ist der einzige allgemeine Rat, den ich habe. Bei der Auswahl aus einer Mischung von Verteilungen tritt häufig das Problem auf, dass Mitgliedschaftsindikatoren und Komponentenparameter stark korrelieren. Ich habe auch Probleme mit dem Etikettenwechsel (oder das Fehlen eines Etikettenwechsels) nicht angesprochen. Es gibt einiges an Literatur, aber es ist etwas außerhalb meines Ruderhauses.

Ich halte es jedenfalls für nützlich, hier mit einigen Referenzen zu beginnen, um ein Gefühl dafür zu bekommen, auf welche Weise andere ähnliche Probleme angehen.

[1] Merlise Clyde und EI George. Model Uncertainty Statistical Science 19 (2004): 81 & ndash; 94. http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green & Hastie Umkehrsprung MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West Outlier-Modelle und frühere Verteilungen in der Bayes'schen linearen Regression (1984) JRSS-B