In der Praxis verwendete Metropolis-Hastings-Algorithmen

20

Ich habe heute Christian Roberts Blog gelesen und mochte den neuen Metropolis-Hastings-Algorithmus, den er diskutierte, sehr. Es schien einfach und leicht zu implementieren.

Immer wenn ich MCMC codiere, bleibe ich bei sehr einfachen MH-Algorithmen, wie unabhängigen Zügen oder zufälligen Schritten auf der Log-Skala.

Welche MH-Algorithmen verwenden Menschen routinemäßig? Bestimmtes:

  • Warum benutzt du sie?
  • In gewissem Sinne müssen Sie denken, dass sie optimal sind - schließlich setzen Sie sie routinemäßig ein! Wie beurteilen Sie die Optimalität: einfache Codierung, Konvergenz, ...

Mich interessiert besonders, was in der Praxis verwendet wird, dh, wenn Sie Ihre eigenen Schemata programmieren.

mcmc metropolis-hastings csgillespie
quelle
Vielleicht CW? Die Frage scheint eine Umfrage darüber zu sein, was die Leute benutzen. Wie würden Sie die "beste" Antwort definieren? Ich gebe zu, dass ich etwas unklar bin, wann ich CW anwenden soll. Wenn Sie sich anders fühlen, können Sie diesen Kommentar ignorieren.
1
Es würde mir nichts ausmachen, dies als Nicht-CW zu belassen, insbesondere wenn Colin es leicht umformulieren kann, um die Möglichkeit einer besten Antwort zuzulassen. Das heißt, ich kann mir nicht vorstellen, wie das geht ...
Shane
Ich habe versucht , die Frage zu ändern es weniger CW zu machen - nicht sicher , ob es mir gelungen ist :( @Shane @Srikant wenn Sie immer noch denken , dass es ein CW sein sollte, fühlen Sie sich frei , es zu ändern.
csgillespie
Das klingt so, als wäre es ein gutes Umfragepapier!
Sean

Antworten:

2

Hybrid Monte Carlo ist der Standardalgorithmus für neuronale Netze. Gibbs-Abtastung für die Gaußsche Prozessklassifizierung (wenn stattdessen keine deterministische Approximation verwendet wird).

Dikran Beuteltier
quelle
2

MH-Sampling wird verwendet, wenn es schwierig ist, Stichproben aus der Zielverteilung zu entnehmen (z. B. wenn der Prior nicht mit der Wahrscheinlichkeit konjugiert ist ). Sie verwenden also eine Angebotsverteilung, um Stichproben zu generieren und basierend auf der Akzeptanzwahrscheinlichkeit zu akzeptieren / abzulehnen. Der Gibbs-Abtastalgorithmus ist eine bestimmte Instanz von MH, bei der die Vorschläge immer akzeptiert werden. Die Gibbs-Abtastung ist aufgrund ihrer Einfachheit einer der am häufigsten verwendeten Algorithmen, kann jedoch möglicherweise nicht immer angewendet werden. In diesem Fall greift man aufgrund von Annahme- / Ablehnungsvorschlägen auf MH zurück.

Ebenholz1
quelle
1

In der Physik, insbesondere der statistischen Physik, werden in großem Umfang Metropolis-Algorithmen verwendet. Es gibt wirklich unzählige Varianten davon und die neuen werden aktiv entwickelt. Es ist viel zu weit gefasst, um hier eine Erklärung abzugeben. Wenn Sie interessiert sind, können Sie beispielsweise mit diesen Vorlesungsskripten oder der Webseite der ALPS-Bibliothek (http://alps.comp-phys.org/mediawiki) beginnen.

ev-br
quelle
Mir ist klar, dass es unzählige Varianten dieses Algorithmus gibt. Was mich interessierte, war, welche Leute routinemäßig benutzen.
Csgillespie
1

Ich verwende einen Slice-Sampler, der ursprünglich von Neal (2003) vorgeschlagen wurde und den ich durch heuristische Optimierung abstimme.

M. Tibbits
quelle