MCMC in einer frequentistischen Umgebung

Ich habe versucht, ein Gefühl für die verschiedenen Probleme in frequentistischen Umgebungen zu bekommen, in denen MCMC verwendet wird. Ich bin mir bewusst, dass MCMC (oder Monte Carlo) zum Anpassen von GLMMs und möglicherweise in Monte Carlo EM-Algorithmen verwendet wird. Gibt es häufigere Probleme bei der Verwendung von MCMC?

mcmc monte-carlo expectation-maximization metropolis-hastings frequentist Greenparker
quelle

Wenn ein Bayes'sches Modell auch als frequentistisches Modell ausgelegt werden kann (z. B. sind alle Priors flach), ist der posteriore Modus der MLE. Sie können also MCMC verwenden, um MLE auszuführen, obwohl dies möglicherweise kein sehr guter Weg ist, dies zu tun.

Kodiologe

@ Kodiologe Sicher. Obwohl es wahrscheinlich ist, dass wir am hinteren Mittelwert interessiert sind (wenn wir unter der Verlustfunktion der kleinsten Quadrate arbeiten), werden wir nicht einmal versuchen, die MLE zu finden. Aber ich verstehe, was du meinst.

Greenparker

@ Kodiologe, aber warum sollte Frequentist das tun? Erstens würde dies zu mehreren konzeptionellen Problemen führen (vorausgesetzt, der Parameter ist rv, wie werden HDIs interpretiert usw.). Zweitens, wenn der Frequentist es einfach anstelle des Optimierungsalgorithmus verwenden würde, um eine Punktschätzung zu finden, warum sollte er dies tun, da dies ein sehr ineffizienter Weg ist, wenn Sie nur nach der Punktschätzung sind ...

Tim

Ich bin zufällig darauf gestoßen, fand das aber ein nützliches Thema. Wenn ich mich nicht irre, befassen sich Monte-Carlo-Methoden im Allgemeinen mit der Probenahme aus einer Zielverteilung, aus der man möglicherweise direkt Proben entnehmen kann oder nicht. Die Verschiebung zwischen Bayesian & Frequentist ist die Interpretation von Daten als RVs oder Parameter sind RVs (wie von @Tim angegeben). Es scheint mir also, dass MC-Methoden weder "bayesianisch" noch "frequentistisch" sind. Es ist vielmehr die Philosophie, die auf ihre Verwendung angewendet wird, die eine Unterscheidung schafft. Wäre dies eine korrekte Einschätzung?

Jon

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$

x_{i} \sim f

$x_i \sim f$

f

$f$

f

$f$

Antworten:

Wie in den vielen Kommentaren angegeben, ist die Markov-Kette Monte Carlo ein Sonderfall der Monte-Carlo-Methode, mit der Mengen, die mit einer Verteilung zusammenhängen, über eine Pseudozufallszahlen-Simulation angenähert werden. Als solches hat es keinen Zusammenhang mit einem bestimmten statistischen Paradigma und den frühesten Fällen der Methode, wie bei Metropolis et al. (1953) waren nicht mit Statistiken verwandt, Bayesian oder Frequentist. Wenn überhaupt, sind diese Methoden von Natur aus "häufig" (eine ohnehin schlecht definierte Kategorie), da sie auf der Stabilisierung der Frequenzen oder Mittelwerte in Richtung der Erwartung beruhen, wenn die Anzahl der Simulationen zunimmt, auch bekannt als das Gesetz der großen Zahlen.

Innerhalb nicht-Bayes'scher komplexer Probleme ist es daher möglich, MCMC-Methoden zu verwenden, um schwer zu handhabende Integrale zu ersetzen. Überprüfen Sie zum Beispiel

die Optimierung von Wahrscheinlichkeiten ohne Ausdrücke in geschlossener Form, wie in Modellen mit latenten Variablen und zufälligen Effekten. Der EM-Algorithmus funktioniert möglicherweise aufgrund eines unlösbaren "E" -Schritts nicht. In diesem Fall muss die Erwartung durch eine Monte-Carlo- oder eine Markov-Ketten-Monte-Carlo-Näherung ersetzt werden . Mit einer möglichen Bewertung des Fehlers. Oder es funktioniert möglicherweise aufgrund eines hartnäckigen "M" -Schritts nicht. In diesem Fall kann die Maximierung manchmal durch ein Markov'sches Maximierungsverfahren wie beim simulierten Tempern ersetzt werden . Oder mit Gibbs Schritten .
simulierte Inferenzmethoden in der Ökonometrie, als simulierte Methode der Momente , indirekte Inferenz , empirische Wahrscheinlichkeit .
Approximationen von Wahrscheinlichkeiten mit unlösbaren Normalisierungskonstanten wie Ising, Potts und anderen Markov-Zufallsfeldmodellen unter Verwendung von beispielsweise Austauschalgorithmen .
$p$
wieder in der Ökonometrie Laplace-Typschätzer , "die Mittelwerte und Quantile von quasi-posterioren Verteilungen enthalten, die als Transformationen allgemeiner nicht auf Wahrscheinlichkeit basierender statistischer Kriteriumsfunktionen definiert sind, wie jene in GMM-, nichtlinearen IV-, empirischen Wahrscheinlichkeits- und Mindestabstandsmethoden" (Chernozhukov) und Hong, 2003) stützen sich auf MCMC-Algorithmen.

Xi'an
quelle