Wie unterscheiden sich ABC und MCMC in ihren Anwendungen?

Nach meinem Verständnis verfolgen Approximate Bayesian Computation (ABC) und Markov Chain Monte Carlo (MCMC) sehr ähnliche Ziele. Im Folgenden beschreibe ich mein Verständnis dieser Methoden und wie ich die Unterschiede in ihrer Anwendung auf reale Daten wahrnehme.

Ungefähre Bayes'sche Berechnung

ABC besteht darin, einen Parameter aus einer vorherigen, durch numerische Simulation berechneten Statistik x i abzutasten, die mit einigen beobachteten x o b s verglichen wird . Basierend auf einem Zurückweisungsalgorithmus wird x i entweder beibehalten oder zurückgewiesen. Die Liste der zurückbehaltenen x i s ergab die hintere Verteilung.$\theta$$x_i$$x_{obs}$$x_i$$x_i$

Markov-Kette Monte Carlo

MCMC besteht darin, eine vorherige Verteilung des Parameters thgr; abzutasten . Es nimmt eine erste Probe θ 1 , compute P ( x o b s | θ 1 ) P ( θ 1 ) , und dann springen (nach einiger Regel) auf einen neuen Wert θ 2 , für die P ( x o b s | θ 2 ) P ( θ 2 ) wird erneut berechnet. Das Verhältnis P ( x o b $\theta$$\theta_1$$P(x_{obs} | \theta_1)P(\theta_1)$$\theta_2$$P(x_{obs} | \theta_2)P(\theta_2)$ wird berechnet undAbhängigkeit vongewissen Schwellenwert, der nächste Sprung von den ersten oder der zweiten Stellung auftreten. Die Erforschung vonθ-Werten geht eins und eins und am Ende ist die Verteilung der beibehaltenenθ-Werte die hintere VerteilungP(θ|x)(aus einem mir noch unbekannten Grund).$\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}$$\theta$$\theta$$P(\theta | x)$

Mir ist klar, dass meine Erklärungen nicht die Vielfalt der Methoden widerspiegeln, die unter jedem dieser Begriffe existieren (insbesondere für MCMC).

ABC vs MCMC (Vor- und Nachteile)

ABC hat den Vorteil, dass man nicht analytisch lösen muss . Als solches ist ABC praktisch für komplexe Modelle, bei denen MCMC es nicht schaffen würde.$P(x | \theta)P(\theta)$

Mit MCMC können statistische Tests (Likelihood Ratio Test, G-Test, ...) durchgeführt werden, obwohl ich dies mit ABC nicht für machbar halte.

Habe ich soweit recht?

Frage

• Wie unterscheiden sich ABC und MCMC in ihren Anwendungen? Wie entscheidet man sich für die eine oder andere Methode?

Einige zusätzliche Kommentare zu Björns Antwort:

1. ABC wurde zuerst von Rubin (1984) als Erklärung der Bayes'schen Folgerung und nicht für rechnerische Zwecke eingeführt. In diesem Artikel erklärte er, wie die Stichprobenverteilung und die vorherige Verteilung zusammenwirken, um die hintere Verteilung zu erzeugen.

2. ABC wird jedoch hauptsächlich aus rechnerischen Gründen genutzt. Populationsgenetiker entwickelten die Methode anhand von Baummodellen, bei denen die Wahrscheinlichkeit der beobachteten Stichprobe schwer zu bestimmen war. Die MCMC-Schemata (Data Augmentation), die in solchen Einstellungen verfügbar waren, waren schrecklich ineffizient, und daher war die Stichprobenerfassung auch bei einem Parameter mit einer einzigen Dimension von Bedeutung ... ABC ist im Kern ein Ersatz für Monte-Carlo-Methoden wie MCMC oder PMC, wenn Diese stehen nicht für alle praktischen Zwecke zur Verfügung. Wenn sie verfügbar sind, wird ABC als Proxy angezeigt, mit dem sie kalibriert werden können, wenn sie schneller ausgeführt werden.

3. In einer moderneren Perspektive betrachte ich ABC persönlich eher als eine ungefähre Inferenzmethode als als eine Computertechnik. Durch Erstellen eines Näherungsmodells kann auf den interessierenden Parameter geschlossen werden, ohne dass ein genaues Modell erforderlich ist. In dieser Einstellung ist zwar ein gewisser Grad an Validierung erforderlich, dies ist jedoch nicht weniger gültig als eine Modellmittelung oder Nicht-Parametrik. Tatsächlich kann ABC als eine spezielle Art nicht parametrischer Bayes-Statistiken angesehen werden.

4. Es kann auch gezeigt werden, dass (lautes) ABC ein perfekt definierter Bayes'scher Ansatz ist, wenn man das ursprüngliche Modell und die ursprünglichen Daten durch ein lautes ersetzt. Als solches erlaubt es alle denkbaren bayesianischen Folgerungen. Einschließlich Testen. Unser Beitrag zur Debatte über ABC und Hypothesentests ist , dass das ungefähre Modell ABC zugrunde liegt als am Ende möglicherweise schlecht ausgestattet , die Relevanz einer Hypothese der Daten, aber nicht gegeben zu beurteilen , unbedingt , was da die meisten Anwendungen von ABC in der Bevölkerung ebenso gut ist Die Genetik befasst sich mit der Wahl des Modells.

5. In einer noch neueren Perspektive können wir ABC als Bayes'sche Version der indirekten Inferenz betrachten, bei der die Parameter eines statistischen Modells mit den Momenten einer vorbestimmten Statistik in Beziehung gesetzt werden. Wenn diese Statistik ausreicht (oder im Volksmund ausreicht), um diese Parameter zu identifizieren, kann gezeigt werden, dass ABC mit der Anzahl der Beobachtungen zum wahren Wert der Parameter konvergiert .

$P(x|\theta)$$\theta$simulierte Daten stimmen am häufigsten (ungefähr) mit den beobachteten Daten überein (mit vorgeschlagenen Werten, z. B. zufällig aus dem Vorgänger gezogen). Für einfache Fälle, wie eine einzelne binomische Zufallsvariable mit einer nicht zu großen Stichprobengröße, kann sogar eine exakte Übereinstimmung erforderlich sein, und in diesen Fällen gibt es absolut nichts, was Sie mit diesen hinteren Stichproben nicht tun könnten, was Sie auch nicht tun könnten Standard-MCMC-Proben. Für komplexere Situationen mit kontinuierlichen (auch für multivariate diskrete Ergebnisse) und potenziell multivariaten Ergebnissen, die eine genaue Übereinstimmung erfordern, ist dies nicht mehr möglich.

Es gibt tatsächlich MCMC-Versionen von ABC, die das Problem beheben, dass eine Stichprobe nach dem Stand der Technik, wenn Sie einen Stand der Technik haben, der dem Stand der Technik nicht sehr ähnlich ist (z. B. weil der Stand der Technik sehr uninformativ ist), äußerst ineffizient ist, da dies sehr selten der Fall ist Erhalten Sie eine enge Übereinstimmung zwischen den beobachteten und den simulierten Daten.

$P(x|\theta)$$P(x|\theta)$$P(x|\theta)$ist nicht analytisch verfügbar. Natürlich kann es in solchen Fällen einige andere mögliche Optionen geben (z. B. INLA, quadratische Annäherungen an Wahrscheinlichkeiten usw.), die für bestimmte Probleme effizienter / erfolgreicher sein können. In gewisser Weise ergeben sich Einschränkungen in Bezug auf die Arbeit mit hinteren Proben von ABC daraus, dass nur eine ungefähre Übereinstimmung zwischen den tatsächlichen und den simulierten Daten erforderlich ist (wenn Sie eine genaue Übereinstimmung benötigen könnten, gäbe es überhaupt keine Probleme). Es gibt mehrere gute Einführungspapiere, z. B. dieses Papier von Marin et al. (2012) . Mindestens einer der Mitautoren (@ Xi'an) leistet hier einen aktiven Beitrag, und ich würde gerne auch seine Gedanken hier veröffentlichen - ich glaube, er kann viel mehr zum Thema Testen sagen.