Eine gute Gibbs-Sampling-Tutorials und Referenzen

Ich möchte lernen, wie Gibbs Sampling funktioniert, und suche nach einem guten Basis- bis Zwischenpapier. Ich habe einen Informatikhintergrund und grundlegende statistische Kenntnisse.

Hat jemand gutes Material gelesen? wo hast du es gelernt?

Vielen Dank

Ich würde anfangen mit:

Casella, George; George, Edward I. (1992). Msgstr " Den Gibbs - Sampler erklären ". The American Statistician 46 (3): 167–174. ( KOSTENLOSES PDF )

Abstract : Computerintensive Algorithmen wie der Gibbs-Sampler sind sowohl in der angewandten als auch in der theoretischen Arbeit zu immer beliebten statistischen Werkzeugen geworden. Die Eigenschaften solcher Algorithmen können jedoch manchmal nicht offensichtlich sein. Hier geben wir eine einfache Erklärung, wie und warum der Gibbs-Sampler funktioniert. Wir ermitteln seine Eigenschaften analytisch in einem einfachen Fall und geben Einblick in kompliziertere Fälle. Es gibt auch eine Reihe von Beispielen.

Der amerikanische Statistiker ist häufig eine gute Quelle für kurze (ish) Einführungsartikel, die keine Vorkenntnisse zum Thema voraussetzen, obwohl davon ausgegangen wird, dass Sie über den Hintergrund in Bezug auf Wahrscheinlichkeit und Statistik verfügen, der von einem amerikanischen Mitglied vernünftigerweise erwartet werden kann Statistische Vereinigung .

Ein Online-Artikel, der mir wirklich geholfen hat, Gibbs Sampling zu verstehen, ist die Parameterschätzung für die Textanalyse von Gregor Heinrich. Es handelt sich nicht um ein allgemeines Gibbs-Beispiel-Tutorial, sondern um eine Beschreibung der latenten Dirichlet-Zuordnung, einem recht beliebten Bayes-Modell für die Dokumentenmodellierung. Es wird ausführlich auf die Mathematik eingegangen.

Eine, die noch ausführlicher auf mathematische Details eingeht, ist Gibbs Sampling for the Uninitiated . Und ich meine, es geht davon aus, dass Sie einige multivariate Kalküle kennen und dann jeden Schritt von diesem Punkt aus erläutern. Also, obwohl es viel Mathe gibt, ist nichts davon fortgeschritten.

Ich gehe davon aus, dass dies für Sie nützlicher ist als etwas, das fortgeschrittenere Ergebnisse liefert, z. B. diejenigen, die belegen, warum die Gibbs-Abtastung zur richtigen Verteilung konvergiert. Die Referenzen, auf die ich hinweise, beweisen dies nicht.

Das Buch Monte-Carlo-Strategien im wissenschaftlichen Rechnen ist eine hervorragende Ressource. Es behandelt Dinge auf mathematisch rigorose Weise, aber Sie können leicht mathematische Abschnitte überspringen, die Sie nicht interessieren, und trotzdem jede Menge praktische Ratschläge erhalten. Insbesondere Metropolis-Hastings- und Gibbs-Samples lassen sich so gut zusammenfügen, was von entscheidender Bedeutung ist. In den meisten Anwendungen müssen Sie mithilfe von Gibbs-Sampling aus einer posterioren Verteilung ziehen. Daher ist es hilfreich zu wissen, wie diese in die Logik von Metropolis im Allgemeinen passt.