Eine gute Gibbs-Sampling-Tutorials und Referenzen

29

Ich möchte lernen, wie Gibbs Sampling funktioniert, und suche nach einem guten Basis- bis Zwischenpapier. Ich habe einen Informatikhintergrund und grundlegende statistische Kenntnisse.

Hat jemand gutes Material gelesen? wo hast du es gelernt?

Vielen Dank

fabrizioM
quelle
2
googeln "Gibbs Sampling" ist kein schlechter Weg, um eine Reihe von Ansichten zu diesem Thema zu bekommen. Ich denke, es ist ein guter Anfang, weil Sie dazu neigen, es mit einem "skeptischen Verstand" anzugehen - Sie können Google nicht als selbstverständlich ansehen, also müssen Sie eine Reihe von Ansichten finden. Natürlich benötigen Sie möglicherweise zu einem späteren Zeitpunkt eine seriöse Quelle, wenn Sie versuchen, diese zu implementieren. Es ist jedoch nicht immer die beste Idee, mit der "seriösen Quelle" zu beginnen, da sie mit einer bestimmten Art und Weise verbunden sein können - dh sie kennen den "richtigen Weg" und "alle anderen sind falsch oder unwirksam".
Wahrscheinlichkeitislogic
3
(+1) Fragen, die von Google leicht beantwortet werden können, sind normalerweise nicht erwünscht, aber diese IMO versucht, die kollektive Weisheit einer Community auf eine Weise zu nutzen, die das Google-Ranking nicht kann. Es wäre interessant zu sehen, welche Quellen die Leute wirklich nützlich fanden, um dieses Material zu lernen.
whuber
4
Das ist das Problem. Google gibt viel zu viele Ergebnisse zurück und nicht alle Artikel oder Tutorials sind klar genug.
FabrizioM

Antworten:

19

Ich würde anfangen mit:

Casella, George; George, Edward I. (1992). Msgstr " Den Gibbs - Sampler erklären ". The American Statistician 46 (3): 167–174. ( KOSTENLOSES PDF )

Abstract : Computerintensive Algorithmen wie der Gibbs-Sampler sind sowohl in der angewandten als auch in der theoretischen Arbeit zu immer beliebten statistischen Werkzeugen geworden. Die Eigenschaften solcher Algorithmen können jedoch manchmal nicht offensichtlich sein. Hier geben wir eine einfache Erklärung, wie und warum der Gibbs-Sampler funktioniert. Wir ermitteln seine Eigenschaften analytisch in einem einfachen Fall und geben Einblick in kompliziertere Fälle. Es gibt auch eine Reihe von Beispielen.

Der amerikanische Statistiker ist häufig eine gute Quelle für kurze (ish) Einführungsartikel, die keine Vorkenntnisse zum Thema voraussetzen, obwohl davon ausgegangen wird, dass Sie über den Hintergrund in Bezug auf Wahrscheinlichkeit und Statistik verfügen, der von einem amerikanischen Mitglied vernünftigerweise erwartet werden kann Statistische Vereinigung .

ein Stop
quelle
12

Ein Online-Artikel, der mir wirklich geholfen hat, Gibbs Sampling zu verstehen, ist die Parameterschätzung für die Textanalyse von Gregor Heinrich. Es handelt sich nicht um ein allgemeines Gibbs-Beispiel-Tutorial, sondern um eine Beschreibung der latenten Dirichlet-Zuordnung, einem recht beliebten Bayes-Modell für die Dokumentenmodellierung. Es wird ausführlich auf die Mathematik eingegangen.

Eine, die noch ausführlicher auf mathematische Details eingeht, ist Gibbs Sampling for the Uninitiated . Und ich meine, es geht davon aus, dass Sie einige multivariate Kalküle kennen und dann jeden Schritt von diesem Punkt aus erläutern. Also, obwohl es viel Mathe gibt, ist nichts davon fortgeschritten.

Ich gehe davon aus, dass dies für Sie nützlicher ist als etwas, das fortgeschrittenere Ergebnisse liefert, z. B. diejenigen, die belegen, warum die Gibbs-Abtastung zur richtigen Verteilung konvergiert. Die Referenzen, auf die ich hinweise, beweisen dies nicht.

JasonMond
quelle
2

Das Buch Monte-Carlo-Strategien im wissenschaftlichen Rechnen ist eine hervorragende Ressource. Es behandelt Dinge auf mathematisch rigorose Weise, aber Sie können leicht mathematische Abschnitte überspringen, die Sie nicht interessieren, und trotzdem jede Menge praktische Ratschläge erhalten. Insbesondere Metropolis-Hastings- und Gibbs-Samples lassen sich so gut zusammenfügen, was von entscheidender Bedeutung ist. In den meisten Anwendungen müssen Sie mithilfe von Gibbs-Sampling aus einer posterioren Verteilung ziehen. Daher ist es hilfreich zu wissen, wie diese in die Logik von Metropolis im Allgemeinen passt.

ely
quelle