Gibt es ein Konjugat für die Laplace-Verteilung ? Wenn nicht, gibt es einen bekannten Ausdruck in geschlossener Form, der sich den Parametern der Laplace-Verteilung annähert?
Ich habe ziemlich viel gegoogelt und keinen Erfolg gehabt, daher lautet meine derzeitige Vermutung "Nein" zu den obigen Fragen ...
bayesian
conjugate-prior
laplace-distribution
Rasmus Bååth
quelle
quelle
Antworten:
Schauen wir sie uns zuerst einzeln an (nehmen wir den anderen als gegeben).
Aus dem Link (mit der Änderung der folgenden Konvention der Verwendung von griechischen Symbolen für Parameter):
- Skalenparameter :
für bestimmte Werte von und S . Das ist die Wahrscheinlichkeit, dass es sich um eine Inverse-Gamma-Form handelt.k S
Der Parameter scale hat also eine konjugierte Priorität - bei der Überprüfung ist die konjugierte Priorität inverses Gamma.
- Standortparameter
Dies ist in der Tat komplizierter, weil vereinfacht sich nicht zu etwas Bequemem in μ∑ich| xich- μ | μ ; Ich glaube nicht, dass es eine Möglichkeit gibt, die Begriffe zu "sammeln" (in gewisser Weise, aber das müssen wir sowieso nicht).
Ein Uniform-Prior schneidet den Seitenzahn einfach ab, was nicht so schlimm ist, wenn dies als Prior plausibel erscheint.
Eine interessante Möglichkeit, die gelegentlich nützlich sein kann, besteht darin, dass es relativ einfach ist, einen Laplace-Prior (einen mit demselben Maßstab wie die Daten) mithilfe einer Pseudobeobachtung aufzunehmen. Man könnte sich auch über mehrere Pseudobeobachtungen einer anderen (engeren) Vorstufe annähern.
Um das zu verallgemeinern: Wenn ich mit einem Laplace arbeiten würde, wäre ich versucht, einfach von einer Konstant-Skalenkonstant-Gewichtung auf eine gewichtete Beobachtungsversion von Laplace zu verallgemeinern jeder Datenpunkt) - Die log-Wahrscheinlichkeit ist immer noch eine stetige stückweise lineare Funktion, aber die Steigung kann sich an den Verbindungspunkten um nicht ganzzahlige Beträge ändern. Dann ein bequemes "Konjugat" existiert vor - nur eine weitere 'gewichtet' Laplace oder gar nichts von der Form oder exp ( - Σ jexp( - ∑j| μ- θj| / ϕj) exp( - ∑jw∗j| μ- θj| ) (obwohl es angemessen skaliert werden müsste, um eine tatsächliche Dichte zu erhalten) - eine sehr flexible Familie von Verteilungen, die anscheinend zu einem posterioren "der gleichen Form" wie die Wahrscheinlichkeit der gewichteten Beobachtung und zu etwas Leichtem führt, mit dem man arbeiten kann und zeichnen; ja sogar das pseudo-beobachtungsding funktioniert noch.
Es ist auch flexibel genug, um andere Prioritäten zu approximieren.
(Noch allgemeiner könnte man auf der logarithmischen Skala arbeiten und einen kontinuierlichen, stückweise linearen logarithmischen Konkaven vorziehen, und der hintere Teil wäre ebenfalls von dieser Form; dies würde asymmetrisches Laplace als Sonderfall einschließen.)
Beispiel
Nur um zu zeigen, dass es ziemlich einfach ist, damit umzugehen - unten ist eine vorherige (grau gepunktet), Wahrscheinlichkeit (gestrichelt, schwarz) und hintere (durchgehend, rot) für den Positionsparameter für ein gewichtetes Laplace (... dies war bei bekannten Skalen der Fall) ).
Der gewichtete Laplace-Ansatz würde in MCMC gut funktionieren, denke ich.
-
Ich frage mich, ob der resultierende hintere Modus ein gewichteter Median ist.
- Eigentlich (um meine eigene Frage zu beantworten), sieht es so aus, als wäre die Antwort "Ja". Das macht es ziemlich schön damit zu arbeiten.
-
Gemeinsame vor
Zweifellos ist etwas allgemeineres für den gemeinsamen Prior durchaus möglich, aber ich denke nicht, dass ich den gemeinsamen Fall hier weiter verfolgen werde.
-
Ich habe noch nie zuvor von diesem gewichteten Laplace-Ansatz gehört oder gesehen, aber es war ziemlich einfach, ihn zu finden, sodass er wahrscheinlich bereits durchgeführt wurde. (Referenzen sind willkommen, falls jemand welche kennt.)
Wenn niemand von irgendwelchen Referenzen weiß, sollte ich vielleicht etwas aufschreiben, aber das wäre erstaunlich.
quelle