Warum ist die Mischung von konjugierten Priors wichtig?

8

Ich habe Fragen zur Mischung der konjugierten Priors. Ich habe die Mischung aus konjugierten Priors ein paar Mal gelernt und gesagt, wenn ich Bayesianisch lerne. Ich frage mich, warum dieser Satz so wichtig ist und wie wir ihn anwenden werden, wenn wir eine Bayes'sche Analyse durchführen.

Genauer gesagt illustrierte ein Satz von Diaconis und Ylivisaker 1985 einen Satz wie diesen:

Bei einem Stichprobenmodell aus einer Exponentialfamilie kann jede vorherige Verteilung durch eine endliche Mischung konjugierter vorheriger Verteilungen angenähert werden.p(y|θ)

Genauer gesagt, wenn vorher , können wir den posterioren ableiten:p(θ)=p(θ|ω)p(ω)dω

p(θ|Y)p(Y|θ)p(θ|ω)p(ω)dωp(Y|θ)p(θ|ω)p(Y|ω)p(Y|ω)p(ω)dωp(θ|Y,ω)p(Y|ω)p(ω)dω

Deshalb,

p(θ|Y)=p(θ|Y,ω)p(Y|ω)p(ω)dωp(Y|ω)p(ω)dω

Shijia Bian
quelle
1
Dies ist keine Antwort auf Ihre Frage, aber es ist gut zu bedenken, dass Sie in vielen Fällen keine konjugierten Prioritäten für die Probenahme verwenden müssen (siehe hier ).
Tim
2
Der Satz, den Sie zitieren, ist nicht wahr. In der von Ihnen beschriebenen Version geht es um hierarchische Prioritäten, nicht um konjugierte Prioritäten . Bitte formulieren Sie Ihre Frage richtig.
Xi'an
@ Xi'an Danke. Dieses Zitat stammt aus dem Artikel < statistics.stanford.edu/sites/default/files/EFS%20NSF%20207.pdf >. Es ist am Ende von Seite 13.
Shijia Bian
2
Oh, du hast die "Annäherung" und das "Endliche" in der Aussage vergessen !!! "Jeder Prior kann durch eine endliche Mischung konjugierter Prioritäten angenähert werden" ist das richtige Zitat, wobei die Annäherung im Hinblick auf das Schwanzverhalten nicht funktioniert.
Xi'an
1
@ Xi'an darf ich noch eine frage haben? Warum sollten wir immer das "endliche" Mischungsmodell betonen? Mit anderen Worten, gibt es ein unendliches Mischungsmodell?
Shijia Bian

Antworten:

8

Die direkte Berechnung von Posterioren mit allgemeinen / willkürlichen Priors kann eine schwierige Aufgabe sein.

Andererseits ist die Berechnung von Posterioren mit Mischungen von konjugierten Priors relativ einfach, da eine gegebene Mischung von Priors dieselbe Mischung der entsprechenden Posterioren wird.

[Es gibt auch viele Fälle, in denen einige gegebene Prioritäten durch eine endliche Mischung von konjugierten Priors recht gut angenähert werden können - dies ermöglicht in vielen Situationen einen sehr einfach anzuwendenden und praktischen Ansatz, der zu ungefähren Posterioren führt, die ziemlich nahe beieinander liegen können auf den genauen.]

Glen_b -Reinstate Monica
quelle
2
Der Hauptpunkt in Diaconis & Ylvisaker (1985) ist in der Tat zu zeigen, dass endliche Gemische von Konjugaten (a) Konjugate sind und (b) mehr Flexibilität bieten als die ursprünglichen Konjugate. Sie benötigen auch mehr Vorinformationen, um über die Hyperparameter zu entscheiden, weshalb sie nicht so häufig verwendet werden. Aber es bleibt falsch, dass jeder Prior eine Mischung aus konjugierten Priors ist!
Xi'an
1

Um die Antwort von @ Glen_b nur geringfügig zu erweitern, besteht eine Implikation darin, dass wir eine Annäherung in geschlossener Form an den Seitenzahn erhalten können, wenn ein nicht konjugierter Prior verwendet wird, indem zuerst der nicht konjugierte Prior mit einer Mischung aus konjugierten Priors approximiert und dann direkt nach dem gelöst wird hinter der Annäherung.

Im Allgemeinen scheint diese Methode jedoch recht schwierig zu sein. Während es wahr ist, dass Sie die Mischung vorher willkürlich nahe an den nicht konjugierten Prior bringen können, wird es im Allgemeinen einen Fehler in jeder endlichen Näherung geben. Kleine Fehler im Stand der Technik können sich leicht auf große Fehler im hinteren Bereich ausbreiten. Wenn beispielsweise der Prior mit Ausnahme der extremen Schwänze gut angenähert ist, die Daten jedoch einen starken Beweis dafür liefern, dass die Parameterwerte in den extremen Schwänzen liegen, führen diese Fehler an den extremen Schwänzen des Prior zu Fehlern in Regionen mit hoher Wahrscheinlichkeit des hintere.

Cliff AB
quelle