Multivariate normale posterior

18

Dies ist eine sehr einfache Frage, aber ich kann die Ableitung nirgendwo im Internet oder in einem Buch finden. Ich würde gerne sehen, wie ein Bayesianer eine multivariate Normalverteilung aktualisiert. Zum Beispiel: Stellen Sie sich das vor

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Nachdem ich eine Menge von , möchte ich berechnen . Ich weiß, dass die Antwort wobei P ( μ | x 1 . . . x n ) P ( μ | x 1 . . . x n )=N( μ n , Σ n )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Ich suche die Herleitung dieses Ergebnisses mit der gesamten Zwischenmatrixalgebra.

Jede Hilfe wird sehr geschätzt.

Alex
quelle
2
Es wird auch in unserem Buch Bayesian Core , Kap. 3, Abschnitt 3.2, Seiten 54-57 mit einer unserer Meinung nach detaillierten Matrixalgebra!
Xi'an
1
Das OP sagte, es sei kein Problem mit den Hausaufgaben und erklärte sogar, warum er danach gefragt habe und wie er die Antwort verwenden wolle. Warum nicht für andere posten? Ich verstehe, warum wir keinen Problemlösungsservice für Hausaufgaben anbieten wollen, aber dies geht ein bisschen zu weit.
Michael R. Chernick
3
@Alex: Sorry, falscher Link, ich meinte Bayesian Core . Beachten Sie, dass wir auch Lösungen für alle Probleme auf arXiv veröffentlicht haben . Eine komplette Lösung hier zu posten würde also nicht schaden!
Xi'an
1
Ich habe den Teil der Kommentare gelöscht, der sich auf einen privaten Austausch zwischen Einzelpersonen mit einer Vereinbarung bezieht, eine private Antwort auf die Frage zu teilen. So etwas missbraucht diese Seite, auf der es um öffentliche Fragen und öffentliche Antworten geht.
whuber
1
Die Herleitung erfolgt, genau wie zu Ihrer Information, in Pattern Classification von Duda, Hart und Stork. Ich hatte jedoch Schwierigkeiten, einige ihrer Schritte zu befolgen, die nur für mich von Bedeutung sind. Wenn das nur Hausaufgaben wären, könnte man genau aufschreiben, was sie haben.
Alex

Antworten:

6

Mit den Verteilungen auf unseren Zufallsvektoren:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Nach der Bayes-Regel sieht die hintere Verteilung folgendermaßen aus:

p(μ|{xi})p(μ)i=1Np(xi|μ)

So:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=-12(μ-(NΣ-1+Σ0-1)-1(Σ0-1μ0+Σ-1ich=1Nxich))(NΣ-1+Σ0-1)(μ-(NΣ-1+Σ0-1)-1(Σ0-1μ0+Σ-1ich=1Nxich))+cÖnst

Welches ist die log Dichte eines Gaußschen:

μ|{xich}N((NΣ-1+Σ0-1)-1(Σ0-1μ0+Σ-1ich=1Nxich),(NΣ-1+Σ0-1)-1)

Verwenden der Woodbury-Identität für unseren Ausdruck für die Kovarianzmatrix:

(NΣ-1+Σ0-1)-1=Σ(1NΣ+Σ0)-11NΣ0

Dies liefert die Kovarianzmatrix in der vom OP gewünschten Form. Verwenden Sie diesen Ausdruck (und seine Symmetrie) weiter im Ausdruck für den Mittelwert, den wir haben:

Σ(1NΣ+Σ0)-11NΣ0Σ0-1μ0+1NΣ0(1NΣ+Σ0)-1ΣΣ-1ich=1Nxich

=Σ(1NΣ+Σ0)-11Nμ0+Σ0(1NΣ+Σ0)-1ich=1N(1Nxich)

Welches ist die Form, die das OP für den Mittelwert benötigt.

Vermutungen
quelle