Gradient der multivariaten Gaußschen Log-Wahrscheinlichkeit

Ich versuche, die MAP-Schätzung für ein Modell durch Gradientenabstieg zu finden. Mein Prior ist ein multivariater Gaußscher mit einer bekannten Kovarianzmatrix.

Auf konzeptioneller Ebene glaube ich zu wissen, wie man das macht, aber ich hatte auf Hilfe bei den Details gehofft. Insbesondere wenn es einen einfacheren Weg gibt, sich dem Problem zu nähern, wäre dies besonders nützlich.

Ich denke, ich muss Folgendes tun:

Finden Sie für jede Dimension die bedingte Verteilung unter Berücksichtigung meiner aktuellen Position in den anderen Dimensionen.
Dies gibt mir einen lokalen univariaten Gaußschen Wert in jeder Dimension mit dem richtigen Mittelwert und der richtigen Standardabweichung.
Ich denke, dass der Gradient nur ein Vektor von Ableitungen für jede dieser univariaten Verteilungen sein sollte.

Meine Frage besteht aus zwei Teilen:

Ist dies der beste Ansatz oder gibt es einen einfacheren Weg?
Angenommen, ich muss diesen Weg gehen, was ist der beste Weg, um diese bedingten Verteilungen zu finden?

normal-distribution covariance-matrix regularization gradient-descent ridge-regression David J. Harris
quelle

Gibt es einen Grund, warum Sie dies mit Gefälle tun möchten? Das Finden des MAP eines MVN mit einigen früheren Klängen scheint ein ziemlich gut untersuchtes Problem zu sein. Da das MVN selbstkonjugiert ist, sollte sogar ein vollständig Bayes'scher Ansatz möglich sein.

Bayerj

@ Bayerj Gute Frage. Der Prior ist MVN, die Wahrscheinlichkeit jedoch nicht. Ich denke, das schränkt meine Möglichkeiten ein.

David J. Harris

Ah ok, das habe ich nicht verstanden.

Bayerj

Antworten:

Was ist mit Optimierung?

Mal sehen, ob ich dich richtig verstehe. Sie haben ein Modell , das von einer Beobachtung abhängig ist, und einen Satz von Parametern und ein vorheriges was zu einer gemeinsamen Wahrscheinlichkeit von . Die Parameter werden gemäß einer bekannten multivariaten Normalen verteilt, dh . Sie möchten die MAP-Lösung für dieses Problem finden, dh Ein Sonderfall dieses Problems ist in der Gemeinschaft der neuronalen Netze, der als Gewichtsabfall bekannt ist, gut untersucht. In diesem Fall und . $p(y|x, \theta)$ $x$ $\theta$ $p(\theta)$ $\mathcal{L} = p(y|x, \theta)p(\theta)$ $\theta \sim \mathcal{N}(\mu, \Sigma)$

{argmax}_{θ} L .

$\text{argmax}_{\theta} \mathcal{L}.$

μ = 0

$\mu=\mathbf{0}$

Σ = I σ^{2}

$\Sigma = \mathbf{I}\sigma^2$

Wie Sie bereits bemerkt haben, besteht der Trick darin, dass . Wenn Sie das Protokoll der Gaußschen Dichte nehmen, verschwinden viele hässliche Terme (das Exponential) und Sie erhalten etw wie . Wenn Sie das unterscheiden, sind die Matrixidentitäten von Sam Roweis nützlich und lassen Sie zu $\text{argmax}_{\theta} \mathcal{L} = \text{argmax}_{\theta} \log \mathcal{L}$ $\log p(\theta) = {1 \over 2}(\theta - \mu)^T\Sigma^{-1}(\theta - \mu) + \text{const}$

\frac{1}{2} \frac{\partial (θ - μ)^{T} Σ^{- 1} (θ - μ)}{\partial θ} = Σ^{- 1} (θ - μ) .

${1 \over 2}{\partial (\theta - \mu)^T\Sigma^{-1}(\theta - \mu) \over \partial \theta} = \Sigma^{-1}(\theta - \mu).$

(Bitte überprüfen Sie, dass dies schnell und in meinem Kopf erledigt wurde.) Zusammen mit den Derivaten Ihres Modells können Sie Standardoptimierer verwenden, um zu einer MAP-Lösung zu gelangen.

Update : Eingebauter Kommentar von David J. Harris. Formeln sollten jetzt korrekt sein.

bayerj
quelle

(+1) Das sieht genau so aus, wie ich es brauche. Ich werde heute Nachmittag ein bisschen nachprüfen und dann das Häkchen "Akzeptieren" setzen, wenn alles klappt. Vielen Dank!

David J. Harris

Ich habe vergessen hinzuzufügen: Wenn Ihr Modell einfach ist (dh linear in den Parametern), könnte es sogar funktionieren , die Ableitung der Log-Wahrscheinlichkeit mit Null gleichzusetzen und nach lösen .

θ

$\theta$

Bayerj

Ich habe ein bisschen numerisch damit herumgespielt, und ich denke, es ist um den Faktor 2 verschoben, aber ansonsten richtig. Vielleicht bricht es mit der aus der Formel für die multivariate Normaldichte ab? Danke noch einmal!

1 / 2

$1/2$

David J. Harris

Das sollte es sein, ja. Ich habe es vergessen!

Bayerj

Es sollte beachtet werden, dass ein benutzerdefinierter multivariater Gaußscher Prior (mit nicht diagonaler Kovarianzmatrix) die Tikhonov-Regularisierung

Artem Sobolev

Wenn die Wahrscheinlichkeit nicht Gaußsch ist, kann nicht gesagt werden, ob analytische Ergebnisse vorliegen. Auch die zweite Kugel ist dann im Allgemeinen falsch. Da die Gaußsche vorherige und allgemeine Wahrscheinlichkeit keine bedingten Gaußschen Verteilungen auf den Vektorkomponenten ergibt.

Eine Möglichkeit, den MAP zu erhalten, besteht darin, eine vollständige Bayes'sche Analyse durchzuführen, z. B. mit MCMC, und die Proben aus dem Seitenzahnbereich zu verwenden, um sie abzuschätzen. [In welchem Fall hätten Sie bessere Informationen als nur die Verwendung des MAP.] Aus Interesse - warum nicht trotzdem diesen Weg gehen?

Ein anderer Ansatz könnte sein, dies zu tun (ich habe dies im Allgemeinen nicht gesehen, also korrigiert mich bitte jemand, wenn es verrückt ist):

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

$l(\theta|x) = l(x|\theta) + l(\theta) - l(x)$

$\frac{dl(\theta|x)}{d\theta} = \frac{dl(x|\theta)}{d\theta} + \frac{dl(\theta)}{d\theta} = 0$

Dann lösen Sie nach (wahrscheinlich numerisch). $\theta$

Vermutungen
quelle

danke für deinen Beitrag. Ich war vielleicht nicht klar: Im Moment bin ich nur daran interessiert, den Gradienten für den Prior zu finden. Der Gradient des Log-Posterior ist nur der Gradient der Log-Wahrscheinlichkeit plus des Gradienten des Log-Prior. Daher sollte es in Ordnung sein, diese beiden Gradienten getrennt zu finden.

David J. Harris

Ähm, Ihr Vorschlag, numerisch zu lösen, ist ... der grundlegende Ansatz. Wie soll man sonst die Zielfunktion optimieren, ohne eine Wurzel eines Gradienten zu finden?

θ

$\theta$

Artem Sobolev