Angenommen, ich habe eine multivariate normale Dichte . Ich möchte die zweite (teilweise) Ableitung von . Ich bin mir nicht sicher, wie ich eine Ableitung einer Matrix nehmen soll.
Wiki sagt, nimm das Derivat Element für Element in die Matrix.
Ich arbeite mit der Laplace-Approximation Der Modus ist .Θ = μ
Mir wurde wie kam es dazu?
Was ich getan habe:
Also nehme ich die Ableitung für , erstens gibt es eine Transponierung, zweitens ist es eine Matrix. Also stecke ich fest.
Hinweis: Wenn mein Professor darauf stößt, beziehe ich mich auf die Vorlesung.
self-study
normal-distribution
matrix
user1061210
quelle
quelle
Antworten:
In Kapitel 2 des Matrix-Kochbuchs finden Sie eine schöne Übersicht über Matrix-Kalkül-Inhalte, die eine Menge nützlicher Identitäten enthält, die bei Problemen mit Wahrscheinlichkeits- und Statistikmessungen hilfreich sind, einschließlich Regeln zur Unterscheidung der multivariaten Gaußschen Wahrscheinlichkeit.
Wenn Sie einen Zufallsvektor , der multivariate Normalen mit dem mittleren Vektor und der Kovarianzmatrix , verwenden Sie Gleichung (86) im Matrixkochbuch, um herauszufinden, dass der Gradient der logarithmischen Wahrscheinlichkeit in Bezug auf isty Σ L μμ Σ L μ
Ich überlasse es Ihnen, dies noch einmal zu differenzieren und die Antwort zu finden: .- Σ- 1
Verwenden Sie als "extra credit" die Gleichungen (57) und (61), um herauszufinden, dass der Gradient in Bezug auf istΣ
Ich habe viele der Schritte ausgelassen, aber ich habe diese Ableitung nur unter Verwendung der im Matrix-Kochbuch gefundenen Identitäten vorgenommen, sodass ich es Ihnen überlassen werde, die Lücken auszufüllen.
Ich habe diese Bewertungsgleichungen für die Schätzung der maximalen Wahrscheinlichkeit verwendet, daher weiß ich, dass sie korrekt sind :)
quelle
Sie müssen sicherstellen, dass Sie sich ordnungsgemäß um die wiederholten Elemente in. , andernfalls sind Ihre Ableitungen falsch. Zum Beispiel, (141) , das Matrix - Kochbuch gibt für eine symmetrische Σ der folgenden DerivateΣ Σ
Und (14) der Differenzierung der Funktionen von Kovarianzmatrizen gibt
wobei das Hadmard-Produkt bezeichnet und wir der Einfachheit halber x : = y - μ definiert haben .∘ x : = y - μ
Man beachte insbesondere, dass dies nicht dasselbe ist, als wenn keine Symmetrie von auferlegt wird. Als Ergebnis haben wir dasΣ
wobei die Dimension von x , y und μ und die Ableitung von D log | bezeichnet 2 π | ist 0D x y μ D log| 2π|
Damit wird die Element ∂ Lich , jt h entspricht∂L∂L∂Σ .∂L∂Σich j
quelle
Ich habe versucht, die Antwort von @ Macro rechnerisch zu überprüfen, habe aber festgestellt, dass die Kovarianzlösung einen geringfügigen Fehler enthält. Er erhielt
quelle