Warum ist die Fisher Information Matrix positiv semidefinit?

18

Lassen Sie . Die Fisher Information Matrix ist definiert als:θRn

ich(θ)ich,j=-E[2Log(f(X|θ))θichθj|θ]

Wie kann ich nachweisen, dass die Fisher Information Matrix positiv semidefinit ist?

Verrückter
quelle
7
Ist es nicht der erwartete Wert eines äußeren Produktes der Partitur mit sich selbst?
Neil G

Antworten:

19

Überprüfen Sie dies: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Aus der Definition haben wir

ichichj=Eθ[(ichLogfXΘ(Xθ))(jLogfXΘ(Xθ))],
für , wobei . Ihr Ausdruck für folgt aus diesem unter Gleichmäßigkeitsbedingungen.ich,j=1,,kich=/θichichichj

Für einen Nullvektor folgt aus der Linearität der Erwartung, dass u=(u1,,uk)Rn

ich,j=1kuichichichjuj=ich,j=1k(uichEθ[(ichLogfXΘ(Xθ))(jLogfXΘ(Xθ))]uj)=Eθ[(ich=1kuichichLogfXΘ(Xθ))(j=1kujjLogfXΘ(Xθ))]=Eθ[(ich=1kuichichLogfXΘ(Xθ))2]0.

Wenn diese komponentenweise Notation zu hässlich ist, beachten Sie, dass die Fisher-Informationsmatrix als kann der Bewertungsvektor ist definiert als H=(ichichj)H=Eθ[SS]S

S=(1LogfXΘ(Xθ),,kLogfXΘ(Xθ)).

Wir haben also den Einzeiler

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.

Zen
quelle
3
(+1) Gute Antwort und willkommen zurück, Zen. Ich machte mir Sorgen, dass wir Sie aufgrund der Länge Ihrer Pause für immer verloren haben könnten. Das wäre eine echte Schande gewesen!
Kardinal
5

ACHTUNG: keine generelle Antwort!

f(X|θ)

gusl
quelle