Beziehung zwischen der Hessischen Matrix und der Kovarianzmatrix

12

Während ich die Maximum-Likelihood-Schätzung studiere, müssen wir die Varianz kennen, um Rückschlüsse auf die Maximum-Likelihood-Schätzung zu ziehen. Um die Varianz herauszufinden, muss ich die untere Grenze des Cramer-Rao kennen, die wie eine hessische Matrix mit zweiter Ableitung auf der Krümmung aussieht. Ich bin irgendwie durcheinander, um die Beziehung zwischen Kovarianzmatrix und Hessischer Matrix zu definieren. Ich hoffe, einige Erklärungen zu dieser Frage zu hören. Ein einfaches Beispiel wird geschätzt.

user122358
quelle

Antworten:

13

Sie sollten zuerst diese grundlegende Frage zur Fisher-Informationsmatrix und zur Beziehung zu Hessischen und Standardfehlern lesen

Angenommen, wir haben ein statistisches Modell (Verteilungsfamilie) . Im allgemeinsten Fall haben wir d i m ( Θ ) = d , daher wird diese Familie durch θ = ( θ 1 , , θ d ) T parametrisiert . Unter bestimmten Regelmäßigkeitsbedingungen haben wir{fθ:θΘ}dim(Θ)=dθ=(θ1,,θd)T

Ii,j(θ)=Eθ[2l(X;θ)θiθj]=Eθ[Hi,j(l(X;θ))]

Dabei ist eine Fisher-Informationsmatrix (als Funktion von θ ) und X der beobachtete Wert (Probe).Ii,jθX

l(X;θ)=ln(fθ(X)), for some θΘ

Die Fisher-Informationsmatrix ist also ein negierter erwarteter Wert von Hesian der logarithmischen Wahrscheinlichkeit unter einigen θ

Nehmen wir nun an, wir wollen eine Vektorfunktion des unbekannten Parameters schätzen . Normalerweise ist es erwünscht, dass der Schätzer T ( X ) = ( T 1 ( X ) , ... , T d ( X ) ) unverzerrt ist, d. H.ψ(θ)T(X)=(T1(X),,Td(X))

θΘ Eθ[T(X)]=ψ(θ)

Cramer Rao Lower Bound gibt an, dass für jedes unverzerrte das c o v θ ( T ( X ) ) erfüllt istT(X)covθ(T(X))

covθ(T(X))ψ(θ)θI1(θ)(ψ(θ)θ)T=B(θ)

wobei für Matrizen bedeutet , daß A - B ist positiv semidefinit , & psgr; ( θ )ABAB ist einfach ein JacobiJi,j(ψ). Es ist zu beachten, dass, wenn wirθschätzen, das heißtψ(θ)=θ, oben zu vereinfachenψ(θ)θJi,j(ψ)θψ(θ)=θ

covθ(T(X))I1(θ)

Aber was sagt es uns wirklich? Denken Sie zum Beispiel daran

varθ(Ti(X))=[covθ(T(X))]i,i

A

i Ai,i0

B(θ)

ich veinrθ(T.ich(X.))[B.(θ)]]ich,ich

CRLB sagt uns also nicht die Varianz unseres Schätzers, aber ob unser Schätzer optimal ist oder nicht , dh ob er die niedrigste Kovarianz unter allen unvoreingenommenen Schätzern aufweist.

Łukasz Grad
quelle
2
Ich freue mich über Ihre Erklärung hier. Ich bin nicht wirklich ein Mathematiker, aber ich bin im Weg, die Mathematik ernsthaft zu lernen. Für mich sieht es jedoch immer noch zu abstrakt aus. Ich hoffe, es gibt ein sanftes Beispiel mit einfachen Zahlen, das es definitiv verstehen wird.
Benutzer122358