Sie sollten zuerst diese grundlegende Frage zur Fisher-Informationsmatrix und zur Beziehung zu Hessischen und Standardfehlern lesen
Angenommen, wir haben ein statistisches Modell (Verteilungsfamilie) . Im allgemeinsten Fall haben wir d i m ( Θ ) = d , daher wird diese Familie durch θ = ( θ 1 , … , θ d ) T parametrisiert . Unter bestimmten Regelmäßigkeitsbedingungen haben wir{ fθ: θ ∈ Θ }di m ( Θ ) = dθ = ( θ1, … , Θd)T.
ichich , j( θ ) = - E.θ[ ∂2l ( X.;; θ )∂θich∂θj] =-E.θ[ H.ich , j( l ( X.;; θ ) ) ]
Dabei ist eine Fisher-Informationsmatrix (als Funktion von θ ) und X der beobachtete Wert (Probe).ichich , jθX.
l ( X.;; θ ) = l n ( fθ( X.) ) , Für einen Teil & thgr; ∈ & THgr;
Die Fisher-Informationsmatrix ist also ein negierter erwarteter Wert von Hesian der logarithmischen Wahrscheinlichkeit unter einigen θ
Nehmen wir nun an, wir wollen eine Vektorfunktion des unbekannten Parameters schätzen . Normalerweise ist es erwünscht, dass der Schätzer T ( X ) = ( T 1 ( X ) , ... , T d ( X ) ) unverzerrt ist, d. H.ψ ( θ )T.( X.) = ( T.1( X.) , … , T.d( X.) )
∀& thgr; ∈ & THgr; E.θ[ T.( X.) ] = ψ ( θ )
Cramer Rao Lower Bound gibt an, dass für jedes unverzerrte das c o v θ ( T ( X ) ) erfüllt istT.( X.)c o vθ( T.( X.) )
c o vθ( T.( X.) ) ≥ ∂ψ ( θ )∂θich- 1( θ ) ( ∂ψ ( θ )∂θ)T.= B ( θ )
wobei für Matrizen bedeutet , daß A - B ist positiv semidefinit , ∂ & psgr; ( θ )A ≥ B.A - B. ist einfach ein JacobiJi,j(ψ). Es ist zu beachten, dass, wenn wirθschätzen, das heißtψ(θ)=θ, oben zu vereinfachen∂ψ ( θ )∂θJ.ich , j( ψ )θψ ( θ ) = θ
c o vθ( T.( X.) ) ≥ I.- 1( θ )
Aber was sagt es uns wirklich? Denken Sie zum Beispiel daran
v arθ(T.ich( X.) ) = [ c o vθ(T.(X.) ) ]ich , ich
EIN
∀ich EINich , ich≥ 0
B ( θ )
∀ich v a rθ(T.ich(X.) ) ≥ [ B ( θ ) ]ich , ich
CRLB sagt uns also nicht die Varianz unseres Schätzers, aber ob unser Schätzer optimal ist oder nicht , dh ob er die niedrigste Kovarianz unter allen unvoreingenommenen Schätzern aufweist.