Beziehung zwischen der Hessischen Matrix und der Kovarianzmatrix

Sie sollten zuerst diese grundlegende Frage zur Fisher-Informationsmatrix und zur Beziehung zu Hessischen und Standardfehlern lesen

Angenommen, wir haben ein statistisches Modell (Verteilungsfamilie) . Im allgemeinsten Fall haben wir , daher wird diese Familie durch parametrisiert . Unter bestimmten Regelmäßigkeitsbedingungen haben wir $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

Dabei ist eine Fisher-Informationsmatrix (als Funktion von ) und der beobachtete Wert (Probe). $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Die Fisher-Informationsmatrix ist also ein negierter erwarteter Wert von Hesian der logarithmischen Wahrscheinlichkeit unter einigen $\theta$

Nehmen wir nun an, wir wollen eine Vektorfunktion des unbekannten Parameters schätzen . Normalerweise ist es erwünscht, dass der Schätzer unverzerrt ist, d. H. $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Lower Bound gibt an, dass für jedes unverzerrte das erfüllt ist $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

wobei für Matrizen bedeutet , daß ist positiv semidefinit , $A \ge B$ $A - B$ ist einfach ein Jacobi. Es ist zu beachten, dass, wenn wirschätzen, das heißt, oben zu vereinfachen $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Aber was sagt es uns wirklich? Denken Sie zum Beispiel daran

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{ich} v ein r_{θ} ({T.}_{ich} (X.)) \geq [B. (θ) {]]}_{ich, ich}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

CRLB sagt uns also nicht die Varianz unseres Schätzers, aber ob unser Schätzer optimal ist oder nicht , dh ob er die niedrigste Kovarianz unter allen unvoreingenommenen Schätzern aufweist.

Łukasz Grad
quelle

Ich freue mich über Ihre Erklärung hier. Ich bin nicht wirklich ein Mathematiker, aber ich bin im Weg, die Mathematik ernsthaft zu lernen. Für mich sieht es jedoch immer noch zu abstrakt aus. Ich hoffe, es gibt ein sanftes Beispiel mit einfachen Zahlen, das es definitiv verstehen wird.

Benutzer122358

Beziehung zwischen der Hessischen Matrix und der Kovarianzmatrix

Antworten: