Intuitive Erklärung von Fisher Information und Cramer-Rao gebunden

Ich bin mit Fisher-Informationen nicht einverstanden, was es misst und wie es hilfreich ist. Auch die Beziehung zu Cramer-Rao ist mir nicht klar.

Kann jemand bitte eine intuitive Erklärung dieser Konzepte geben?

Hier erkläre ich, warum die asymptotische Varianz des Maximum-Likelihood-Schätzers die Cramer-Rao-Untergrenze ist. Hoffentlich bietet dies einen Einblick in die Relevanz der Fisher-Informationen.

Die statistische Inferenz erfolgt unter Verwendung einer Wahrscheinlichkeitsfunktion die Sie aus den Daten konstruieren. Die Punktschätzung θ ist der Wert, maximiert L ( θ ) . Der Schätzer θ eine Zufallsvariable ist , aber es hilft , zu erkennen , dass die Wahrscheinlichkeitsfunktion L ( θ ) ist ein „random curve“.$\mathcal{L}(\theta)$$\hat{\theta}$$\mathcal{L}(\theta)$$\hat{\theta}$ $\mathcal{L}(\theta)$

Hier nehmen wir iid-Daten an, die aus einer Verteilung , und definieren die Wahrscheinlichkeit L ( θ ) = $f(x|\theta)$

$$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$$

Der Parameter hat die Eigenschaft, dass er den Wert der "wahren" Wahrscheinlichkeit E L ( & thgr; ) maximiert . Die "beobachtete" Wahrscheinlichkeitsfunktion L ( & thgr; ), die aus den Daten aufgebaut ist, ist jedoch geringfügig von der wahren Wahrscheinlichkeit "ab". Wie Sie sich vorstellen können, konvergiert die "beobachtete" Wahrscheinlichkeit mit zunehmender Stichprobengröße mit der Form der tatsächlichen Wahrscheinlichkeitskurve. Das gleiche gilt für die Ableitung des Likelihood in Bezug auf die Parameter, die Score - Funktion ∂ L / ∂ & thgr; . (Um es kurz zu machen, die Fisher-Informationen bestimmen, wie schnell$\theta$$\mathbb{E}\mathcal{L}(\theta)$$\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$ Die beobachtete Bewertungsfunktion konvergiert zur Form der wahren Bewertungsfunktion.)

Bei einer großen Stichprobe, gehen wir davon aus, dass unsere Maximum - Likelihood - Schätzung θ sehr nahe ist θ . Wir zoomen Sie in einer kleinen Umgebung um θ und θ , so dass die Wahrscheinlichkeit , dass die Funktion „lokal quadratisch“ ist.$\hat{\theta}$$\theta$$\theta$$\hat{\theta}$

$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$$a$$b$$\theta$

$$a(\hat{\theta} - \theta) + b = 0$$

oder

$$\hat{\theta} = \theta - b/a .$$

Aus der Konsistenz des MLE-Schätzers wissen wir das

$$\mathbb{E}(\hat{\theta}) = \theta$$

im Limit.

Daher asymptotisch

$$nVar(\hat{\theta}) = nVar(b/a)$$

$\theta$

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$$

$a$$nVar(b)$

$$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$$

$$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$$

Somit,

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$$ $1/I(\theta)$

Eine Möglichkeit, wie ich die Fischerinformationen verstehe, ist die folgende Definition:

$$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$$

$f(x|\theta)$$\cal{X}$$\theta$$\int_{\cal{X}} f(x|\theta)dx=1$

Wenn Sie nun eine Maximum-Likelihood-Schätzung durchführen (hier "Regularitätsbedingungen" einfügen), legen Sie fest

$$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$$

$\theta$$\theta$$x$

Eine Sache, die ich immer noch neugierig finde, ist, dass es ist, wie steil die log-Wahrscheinlichkeit ist und nicht, wie steil eine andere monotone Funktion der Wahrscheinlichkeit ist (vielleicht im Zusammenhang mit "richtigen" Bewertungsfunktionen in der Entscheidungstheorie? Oder vielleicht mit den Konsistenzaxiomen der Entropie ?).

$\exp(-ax^{2})$

$$f(data|\theta)=\exp(\log[f(data|\theta)])$$

Und wenn Sie die Log-Wahrscheinlichkeit über die MLE erweitern:

$$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$$

$$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$$

$\theta$

Dies ist der intuitivste Artikel, den ich bisher gesehen habe:

Die Cramér-Rao-Untergrenze für Varianz: Adam und Evas „Unsicherheitsprinzip“ von Michael R. Powers, Journal of Risk Finance, Vol. 3, No. 7, No. 3, 2006

Die Grenze wird durch eine Analogie von Adam und Eva im Garten Eden erklärt, die eine Münze werfen, um zu sehen, wer die Frucht essen darf, und sich dann fragen, wie groß eine Probe ist, um ein bestimmtes Maß an Genauigkeit in ihrer Schätzung zu erreichen. und sie entdecken dann diese Grenze ...

Schöne Geschichte mit einer tiefen Botschaft über die Realität.

Obwohl die oben gegebenen Erklärungen sehr interessant sind und ich sie gerne durchgesehen habe, habe ich das Gefühl, dass mir die Natur der Cramer-Rao-Untergrenze aus geometrischer Sicht am besten erklärt wurde. Diese Intuition ist eine Zusammenfassung des Konzepts der Konzentrationsellipsen aus Kapitel 6 von Scharfs Buch über statistische Signalverarbeitung .

Betrachten Sie einen unvoreingenommenen Schätzer für . Nehmen Sie außerdem an, dass der Schätzer eine Gauß-Verteilung mit Kovarianz . Unter diesen Bedingungen ist die Verteilung von proportional zu:${\boldsymbol\theta}$$\hat{\boldsymbol\theta}$${\boldsymbol\Sigma}$$\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Denken Sie nun an die Konturdiagramme dieser Verteilung für . Jede obere Beschränkung der Wahrscheinlichkeit von (dh ) führt zu einem Ellipsoid, das bei zentriert ist mit festem Radius . Es ist leicht zu zeigen, dass es eine Eins-zu-Eins-Beziehung zwischen dem Radius des Ellipsoids und der gewünschten Wahrscheinlichkeit . Mit anderen Worten, liegt in der Nähe von innerhalb eines Ellipsoids, das durch den Radius mit der Wahrscheinlichkeit${\boldsymbol\theta}\in R^2$$\hat{\boldsymbol\theta}$$\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$${\boldsymbol\theta}$$r$$r$$P_r$$\hat{\boldsymbol\theta}$${\boldsymbol\theta}$$r$$P_r$. Dieses Ellipsoid wird als Konzentrationsellipsoid bezeichnet.

In Anbetracht der obigen Beschreibung können wir Folgendes zum CRLB sagen. Unter allen unverzerrten Schätzern repräsentiert der CRLB einen Schätzer mit einer Kovarianz , der für eine feste Wahrscheinlichkeit der "Nähe" (wie oben definiert) die kleinste hat Konzentrationsellipsoid. Die folgende Abbildung zeigt eine 2D-Darstellung (inspiriert von der Darstellung in Scharfs Buch ).ΣcRlbP$\hat{\boldsymbol\theta}_{crlb}$$\boldsymbol\Sigma_{crlb}$$P_r$