Fisher Informationen für

Ich habe viele Leute gesehen, die die Delta-Methode verwendeten, um die asymptotische Verteilung von zu finden $r$ , der Probenkorrelationskoeffizient für bivariate Normaldaten. Diese Verteilung ist gegeben durch

\sqrt{n} (r - - ρ) \overset{D.}{\to} N. (0, {(1 - - ρ^{2})}^{2})

$\sqrt{n} \left( r-\rho \right) \xrightarrow{D} \mathcal{N} \left(0, \left(1-\rho^2\right)^2 \right)$

und dies ist ein bekanntes Ergebnis (ich kenne die Z-Transformation, aber es ist in diesem Zusammenhang nicht notwendig). Ich verstehe die Methode, aber ich habe mich gefragt, warum sie etwas Einfacheres nicht tun. Durch die Invarianz der mles der Stichprobenmittelwerte und Varianzen ist es leicht zu zeigen, dass der Stichprobenkorrelationskoeffizient tatsächlich der mle für ist $\rho$ . Da dies nun ein Mle ist, sollte es unter den Regelmäßigkeitsbedingungen der asymptotischen Verteilung des Mle folgen, nämlich

\sqrt{n} (r - - ρ) \overset{D.}{\to} N. (0, {ich}^{- - 1} (ρ))

$\sqrt{n} \left(r - \rho \right)\xrightarrow{D} \mathcal{N} \left(0, I^{-1} (\rho) \right)$

wo $I(\rho)$ ist die Fisher-Information für $\rho$ . Jetzt bleibt nur noch zu finden $I(\rho)$ . Differenzierung des doppelten Logarithmus der bivariaten Normalverteilung in Bezug auf $\rho$ und unter der negativen Erwartung glaube ich, dass man ankommt

ich (ρ) = \frac{1 + ρ^{2}}{{(1 - - ρ^{2})}^{2}}

$I(\rho) = \frac{1+\rho^2}{\left(1-\rho^2\right)^2}$

was, vorausgesetzt ich habe bei der langwierigen Berechnung keinen Fehler gemacht, sich sehr von der obigen asymptotischen Varianz unterscheidet, zumindest für nicht so kleine $\rho$ . Ich habe sogar einige Simulationen durchgeführt, die zeigen, dass die Delta-Methode in den meisten Fällen weit überlegen ist. Die kleinere asymptotische Varianz entspricht dem, was man von der mle erwarten würde, stellt sich jedoch als sehr schlechte Annäherung heraus.

Es ist nicht unmöglich, dass ich irgendwo einen Fehler gemacht habe, obwohl ich immer wieder nachgesehen habe. Wenn dies nicht der Fall ist, liegt dann ein konzeptioneller Fehler in der obigen Argumentation vor? Ich habe mir einige berühmte Inferenzbücher angesehen und nirgends erwähnen sie die Fisher Information für $\rho$ , was ich auch ziemlich rätselhaft finde.

Ich würde mich über jeden Einblick freuen. Vielen Dank.

normal-distribution mathematical-statistics maximum-likelihood inference asymptotics JohnK
quelle

Schauen Sie sich meine Antwort an, stats.stackexchange.com/a/111963/28746. Ich kann nicht sagen, ob sie für Ihre Situation relevant ist, da aus Ihrer Frage nicht hervorgeht, wie die Mittel und Abweichungen behandelt werden.

Alecos Papadopoulos

Der Wert von

I (ρ)

$I(\rho)$ Sie fanden, ist richtig.

Alecos Papadopoulos

Antworten:

Das OP stellte in einem Kommentar klar, dass er die bivariate Standardnormalverteilung untersucht , wobei Mittelwerte und Varianzen entsprechend auf Null und Einheit festgelegt sind.

f (x, y) = \frac{1}{2 π \sqrt{1 - - ρ^{2}}} \exp {- - \frac{x^{2} + y^{2} - - 2 ρ x y}{2 (1 - - ρ^{2})}}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

Dies macht die Verteilung wiederum zu einem Mitglied der gekrümmten Exponentialfamilie und, wie ich in meiner Antwort auf diesen Beitrag gezeigt habe, zum Maximum-Likelihood-Schätzer für $\rho$ in einem solchen Fall entspricht nicht der Probenkorrelationskoeffizient. Insbesondere ist der Probenkorrelationskoeffizient

\tilde{r} = \frac{1}{n} \sum_{ich = 1}^{n} x_{ich} y_{ich}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

Bezeichnen $\hat \rho$ die mle für $\rho$ und $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ , um die Summe der Stichprobenvarianzen von zu sein $X$ und $Y$ , wir erhalten

\hat{ρ} :: {\hat{ρ}}^{3} - - \tilde{r} {\hat{ρ}}^{2} + [(1 /. n) {S.}_{2} - - 1]] \hat{ρ} - - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - - \tilde{r} \hat{ρ} + [(1 /. n) {S.}_{2} - - 1]]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Wenn wir die Algebra machen, ist es nicht schwer zu schließen, dass wir erhalten werden $\hat \rho = \tilde r$ dann und nur dann, wenn, $(1/n)S_2 =2$ dh nur dann, wenn es so kommt, dass die Summe der Stichprobenvarianzen gleich der Summe der wahren Varianzen ist. Also im Allgemeinen für endliche Stichproben,

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Beide bleiben konsistent, aber dies allein bedeutet nicht, dass die asymptotische Verteilung des Probenkorrelationskoeffizienten die Cramer-Rao-Grenze erreicht, die vom OP gefunden wird. Und das tut es nicht.

Alecos Papadopoulos
quelle

Ist es aber nicht

r

$r$ die mle für

ρ

$\rho$ ? Die Invarianz der Mle spielt immer noch eine Rolle, oder?

JohnK

@ JohnK Nein, ist es nicht, das ist genau das Problem hier. Der Momentenschätzer und der Mle für

ρ

$\rho$ nicht zusammenfallen.

Alecos Papadopoulos

Danke, dass du das geklärt hast. Es scheint mir, dass es keine geschlossene Lösung für die mle von gibt

ρ

$\rho$ aber wenn man es iterativ löst, ist die inverse Fisher-Information in diesem Fall die asymptotische Varianz, oder? Dies unterstreicht erneut die Effizienz der mle im Vergleich zu den Mutterschätzern.

JohnK

@ JohnK. In der Tat gibt es keinen Grund, die schrecklichen exakten Lösungsformeln für eine kubische Gleichung zu verwenden. Und die Mle wird asymptotisch die inverse Fisher-Information erhalten.

Alecos Papadopoulos

Ich habe eine nützliche Referenz zu diesem Thema gefunden, falls Sie einen Blick darauf werfen möchten. Wenn Sie die Theorie der Punktschätzung von Lehmann und Casella, 2. Auflage, in Ihren Regalen haben, finden Sie möglicherweise Beispiel 6.5, S. 472, das beleuchtet. Interessanterweise scheint es, dass, wenn Sie auch die Varianzen der bivariaten Normalverteilung schätzen möchten, es meine erste Gleichung ist, die die asymptotische Varianz von bestimmt

\hat{r}

$\widehat{r}$ .

JohnK