Wie berechnet man Standardfehler für eine Transformation des MLE?

Ich muss auf einen positiven Parameter . Um die Positivität zu berücksichtigen, habe ich parametrisiert . Unter Verwendung der MLE-Routine berechnete ich die Punktschätzung und se für . Die Invarianzeigenschaft des MLE gibt mir direkt eine Punktschätzung für , aber ich bin nicht sicher, wie ich se für berechnen soll . Vielen Dank im Voraus für jeden Vorschlag oder Hinweis. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method Marcel
quelle

Können Sie nicht dieselbe MLE-Routine verwenden, um eine Punktschätzung zu berechnen und direkt zu sehen?

p

$p$

whuber

Antworten:

Zu diesem Zweck wird die Delta-Methode verwendet. Unter einigen Standard- Regelmäßigkeitsannahmen wissen wir, dass die MLE für ungefähr (dh asymptotisch) verteilt ist als $\hat{\theta}$ $\theta$

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

Dabei ist die Umkehrung der Fisher-Information für die gesamte Stichprobe, ausgewertet bei und bezeichnet die Normalverteilung mit Mittelwert und Varianz . Die funktionale Invarianz des MLE besagt, dass der MLE von , wobei eine bekannte Funktion ist, (wie Sie betont haben) und eine ungefähre Verteilung aufweist $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

Hier können Sie konsistente Schätzer für die unbekannten Größen einstecken (dh wobei in der Varianz erscheint). Ich würde annehmen, dass die Standardfehler, die Sie haben, auf den Fisher-Informationen basieren (da Sie MLEs haben). Bezeichne diesen Standardfehler mit . Dann ist der Standardfehler von , wie in Ihrem Beispiel $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Ich kann Sie rückwärts interpretieren und in Wirklichkeit haben Sie die Varianz des MLE von und möchten die Varianz des MLE von In diesem Fall wäre der Standard $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

Makro
quelle

Nur eine Randnotiz: Es gibt auch geeignete multivariate Erweiterungen, bei denen die Ableitungen durch Gradienten ersetzt werden und die Multiplikationen Matrixmultiplikationen sein müssen, sodass es etwas mehr Kopfschmerzen gibt, herauszufinden, wohin die Transponierung geht.

StasK

Vielen Dank für den Hinweis auf StasK. Ich glaube an die multivariate Fall die asymptotische Kovarianz ist

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

Makro

(+1) Ich habe einen Link zu den Regelmäßigkeitsannahmen (und einigen anderen Dingen) hinzugefügt, da nicht klar ist, ob diese im OP-Problem erfüllt sind. Ich hätte sagen können , dass ist asymptotisch normal und nicht annähernd normal, da die Konvergenzraten langsam manchmal sein können.

\hat{θ}

$\hat{\theta}$

MånsT

Vielen Dank @ MånsT, ich habe auch klargestellt, dass ich asymptotisch meinte, als ich ungefähr sagte :)

Makro

Das Makro gab die richtige Antwort, wie Standardfehler mithilfe der Delta-Methode transformiert werden können. Obwohl das OP speziell nach den Standardfehlern gefragt hat, vermute ich, dass das Ziel darin besteht, Konfidenzintervalle für zu erstellen . Neben der Berechnung der geschätzten Standardfehler von Sie ein Konfidenzintervall in der Parametrisierung direkt in ein Konfidenzintervall in -Parametrisierung. Dies ist vollkommen gültig, und es kann sogar eine bessere Idee sein, abhängig davon, wie gut die normale Näherung, die verwendet wird, um ein Konfidenzintervall basierend auf Standardfehlern zu rechtfertigen, bei der Parametrisierung gegenüber dem funktioniert $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -Parametrisierung. Darüber hinaus erfüllt das direkt transformierte Konfidenzintervall die Positivitätsbeschränkung.

NRH
quelle