Wie berechnet man in R bei einer Ausgabe von optim mit einer Hessischen Matrix die Parameter-Konfidenzintervalle mit der Hessischen Matrix?

22

Wie werden bei einer Ausgabe von optim mit einer Hessischen Matrix die Parameter-Konfidenzintervalle mithilfe der Hessischen Matrix berechnet?

fit<-optim(..., hessian=T)

hessian<-fit$hessian

Ich interessiere mich hauptsächlich für den Kontext der Maximum-Likelihood-Analyse, bin aber gespannt, ob die Methode darüber hinaus erweitert werden kann.

Etienne Low-Décarie
quelle
2
Diese Frage ist zu vage. Welche Konfidenzintervalle? Für welche Modelle interessieren Sie sich? Schauen Sie sich die Literatur an, bevor Sie 3 Fragen hintereinander veröffentlichen.
Die Methode sollte unabhängig von Intervall und Modell sein.
Etienne Low-Décarie
Welche Funktion optimieren Sie?
Stéphane Laurent
Mir wurde gesagt, dass ich dies unabhängig von dem von mir verwendeten Modell tun sollte.
Etienne Low-Décarie
Corey Chivers lieferte die Antwort.
Etienne Low-Décarie

Antworten:

32

Wenn Sie eine Wahrscheinlichkeit maximieren, ist die Kovarianzmatrix der Schätzungen (asymptotisch) die Inverse des Negativs des Hessischen. Die Standardfehler sind die Quadratwurzeln der diagonalen Elemente der Kovarianz ( aus dem Internet! Von Prof. Thomas Lumley und Spencer Graves, Eng.).

Für ein 95% -Konfidenzintervall

fit<-optim(pars,li_func,control=list("fnscale"=-1),hessian=TRUE,...)
fisher_info<-solve(-fit$hessian)
prop_sigma<-sqrt(diag(fisher_info))
prop_sigma<-diag(prop_sigma)
upper<-fit$par+1.96*prop_sigma
lower<-fit$par-1.96*prop_sigma
interval<-data.frame(value=fit$par, upper=upper, lower=lower)

Beachten Sie, dass:

  • Wenn Sie das Protokoll maximieren (Wahrscheinlichkeit), ist das NEGATIVE des Hessischen die "beobachtete Information" (wie hier).
  • Wenn Sie eine "Abweichung" = (-2) * log (Wahrscheinlichkeit) MINIMIEREN, dann ist die HÄLFTE des Hessischen die beobachtete Information.
  • In dem unwahrscheinlichen Fall, dass Sie die Wahrscheinlichkeit selbst maximieren, müssen Sie das Negativ des Hessischen durch die Wahrscheinlichkeit dividieren, die beobachteten Informationen zu erhalten.

Sehen Sie dies für weitere Einschränkungen aufgrund Optimierungsroutine verwendet.

Etienne Low-Décarie
quelle
Corey Chivers lieferte die Antwort.
Etienne Low-Décarie
2
(+1) Das Inverse des negativen Hessischen ist ein Schätzer der asymptotischen Kovarianzmatrix. Ich weiß, dass dies in Ihrem Code vorkommt, aber ich denke, es ist wichtig, darauf hinzuweisen.
Makro
1
Hervorragende Antwort, sollten die oberen und unteren Grenzen gelesen werden upper<-fit$par+1.96*(prop_sigma/sqrt(n)) lower<-fit$par-1.96*(prop_sigma/sqrt(n))? Vielen Dank
Prognostiker
3
Warum nicht Zeile 4 löschen?
Jason
2
Ist das Einfügen der Zeile prop_sigma<-diag(prop_sigma)ein Fehler?
Mark Miller