Maximum-Likelihood-Schätzer des Standortparameters der Cauchy-Verteilung

10

Ich habe bis erreicht

dlnLdμ=i=1n2(xiu)1+(xiu)2

Wobei u Standortparameter ist. Und L ist die Wahrscheinlichkeitsfunktion. Ich verstehe nicht, wie ich vorgehen soll. Bitte helfen Sie.

user89929
quelle
Hast du hier gesucht? en.wikipedia.org/wiki/…
Sie können dies nicht direkt lösen. Sie können Newton-Raphson verwenden, um mle zu erhalten.
Deep North
@DeepNorth genau! Aber ich verstehe nicht, wie man die Mle mit der Newton Raphson-Methode bekommt. Bitte erkläre.
user89929
@Bey Ja, ich habe es gelesen. Aber immer noch nicht in der Lage zu erraten, was sie genau sagen.
user89929

Antworten:

10

Ok, sagen wir das PDF für das Cauchy ist:

hier istθ derMedian, nicht der Mittelwert, da für Cauchy der Mittelwert undefiniert ist.f(x;θ)=1π11+(xθ)2θ

L(θ;x)=1π11+(x1θ)21π11+(x2θ)21π11+(xnθ)2=1πn1[1+(xiθ)2]

(θ;x)=nlogπi=1nlog[1+(xiθ)2]

d(θ;x)dθ=i=1n2(xiθ)1+(xiθ)2

Dies ist genau das, was Sie haben, außer hier ist Median, nicht der Mittelwert. Ich nehme an, du bist der Median in deiner Formel.θu

Nächster Schritt, um mle zu finden, müssen wir d(θ;x)dθ=i=1n2(xiθ)1+(xiθ)2=0

Jetzt ist Ihre Variable und x i s sind bekannte Werte. Sie müssen die Gleichung n i = 1 2 ( x i - θ ) lösen.θxisi=1n2(xiθ)1+(xiθ)2=0

dh 2 lösen ( x 1 - θ ). Es scheint sehr schwierig zu sein, diese Gleichung zu lösen. Daher benötigen wir die Newton-Raphson-Methode.2(x1θ)1+(x1θ)2+2(x2θ)1+(x2θ)2++2(xnθ)1+(xnθ)2=0

Ich denke, viele Kalkülbücher sprechen über die Methode

(1)θ1^=θ0^(θ0^)(θ0^)

θθ0^ ist Ihre erste Vermutung vonθ

ist die erste Ableitung der Log-Likelihood-Funktion.

ist die zweite Ableitung der Log-Likelihood-Funktion.

Von können Sie dann setzen Sie auf dann erhalten Sie und setzen es auf um ... setzen Sie diese Iterationen fort, bis sich keine großen Änderungen zwischen und ^ θ 1 ^ θ 1 (1) ^ θ 2 (1) ^ θ 3 ^ θ n ^ θ n - 1θ0^θ1^θ1^(1)θ2^(1)θ3^θn^θn1^

Das Folgende ist eine R-Funktion, die ich geschrieben habe, um mle für die Cauchy-Verteilung zu erhalten.

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

Angenommen, Ihre Daten sindx1=1.94,x2=0.59,x3=5.98,x4=0.08,x50.77

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

Ergebnis:

#$thetahat
#[1] -0.5343968

Wir können auch die R-In-Funktion verwenden, um mle zu erhalten.

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

Ergebnisse:

#$minimum
#[1] -0.5343902

Das Ergebnis ist fast das gleiche wie bei hausgemachten Codes.


Ok, wie Sie es wünschen, lassen Sie uns dies von Hand tun.

Zuerst erhalten wir eine erste die der Median der Daten5.98,1.94,0.77,0.08,0.59

Der Median beträgt0.77

Als nächstes wissen wir bereits, dassl(θ)=dl(θ;x)dθ=i=1n2(xiθ)1+(xiθ)2

und

l(θ)=dl2(θ;x)d(θ=d(i=1n2(xiθ)1+(xiθ)2)dθ=2i=1n(xiθ)21[1+(xiθ)2]2

Jetzt stecken wir den dh den Median zu undθ0^l(θ)l(θ)

dh durch ersetzen, dh Median dhθθ0^0.77

(θ)=i=1n2(xiθ)1+(xiθ)2=2[5.98(0.77)]1+[(5.98(0.77)2]+2[1.94(0.77)]1+[(1.94(0.77)2]+2[0.77(0.77)]1+[(0.77(0.77)2]+2[0.08(0.77)]1+[(0.08(0.77)2]+2[0.59(0.77)]1+[(0.59(0.77)2]=??

Als nächstes in und , um dann kannst dux 5 - 0,77 " ( θ ) ^ θ 1x1x50.77(θ)θ1^

Ok, ich muss hier aufhören, es ist zu mühsam, diese Werte von Hand zu berechnen.

Tiefer Norden
quelle
Ihre Antwort ist richtig. Ich habe es genauso gemacht. Diesen Weg können wir jedoch nur gehen, wenn wir die Werte in der Stichprobe kennen. Bedeutet das, dass es keine kompakte oder verallgemeinerte Form für den MLE-Standortparameter der Cauchy-Verteilung gibt?
user89929
Ich denke, die verallgemeinerte Form für die MLE wird sehr kompliziert sein. Ich weiß nicht, ob es einen gibt.
Deep North
Schauen Sie sich das an .. stats.stackexchange.com/questions/98971/… Es gibt ein verallgemeinertes Formular dafür. Aber sie haben etwas zentriert, wenn Cauchy-Verteilung, ich weiß nicht wie! Sie haben die Stichprobe der Größe 2 angenommen. Ich verstehe nicht warum! Bitte helfen Sie.
user89929
Sie nahmen und sie haben nur diese beiden Datenpunkte und , ich denke, das ist ein ganz besonderer Fall, keine verallgemeinerte Form. x - xx1=x;x2=xxx
Deep North
Ähm ... ich habe immer noch einige Zweifel. 1. Was wird die erste Vermutung für den Theta-Hut sein? Wird es der Medianwert einer bestimmten Stichprobe sein? 2. l 'und l "sind Ableitungen in Bezug auf Theta oder x?
user89929