Maximum-Likelihood-Schätzer für eine abgeschnittene Verteilung

28

Man betrachte unabhängige Stichproben die aus einer Zufallsvariablen , von der angenommen wird, dass sie einer abgeschnittenen Verteilung (z. B. einer abgeschnittenen Normalverteilung ) bekannter (endlicher) Minimal- und Maximalwerte und aber unbekannter Parameter und folgen . Wenn einer nicht abgeschnittenen Verteilung folgt, wären die Maximum-Likelihood-Schätzer und für und aus der StichprobenmittelwertNSXabμσ2Xμ^σ^2μσ2Sμ^=1NiSiund die Stichprobenvarianz . Für eine abgeschnittene Verteilung ist die auf diese Weise definierte Stichprobenvarianz jedoch durch sodass sie nicht immer ein konsistenter Schätzer ist: Für kann sie nicht mit der Wahrscheinlichkeit gegen konvergieren. als geht ins Unendliche. Es scheint also, dass und nicht die Maximum-Likelihood-Schätzer von und für eine abgeschnittene Verteilung sind. Dies ist natürlich seit dem und zu erwartenσ^2=1Ni(Siμ^)2(ba)2σ2>(ba)2σ2Nμ^σ^2μσ2μσ2 Parameter einer abgeschnittenen Normalverteilung sind nicht deren Mittelwert und Varianz.

Also, was sind die Maximum-Likelihood-Schätzer für die Parameter und einer abgeschnittenen Verteilung bekannter Minimal- und Maximalwerte?μσ

a3nm
quelle
Sind Sie sich Ihrer Analyse sicher? Ich denke, Sie gehen von einer ungültigen Annahme aus: Für die abgeschnittene Situation ist die MLE von nicht länger die Stichprobenvarianz (und im Allgemeinen ist die MLE von nicht länger der Stichprobenmittelwert)! σ2μ
Whuber
whuber: Ich weiß, das ist genau meine Frage: Was sind die MLEs von und im verkürzten Fall? Hinzufügen eines Satzes, um darauf zu bestehen. σ2μ
am
1
Es gibt keine geschlossene Lösung. Sie können lediglich die Log-Wahrscheinlichkeit numerisch minimieren. Dies ist aber qualitativ nicht anders als bei vielen anderen Modellen wie der logistischen Regression, die ebenfalls keine geschlossene Formlösung haben.
Whuber
whuber: Wenn das stimmt, ist das ziemlich enttäuschend. Haben Sie Hinweise auf das Fehlen von Closed-Form-Lösungen? Gibt es Schätzer in geschlossener Form, die keine maximale Wahrscheinlichkeit darstellen, aber zumindest konsistent (und optional unvoreingenommen) sind?
am
1
@whuber: Können Sie zumindest Ihre Stichproben in ausreichende Statistiken umwandeln, damit die Minimierung schnell vonstatten geht?
Neil G

Antworten:

29

Betrachten Sie jede Ortsskalenfamilie, die durch eine "Standard" -Verteilung wird.F

ΩF={F(μ,σ):xF(xμσ)σ>0}.

Unter der Annahme, dass differenzierbar ist, stellen wir leicht fest, dass die PDFs .F1σf((xμ)/σ)dx

Wenn diese Distributionen abgeschnitten werden, um ihre Unterstützung zwischen und ( einzuschränken , werden die PDFs durch ersetztaba<b

f(μ,σ;a,b)(x)=f(xμσ)dxσC(μ,σ,a,b),axb

(und sind Null für alle anderen Werte von ) wobei ist der Normalisierungsfaktor, der benötigt wird, um sicherzustellen, dass zur Einheit integriert wird. (Beachten Sie, dass ohne Kürzung identisch .) Die Log-Wahrscheinlichkeit für iid-Daten daherxC(μ,σ,a,b)=F(μ,σ)(b)F(μ,σ)(a)f(μ,σ;a,b)C1xi

Λ(μ,σ)=i[logf(xiμσ)logσlogC(μ,σ,a,b)].

Kritische Punkte (einschließlich globaler Minima) werden gefunden, wenn entweder (ein Sonderfall, den ich hier ignoriere) oder der Verlauf verschwindet. Unter Verwendung von Indizes zur Bezeichnung von Ableitungen können wir den Gradienten formal berechnen und die Wahrscheinlichkeitsgleichungen wie folgt schreibenσ=0

0=Λμ=i[fμ(xiμσ)f(xiμσ)Cμ(μ,σ,a,b)C(μ,σ,a,b)]0=Λσ=i[fσ(xiμσ)σ2f(xiμσ)1σCσ(μ,σ,a,b)C(μ,σ,a,b)]

Da und fest sind, sie aus der Notation und schreiben Sie als und als . (Ohne Kürzung wären beide Funktionen identisch Null.) Die Trennung der Terme, die die Daten betreffen, von den übrigen ergibtabnCμ(μ,σ,a,b)/C(μ,σ,a,b)A(μ,σ)nCσ(μ,σ,a,b)/C(μ,σ,a,b)B(μ,σ)

A(μ,σ)=ifμ(xiμσ)f(xiμσ)σ2B(μ,σ)nσ=ifσ(xiμσ)f(xiμσ)

Wenn man diese mit der Situation ohne Verkürzung vergleicht, ist das offensichtlich

  • Alle ausreichenden Statistiken für das ursprüngliche Problem reichen für das abgeschnittene Problem aus (da sich die rechten Seiten nicht geändert haben).

  • Unsere Fähigkeit, geschlossene Lösungen zu finden, hängt von der Traktabilität von und . Wenn diese nicht auf einfache Weise und beinhalten , können wir nicht hoffen, dass wir im Allgemeinen geschlossene Lösungen erhalten.ABμσ

Für den Fall einer normalen Familie ergibt sich natürlich aus der kumulierten normalen PDF, die einen Unterschied zwischen den Fehlerfunktionen darstellt: Es besteht keine Chance, dass eine Lösung in geschlossener Form vorliegt im Allgemeinen erhalten. Es gibt jedoch nur zwei ausreichende Statistiken (der Stichprobenmittelwert und die Varianz reichen aus), und die CDF ist so glatt wie möglich, sodass numerische Lösungen relativ einfach zu erhalten sind.C(μ,σ,a,b)

whuber
quelle
Vielen Dank für diese sehr ausführliche Antwort! Ich bin mir nicht sicher, was ichfμfσCμCσx[a,b]
1
Die übliche längere Notation ist usw.: Wie angekündigt handelt es sich um eine Ableitung. Ich werde die zweite Änderung vornehmen, die Sie vorschlagen, da dies eine wichtige Klarstellung ist, danke. Cμ=μC(μ,σ,a,b)
Whuber
Da Ihre Antwort allgemeiner ist als die, die ich erwartet hatte, habe ich meine Frage bearbeitet, um weniger auf Normalverteilungen zu bestehen. Nochmals vielen Dank für Ihre Mühe.
am
1
Auf dieser Ebene der Allgemeinheit war es einfacher zu erklären, als sich auf die Normalverteilungen zu konzentrieren! Das Berechnen der Ableitungen und das Anzeigen der genauen Form der CDF sind unnötige Ablenkungen (obwohl dies nützlich ist, wenn Sie mit der eigentlichen Codierung der numerischen Lösung beginnen).
whuber
1
Danke fürs Reparieren! Du hast einen von ihnen verpasst; Könntest du meine Bearbeitung überprüfen?
Am