Maximum-Likelihood-Schätzer für eine abgeschnittene Verteilung

Man betrachte unabhängige Stichproben die aus einer Zufallsvariablen , von der angenommen wird, dass sie einer abgeschnittenen Verteilung (z. B. einer abgeschnittenen Normalverteilung ) bekannter (endlicher) Minimal- und Maximalwerte und aber unbekannter Parameter und folgen . Wenn einer nicht abgeschnittenen Verteilung folgt, wären die Maximum-Likelihood-Schätzer und für und aus der Stichprobenmittelwert $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ und die Stichprobenvarianz . Für eine abgeschnittene Verteilung ist die auf diese Weise definierte Stichprobenvarianz jedoch durch sodass sie nicht immer ein konsistenter Schätzer ist: Für kann sie nicht mit der Wahrscheinlichkeit gegen konvergieren. als geht ins Unendliche. Es scheint also, dass und nicht die Maximum-Likelihood-Schätzer von und für eine abgeschnittene Verteilung sind. Dies ist natürlich seit dem und zu erwarten $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ Parameter einer abgeschnittenen Normalverteilung sind nicht deren Mittelwert und Varianz.

Also, was sind die Maximum-Likelihood-Schätzer für die Parameter und einer abgeschnittenen Verteilung bekannter Minimal- und Maximalwerte? $\mu$ $\sigma$

distributions estimation mathematical-statistics maximum-likelihood truncation a3nm
quelle

Sind Sie sich Ihrer Analyse sicher? Ich denke, Sie gehen von einer ungültigen Annahme aus: Für die abgeschnittene Situation ist die MLE von nicht länger die Stichprobenvarianz (und im Allgemeinen ist die MLE von nicht länger der Stichprobenmittelwert)!

σ^{2}

$\sigma^2$

μ

$\mu$

Whuber

whuber: Ich weiß, das ist genau meine Frage: Was sind die MLEs von und im verkürzten Fall? Hinzufügen eines Satzes, um darauf zu bestehen.

σ^{2}

$\sigma^2$

μ

$\mu$

Es gibt keine geschlossene Lösung. Sie können lediglich die Log-Wahrscheinlichkeit numerisch minimieren. Dies ist aber qualitativ nicht anders als bei vielen anderen Modellen wie der logistischen Regression, die ebenfalls keine geschlossene Formlösung haben.

Whuber

whuber: Wenn das stimmt, ist das ziemlich enttäuschend. Haben Sie Hinweise auf das Fehlen von Closed-Form-Lösungen? Gibt es Schätzer in geschlossener Form, die keine maximale Wahrscheinlichkeit darstellen, aber zumindest konsistent (und optional unvoreingenommen) sind?

@whuber: Können Sie zumindest Ihre Stichproben in ausreichende Statistiken umwandeln, damit die Minimierung schnell vonstatten geht?

Neil G

Betrachten Sie jede Ortsskalenfamilie, die durch eine "Standard" -Verteilung wird. $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Unter der Annahme, dass differenzierbar ist, stellen wir leicht fest, dass die PDFs . $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Wenn diese Distributionen abgeschnitten werden, um ihre Unterstützung zwischen und ( einzuschränken , werden die PDFs durch ersetzt $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(und sind Null für alle anderen Werte von ) wobei ist der Normalisierungsfaktor, der benötigt wird, um sicherzustellen, dass zur Einheit integriert wird. (Beachten Sie, dass ohne Kürzung identisch .) Die Log-Wahrscheinlichkeit für iid-Daten daher $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Kritische Punkte (einschließlich globaler Minima) werden gefunden, wenn entweder (ein Sonderfall, den ich hier ignoriere) oder der Verlauf verschwindet. Unter Verwendung von Indizes zur Bezeichnung von Ableitungen können wir den Gradienten formal berechnen und die Wahrscheinlichkeitsgleichungen wie folgt schreiben $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Da und fest sind, sie aus der Notation und schreiben Sie als und als . (Ohne Kürzung wären beide Funktionen identisch Null.) Die Trennung der Terme, die die Daten betreffen, von den übrigen ergibt $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Wenn man diese mit der Situation ohne Verkürzung vergleicht, ist das offensichtlich

Alle ausreichenden Statistiken für das ursprüngliche Problem reichen für das abgeschnittene Problem aus (da sich die rechten Seiten nicht geändert haben).
Unsere Fähigkeit, geschlossene Lösungen zu finden, hängt von der Traktabilität von und . Wenn diese nicht auf einfache Weise und beinhalten , können wir nicht hoffen, dass wir im Allgemeinen geschlossene Lösungen erhalten. $A$ $B$ $\mu$ $\sigma$

Für den Fall einer normalen Familie ergibt sich natürlich aus der kumulierten normalen PDF, die einen Unterschied zwischen den Fehlerfunktionen darstellt: Es besteht keine Chance, dass eine Lösung in geschlossener Form vorliegt im Allgemeinen erhalten. Es gibt jedoch nur zwei ausreichende Statistiken (der Stichprobenmittelwert und die Varianz reichen aus), und die CDF ist so glatt wie möglich, sodass numerische Lösungen relativ einfach zu erhalten sind. $C(\mu,\sigma,a,b)$

whuber
quelle

Vielen Dank für diese sehr ausführliche Antwort! Ich bin mir nicht sicher, was ich

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

Die übliche längere Notation ist usw.: Wie angekündigt handelt es sich um eine Ableitung. Ich werde die zweite Änderung vornehmen, die Sie vorschlagen, da dies eine wichtige Klarstellung ist, danke.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

Whuber

Da Ihre Antwort allgemeiner ist als die, die ich erwartet hatte, habe ich meine Frage bearbeitet, um weniger auf Normalverteilungen zu bestehen. Nochmals vielen Dank für Ihre Mühe.

Auf dieser Ebene der Allgemeinheit war es einfacher zu erklären, als sich auf die Normalverteilungen zu konzentrieren! Das Berechnen der Ableitungen und das Anzeigen der genauen Form der CDF sind unnötige Ablenkungen (obwohl dies nützlich ist, wenn Sie mit der eigentlichen Codierung der numerischen Lösung beginnen).

whuber

Danke fürs Reparieren! Du hast einen von ihnen verpasst; Könntest du meine Bearbeitung überprüfen?

Maximum-Likelihood-Schätzer für eine abgeschnittene Verteilung

Antworten: