Gibt es ein Beispiel, in dem MLE eine voreingenommene Schätzung des Mittelwerts erstellt?

Können Sie ein Beispiel für einen MLE-Schätzer für den voreingenommenen Mittelwert angeben?

Ich bin nicht auf der Suche nach einem Beispiel, das MLE-Schätzer im Allgemeinen durch Verstöße gegen die Regularitätsbedingungen bricht.

Alle Beispiele, die ich im Internet sehe, beziehen sich auf die Varianz, und ich kann anscheinend nichts finden, was mit dem Mittelwert zu tun hat.

BEARBEITEN

@MichaelHardy lieferte ein Beispiel, in dem wir eine voreingenommene Schätzung des Mittelwerts der Gleichverteilung unter Verwendung von MLE unter einem bestimmten vorgeschlagenen Modell erhalten.

jedoch

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

legt nahe, dass MLE ein einheitlich minimal unverzerrter Schätzer des Mittelwerts ist, eindeutig unter einem anderen vorgeschlagenen Modell.

Zu diesem Zeitpunkt ist mir immer noch nicht klar, was unter MLE-Schätzung zu verstehen ist, wenn es sich um eine sehr modellabhängige Hypothese handelt, im Gegensatz zu einem modellneutralen Stichproben-Mittelwertschätzer. Am Ende bin ich daran interessiert, etwas über die Population abzuschätzen und kümmere mich nicht wirklich um die Schätzung eines Parameters eines hypothetischen Modells.

BEARBEITEN 2

Wie @ChristophHanck dem Modell mit zusätzlichen Informationen vorschlug, gelang es jedoch nicht, die MSE zu reduzieren.

Wir haben auch zusätzliche Ergebnisse:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (S. 61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (Folie 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (Folie 5)

Wenn ein höchst effizienter unverzerrter Schätzer ˆθ von θ existiert (dh ˆθ ist unverzerrt und seine Varianz ist gleich dem CRLB), dann wird es das Maximum-Likelihood-Schätzverfahren erzeugen.

"Außerdem ist ein effizienter Schätzer der ML-Schätzer."

Da der MLE mit freien Modellparametern unvoreingenommen und effizient ist, ist dies per Definition der "Maximum Likelihood Estimator"?

EDIT 3

@AlecosPapadopoulos hat ein Beispiel mit Halbnormalverteilung im Matheforum.

/math/799954/can-the-maximum-likelihood-estimator-be-unbias-and-fail-to-achieve-cramer-rao

Es verankert keine seiner Parameter wie im einheitlichen Fall. Ich würde sagen, das regelt es, obwohl er die Tendenz des Mittelwertschätzers nicht bewiesen hat.

Christoph Hanck hat die Details seines vorgeschlagenen Beispiels nicht veröffentlicht. Ich nehme an, er meint die Gleichverteilung über das Intervall basierend auf einer iid-Stichprobe X 1 , … , X n mit einer Größe von mehr als n = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

Der Mittelwert ist .$\theta/2$

Die MLE des Mittelwerts beträgt $\max\{X_1,\ldots,X_n\}/2.$

Das ist vorgespannt, da also E ( max / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: beachten Sie, wir sollten vielleicht , dass die beste unverzerrter Schätzer des Mittel ist nicht die Probe Mittelwert, sondern ist n + $\theta/2$Der Stichprobenmittelwert ist ein mieser Schätzer vonθ/2,da für einige Stichproben der Stichprobenmittelwert kleiner als

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$und es ist eindeutig unmöglich, dassθ/2kleiner alsmax/2.Ende von PS ist$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

Ich vermute, dass die Pareto-Distribution ein weiterer solcher Fall ist. Hier ist das Wahrscheinlichkeitsmaß: Der erwartete Wert ist

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ Der MLE des erwarteten Wertes ist $\dfrac \alpha {\alpha -1 } \kappa.$ wobeimin=min{X1,…,Xn} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Ich habe den erwarteten Wert der MLE für den Mittelwert nicht berechnet, daher weiß ich nicht, wie stark die Abweichung ist.

Hier ist ein Beispiel, das meiner Meinung nach einige überraschen könnte:

Bei der logistischen Regression ist für jede endliche Stichprobengröße mit nicht deterministischen Ergebnissen (dh ) ein geschätzter Regressionskoeffizient nicht nur voreingenommen, sondern der Mittelwert des Regressionskoeffizienten ist tatsächlich undefiniert.$0 < p_{i} < 1$

Dies liegt daran, dass für jede endliche Stichprobengröße eine positive Wahrscheinlichkeit (wenn auch sehr gering, wenn die Anzahl der Stichproben im Vergleich zur Anzahl der Regressionsparameter groß ist) besteht, eine perfekte Trennung der Ergebnisse zu erzielen. In diesem Fall sind die geschätzten Regressionskoeffizienten entweder oder ∞ . Eine positive Wahrscheinlichkeit, entweder - ∞ oder ∞ zu sein, impliziert, dass der erwartete Wert undefiniert ist.$-\infty$$\infty$$-\infty$$\infty$

Weitere Informationen zu diesem speziellen Thema finden Sie unter Hauck-Donner-Effekt .

Obwohl @MichaelHardy darauf hingewiesen hat, folgt hier ein ausführlicheres Argument, warum die MLE des Maximums (und damit des Mittelwerts durch Invarianz) nicht unverzerrt ist, obwohl sie sich in einem anderen Modell befindet (siehe die Bearbeitung unten).$\theta/2$

Wir schätzen die Obergrenze der Gleichverteilung . Hier ist y ( n ) die MLE für eine Zufallsstichprobe y . Wir zeigen, dass y ( n ) nicht unvoreingenommen ist. Sein cdf ist F y ( n ) ( x $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ Somit ist seine Dichte fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ also E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

EDIT: Es ist in der Tat der Fall, dass (siehe die Diskussion in den Kommentaren) die MLE für den Mittelwert unverzerrt ist, in dem sowohl die untere Schranke als auch die obere Schranke b unbekannt sind. Dann wird das Minimum Y ( 1 ) ist das MLE für a , mit (Details weggelassen) Erwartungswert E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$ während E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ , so dass die MLE für(a+b)/2ist Y ( 1 ) +Y ( n $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ mit dem erwarteten Wert E( Y ( 1 ) + Y ( n $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: Um auf Henrys Punkt näher einzugehen, hier eine kleine Simulation für die MSE der Schätzer des Mittelwerts, die zeigt, dass die MSEs für die beiden Varianten identisch sind, wenn wir nicht wissen, dass die Untergrenze Null ist, während die MLE unverzerrt ist Dies legt nahe, dass der Schätzer, der die Kenntnis der Untergrenze einbezieht, die Variabilität verringert.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Vervollständigen Sie hier die Lücke in meiner Antwort auf math.se, auf die sich das OP bezieht .

$n$

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

Die log-Wahrscheinlichkeit der Stichprobe ist

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

$v$

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.