Warum ist das arithmetische Mittel kleiner als das Verteilungsmittel in einer logarithmischen Normalverteilung?

Ich habe also einen zufälligen Prozess, der logarithmisch normalverteilte Zufallsvariablen . Hier ist die entsprechende Wahrscheinlichkeitsdichtefunktion: $X$

Ich wollte die Verteilung einiger Momente dieser ursprünglichen Verteilung schätzen , sagen wir den ersten Moment: das arithmetische Mittel. Zu diesem Zweck habe ich 100 Zufallsvariablen 10000-mal gezeichnet, um 10000-Schätzungen des arithmetischen Mittels zu berechnen.

Es gibt zwei Möglichkeiten, diese Bedeutung einzuschätzen (zumindest habe ich das verstanden: Ich könnte mich irren):

durch einfaches Berechnen des arithmetischen Mittels auf die übliche Weise: $\bar{X} = \sum_{i = 1}^{N} \frac{X_{i}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
oder indem und aus der zugrunde liegenden Normalverteilung geschätzt werden : und dann der Mittelwert als $\sigma$ $\mu$ $μ = \sum_{i = 1}^{N} \frac{\log (X_{i})}{N} σ^{2} = \sum_{i = 1}^{N} \frac{{(\log (X_{i}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{X} = \exp (μ + \frac{1}{2} σ^{2}) .$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Das Problem ist, dass die Verteilungen, die diesen Schätzungen entsprechen, systematisch unterschiedlich sind:

Der "einfache" Mittelwert (dargestellt als die rot gestrichelte Linie) liefert im Allgemeinen niedrigere Werte als derjenige, der von der Exponentialform abgeleitet ist (grüne einfache Linie). Beide Mittelwerte werden jedoch mit genau demselben Datensatz berechnet. Bitte beachten Sie, dass dieser Unterschied systematisch ist.

Warum sind diese Verteilungen nicht gleich?

estimation bias fitting lognormal moments JohnW
quelle

Was sind Ihre wahren Parameter für

und

μ

$\mu$

σ

$\sigma$

Christoph Hanck

und

, aber bitte beachten Sie, dass ich daran interessiert bin, diese Parameter zu schätzen, daher der Monte-Carlo-Ansatz, anstatt das Ding aus diesen rohen Zahlen zu berechnen.

μ = 3

$\mu = 3$

σ = 1.5

$\sigma = 1.5$

JohnW

Sicher, dies ist für die Replikation Ihrer Ergebnisse.

Christoph Hanck

Interessanterweise hat dieses Phänomen nichts mit Lognormalität zu tun. Bei positiven Zahlen

mit Logarithmen

ist bekannt, dass ihr arithmetisches Mittel (AM)

niemals kleiner ist als ihr geometrisches Mittel (GM)

. In der anderen Richtung ist der AM niemals größer als der GM multipliziert mit

wobei

die Varianz des

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$

y_{i}

$y_i$ . Daher muss die gepunktete rote Kurve für jede übergeordnete Verteilung (die positive Zufallszahlen beschreibt) links von der durchgezogenen grünen Kurve liegen .

whuber

Wenn ein Großteil des Mittelwerts aus einer winzigen Wahrscheinlichkeit großer Zahlen stammt, kann ein arithmetischer Mittelwert mit endlicher Stichprobe den Mittelwert der Grundgesamtheit mit hoher Wahrscheinlichkeit unterschätzen. (In der Erwartung ist es unvoreingenommen, aber es gibt eine große Wahrscheinlichkeit für eine kleine Unterschätzung und eine kleine Wahrscheinlichkeit für eine große Überschätzung.) Diese Frage kann sich auch auf diese beziehen: stats.stackexchange.com/questions/214733/…

Matthew Gunn

Antworten:

Die beiden Schätzer, die Sie vergleichen, sind die Methode des Momentschätzers (1.) und der MLE (2.), siehe hier . Beide sind konsistent (so für großen , sind sie in gewissem Sinne wahrscheinlich nahe bei dem wahren Wert sein ). $N$ $\exp[\mu+1/2\sigma^2]$

Für den MM-Schätzer ist dies eine direkte Konsequenz des Gesetzes der großen Zahlen, das besagt, dass . Für die MLE, der kontinuierliche Abbildungssatz bedeutet , dass als und $\bar X\to_pE(X_i)$

\exp [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} \exp [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

Die MLE ist jedoch nicht unvoreingenommen.

In der Tat, Jensen-Ungleichung sagt uns , dass für klein ist , ist die MLE zu erwarten nach oben verzerrt (siehe auch die Simulation und sind (im letzteren Fall, fast, aber mit einem vernachlässigbaren Bias für , da der unverzerrte Schätzer durch dividiert. ) Bekanntermaßen unverzerrte Schätzer der Parameter einer Normalverteilung und (ich benutze Hüte, um Schätzer anzugeben). $N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

$E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [\exp (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > \exp [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx \exp [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

$N=100$

$N=1000$

Hergestellt mit:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

$\exp(\mu+\sigma^2/2)$

V_{t} = (σ^{2} + σ^{4} / 2) \cdot \exp {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

\exp {2 (μ + \frac{1}{2} σ^{2})} (\exp {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

\exp {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$

σ^{2} > 0

$\sigma^2>0$

$N$ N <- c(50,100,200,500,1000,2000,3000,5000)

$N$ $N$ $N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

Christoph Hanck
quelle

Ah okay. Mir ist wirklich nicht in den Sinn gekommen, dass eine Methode bei gleichen Daten effizienter sein könnte als die andere. Also ich könnte sagen, dass die MLE-Lösung in Bezug auf schneller konvergiert

N

$N$ als die andere Methode, wenn ich richtig verstanden habe. Vielen Dank!

JohnW

Ich habe ein wenig über die Voreingenommenheit nachgedacht. Zum

N = 100

$N=100$ Die Abweichung ist zwar negativ für den MM-Schätzer, aber das scheint kein allgemeines Ergebnis zu sein

N

$N$ .

Christoph Hanck

Nun, ich bin auch überrascht, dass es einen so großen Unterschied zwischen den beiden Methoden gibt, aber dieses Beispiel ist absolut perfekt , um zu demonstrieren, warum "nur Mittelwertbildung" schrecklich sein kann!

JohnW

@ JohnW, ich habe eine kleine analytische Erklärung hinzugefügt, warum der MLE eine geringere Varianz aufweist.

Christoph Hanck

Die Diskrepanz ergibt sich aus der Tatsache, dass die Verzerrung ein endliches Stichprobenproblem ist, dh, sie verschwindet als

N

$N$ geht bis ins Unendliche. Der Vergleich der asymptotischen Varianz (wie der Name schon sagt) zeigt nur, was im Grenzfall passiert, wie

N \to \infty

$N\to\infty$ .

Christoph Hanck