Warum ist der Mittelwert in verschiedenen Stichproben stabiler als der Median?

In Abschnitt 1.7.2 der Ermittlung von Statistiken mithilfe von R von Andy Fields und einer Auflistung der Vorteile von Mittelwert und Median heißt es:

... ist der Mittelwert in verschiedenen Proben tendenziell stabil.

Dies, nachdem die vielen Tugenden des Medians erklärt wurden, z

... Der Median ist relativ unbeeinflusst von Extremwerten an beiden Enden der Verteilung ...

Angesichts der Tatsache, dass der Median relativ unbeeinflusst von Extremwerten ist, hätte ich angenommen, dass er über die Stichproben hinweg stabiler ist. Ich war also verwirrt über die Behauptung der Autoren. Um zu bestätigen, dass ich eine Simulation durchgeführt habe, habe ich 1 Million Zufallszahlen generiert und 100 Zahlen 1000-mal abgetastet und den Mittelwert und Median jeder Stichprobe berechnet und dann den SD dieser Stichprobenmittelwerte und Medianwerte berechnet.

nums = rnorm(n = 10**6, mean = 0, sd = 1)
hist(nums)
length(nums)
means=vector(mode = "numeric")
medians=vector(mode = "numeric")
for (i in 1:10**3) { b = sample(x=nums, 10**2); medians[i]= median(b); means[i]=mean(b) }
sd(means)
>> [1] 0.0984519
sd(medians)
>> [1] 0.1266079
p1 <- hist(means, col=rgb(0, 0, 1, 1/4))
p2 <- hist(medians, col=rgb(1, 0, 0, 1/4), add=T)

Wie Sie sehen, sind die Mittelwerte enger verteilt als die Mediane.

In der angehängten Abbildung ist das rote Histogramm für Medianwerte - wie Sie sehen, ist es weniger groß und hat einen dickeren Schwanz, was auch die Behauptung des Autors bestätigt.

Das verblüfft mich allerdings! Wie kann der Medianwert, der stabiler ist, letztendlich mehr zwischen den Stichproben variieren? Es scheint paradox! Alle Einsichten wäre dankbar.

Der Median ist maximal robust gegenüber Ausreißern, aber sehr anfällig für Rauschen. Wenn Sie für jeden Punkt eine geringe Menge an Rauschen eingeben, wird der Median ungedämpft eingegeben, solange das Rauschen so gering ist, dass die relative Reihenfolge der Punkte nicht geändert wird. Für den Mittelwert ist es umgekehrt. Das Rauschen wird gemittelt, aber ein einzelner Ausreißer kann den Mittelwert beliebig ändern.

Ihr Test misst hauptsächlich die Robustheit gegenüber Rauschen, aber Sie können leicht einen Test erstellen, bei dem der Median eine bessere Leistung erbringt. Wenn Sie einen Schätzer suchen, der sowohl gegen Ausreißer als auch gegen Rauschen robust ist, werfen Sie einfach das obere und untere Drittel weg und mitteln Sie den Rest.

Wie @whuber und andere gesagt haben, ist die Aussage im Allgemeinen nicht wahr. Und wenn Sie bereit sind, intuitiver zu sein - ich kann mit den tiefen Mathematikfreaks hier nicht mithalten -, sehen Sie sich vielleicht andere Möglichkeiten an, wie Mittelwert und Median stabil sind oder nicht. Nehmen Sie für diese Beispiele eine ungerade Anzahl von Punkten an, damit ich meine Beschreibungen konsistent und einfach halten kann.

1. Stellen Sie sich vor, Sie haben Punkte auf einer Zahlenlinie verteilt. Stellen Sie sich nun vor, Sie nehmen alle Punkte über der Mitte und verschieben sie auf das 10-fache ihrer Werte. Der Median ist unverändert, der Mittelwert deutlich verschoben. Der Median scheint also stabiler zu sein.

2. Stellen Sie sich nun vor, diese Punkte sind ziemlich verteilt. Bewegen Sie den Mittelpunkt nach oben und unten. Bei einer Bewegung um eine Einheit wird der Median um eins geändert, der Mittelwert jedoch kaum. Der Median scheint jetzt weniger stabil und empfindlicher für kleine Bewegungen eines einzelnen Punktes zu sein.

3. Stellen Sie sich nun vor, Sie nehmen den höchsten Punkt und bewegen ihn reibungslos vom höchsten zum niedrigsten Punkt. Der Mittelwert bewegt sich ebenfalls reibungslos. Der Median bewegt sich jedoch nicht kontinuierlich: Er bewegt sich erst dann, wenn Ihr höchster Punkt niedriger als der vorherige Median ist. Dann folgt er dem Punkt, bis er unter den nächsten Punkt fällt. Dann bleibt der Median bei diesem Punkt und tut es erneut Bewegen Sie sich nicht, während Sie Ihren Punkt weiter nach unten bewegen. [Bearbeitet pro Kommentar]

Unterschiedliche Transformationen Ihrer Punkte bewirken, dass entweder der Mittelwert oder der Median in gewissem Sinne weniger glatt oder stabil aussieht. Die Macher hier haben Ihnen Verteilungen gezeigt, aus denen Sie eine Stichprobe erstellen können, die besser zu Ihrem Experiment passt, aber hoffentlich hilft auch diese Intuition.

Angenommen, Sie haben Datenpunkte aus einer zugrunde liegenden kontinuierlichen Verteilung mit Mittelwert und Varianz . Sei die Dichtefunktion für diese Verteilung und sei ihr Median. Um dieses Ergebnis weiter zu vereinfachen, sei die entsprechende standardisierte Dichtefunktion, gegeben durch für alle . Die asymptotische Varianz des Stichprobenmittelwerts und des Stichprobenmedians ergibt sich aus:$n$$\mu$$\sigma^2 < \infty$$f$$m$$\tilde{f}$$\tilde{f}(z) = \sigma \cdot f(\mu+\sigma z)$$z \in \mathbb{R}$

Wir haben also:

Wie Sie sehen, wird die relative Größe der Varianz von Stichprobenmittelwert und Stichprobenmedian (asymptotisch) durch den standardisierten Dichtewert beim wahren Median bestimmt. Somit haben wir für großes die asymptotische Entsprechung:$n$

Das heißt, für großes und asymptotisch gesprochen, ist die Varianz des Stichprobenmittelwerts genau dann niedriger als die Varianz des Stichprobenmedians, wenn die standardisierte Dichte beim standardisierten Medianwert kleiner als die Hälfte ist. Die Daten, die Sie in Ihrem Simulationsbeispiel verwendet haben, wurden aus einer Normalverteilung generiert. Sie haben also . Es ist daher nicht überraschend, dass Sie in diesem Beispiel eine höhere Varianz für den Stichprobenmedian gefunden haben.$n$$f_* = 1 / \sqrt{2 \pi} = 0.3989423 < 1/2$

Anmerkung: Um Ihre Simulation zu wiederholen, verwenden Sie eine Verteilung, für die SDs von Mittelwerten und Medianen das entgegengesetzte Ergebnis haben:

Im Einzelnen handelt numses sich nun um eine Laplace-Verteilung (auch "doppelte Exponentialverteilung" genannt), die als Differenz zweier Exponentialverteilungen mit gleicher Rate (hier die Standardrate 1) simuliert werden kann. [Siehe vielleicht Wikipedia über Laplace-Distributionen.]

set.seed(2019)
nums = rexp(10^6) - rexp(10^6)
means=vector(mode = "numeric")
medians=vector(mode = "numeric")
for (i in 1:10^3) { b = sample(x=nums, 10^2); 
  medians[i]= median(b); means[i]=mean(b) }
sd(means)
[1] 0.1442126
sd(medians)
[1] 0.1095946   # <-- smaller

hist(nums, prob=T, br=70, ylim=c(0,.5),  col="skyblue2")
 curve(.5*exp(-abs(x)), add=T, col="red")

Hinweis: Eine andere einfache Möglichkeit, die in @ whubers Link ausdrücklich erwähnt wird, ist Cauchy, die als Student-t-Verteilung mit einem Freiheitsgrad simuliert werden kann rt(10^6, 1). Die Schwänze sind jedoch so schwer, dass die Erstellung eines schönen Histogramms problematisch ist.