Was macht den Mittelwert einiger Distributionen undefiniert?

21

Viele PDFs reichen von minus bis positiv unendlich, aber einige Mittel sind definiert und andere nicht. Welches gemeinsame Merkmal macht einige berechenbar?

Kevin Nowaczyk
quelle
14
Konvergente Integrale.
Sycorax sagt Reinstate Monica
1
Diese Verteilungen sind mathematische Abstraktionen. Wenn das Integral nicht konvergiert, ist der Mittelwert nicht definiert. Was in den folgenden Antworten jedoch nicht erwähnt wird, ist, dass PDFs mit minus unendlich bis plus unendlich keine realen Datenquellen modellieren können. Es gibt keinen solchen physischen Prozess, um solche Daten im wirklichen Leben zu erzeugen. Meiner Meinung nach sind alle realen Datenquellen begrenzt und Sie können den Mittelwert approximieren.
Cagdas Ozgenc
3
@Cagdas Diese Bemerkung scheint nicht korrekt zu sein. Es gibt viele schwerfällige Prozesse. Ihre abweichenden Erwartungen äußern sich in extremen Schwankungen der langfristigen Durchschnittswerte. Eine überzeugende Anwendung eines Cauchy-Modells finden Sie beispielsweise in Douglas Zares Beitrag unter stats.stackexchange.com/a/36037/919 .
Whuber
2
@CagdasOzgenc: Du solltest Black Swan von Taleb lesen, um zu sehen, wie falsch diese Argumentation ist. Während es heuristisch gesehen möglicherweise keinen Prozess gibt, der eine Verteilung mit einem undefinierten Mittelwert oder einem unendlichen Mittelwert perfekt erzeugt, gibt es viele Beispiele, in denen die Leute unterschätzen, wie fett die Schwänze ihrer Verteilung sind, und Mittelwerte berechnen, während die wahre Verteilung a hat meine das ist ganz anders und meistens recht schief. Diese Art von falschem Denken führte zu vielen Risikoeinschätzungsfehlern in der Finanzierung, bei denen das Risiko um viele Größenordnungen unterschätzt wird.
Alex R.
1
@ Cagdas Ozgenc: Für eine Diskussion, warum Ihr Argument falsch ist, siehe stats.stackexchange.com/questions/94402/…
kjetil b halvorsen

Antworten:

23

Der Mittelwert einer Verteilung wird als Integral definiert (ich schreibe ihn wie für eine kontinuierliche Verteilung - etwa als Riemann-Integral -, aber das Problem ist allgemeiner: Wir können uns mit Stieltjes- oder Lebesgue-Integration befassen diese richtig und auf einmal):

E(X)=xf(x)dx

Aber was heißt das? Es ist effektiv eine Abkürzung für

a,blimabxf(x)dx

oder

alima0xf(x)dx+blim0bxf(x)dx

(obwohl du es überall brechen könntest, nicht nur bei 0)

Das Problem tritt auf, wenn die Grenzen dieser Integrale nicht endlich sind.

Betrachten Sie beispielsweise die Standard-Cauchy-Dichte, die proportional zu 11+x2 ... beachte das

blim0bx1+x2dx

lassen , so d u = 2 xu=1+x2du=2xdx

=blim1211+b21udu

=blim12ln(u)|11+b2

=blim12ln(1+b2)

das ist nicht endlich. Die Grenze in der unteren Hälfte ist ebenfalls nicht endlich; die erwartung ist dabei undefiniert.

Oder wenn wir als Zufallsvariable den absoluten Wert eines Standard-Cauchy hätten, wäre seine gesamte Erwartung proportional zu dieser Grenze, die wir gerade betrachtet haben (dh ).blim12ln(1+b2)

Andererseits setzen sich einige andere Dichten "bis unendlich" fort, aber ihr Integral hat eine Grenze.

Glen_b - Setzen Sie Monica wieder ein
quelle
1
Sie können (natürlich) dasselbe auch in ähnlichen diskreten Wahrscheinlichkeitsverteilungen sehen. Nehmen Sie eine Verteilung, bei der die Wahrscheinlichkeit des Auftretens von für die ganze Zahl n > 0 proportional zu 1 istnn>0 . Die Summe der Wahrscheinlichkeiten ist endlich (was auch gut so ist, da es Limit 1 haben muss: eigentlich muss unsere Konstante6 sein1n2 oder was auch immer es ist), aber seit der Summe von16π2 divergiert es hat keinen mittelwert. Wenn wir eine Wahrscheinlichkeit proportional zu1wählen1n dann eine Summe von11n3 und es geht uns gut, das ist "klein genug", dass es konvergiert. 1n2
Steve Jessop
1
Ja, ist die Skalierungskonstante dafür (um die Summe zu 1 zu machen). 6π2
Glen_b
8

Die anderen Antworten sind gut, aber vielleicht nicht jeder überzeugen, vor allem Menschen , die einen Blick auf die nehmen Cauchy - Verteilung (mit ) und sagen , dass es immer noch intuitiv klar ist , dass der Mittelwert sollte Null sein.x0=0

Der Grund, warum die intuitive Antwort aus mathematischer Sicht nicht korrekt ist, liegt im Riemannschen Umordnungssatz (Video) .

Wenn Sie sich einen Cauchy ansehen und sagen, dass der Mittelwert "sollte Null sein", bedeutet dies, dass Sie das "Zentrum" bei Null aufteilen und dann die Momente des Gleichgewichts zweier Größen beanspruchen. Oder mit anderen Worten, Sie machen implizit eine unendliche Summe mit "der Hälfte" der positiven Terme (den Momenten an jedem Punkt rechts) und "der Hälfte" der negativen Terme (den Momenten an jedem Punkt links) und behaupten dies summiert sich zu Null. (Für technisch Interessierte: )0f(x0+r)rdr0f(x0r)rdr=0

Der Riemannsche Umordnungssatz besagt, dass diese Art von unendlicher Summe (eine mit sowohl positiven als auch negativen Begriffen) nur dann konsistent ist, wenn die beiden Reihen (nur positive und nur negative Begriffe) unabhängig voneinander konvergent sind. Wenn beide Seiten (positiv und negativ) für sich divergieren, können Sie eine Summierungsreihenfolge der Begriffe erstellen, die sich zu einer beliebigen Zahl summiert . (Video oben, ab 6:50 Uhr)

Also, ja, wenn Sie die Summierung auf ausgeglichene Weise von 0 bis 0 ausführen, werden die ersten Momente der Cauchy-Verteilung aufgehoben. Die (Standard-) Definition des Mittelwerts erzwingt diese Reihenfolge der Summierung jedoch nicht. Sie sollten in der Lage sein, die Momente in beliebiger Reihenfolge zu summieren und sie gleichermaßen gültig zu haben. Daher ist der Mittelwert der Cauchy-Verteilung undefiniert - indem Sie die Summe der Momente mit Bedacht auswählen, können Sie sie praktisch zu jedem Zeitpunkt "ausbalancieren" (oder nicht).

So um den Mittelwert einer Verteilung zu machen definiert, die beiden Moment Integrale müssen jeweils unabhängig konvergent (finite) um den Mittelwert vorgeschlagen (was, wenn Sie die Mathematik zu tun, ist wirklich nur eine andere Art zu sagen , dass die volle Integral ( ) muss konvergent sein). Wenn die Schwänze "fett" genug sind, um den Moment für eine Seite unendlich zu machen, sind Sie fertig. Sie können es nicht mit einem unendlichen Moment auf der anderen Seite ausgleichen.f(x)xdx


Ich sollte erwähnen, dass das "kontraintuitive" Verhalten von Dingen wie der Cauchy-Verteilung ausschließlich auf Probleme zurückzuführen ist, wenn man über Unendlichkeit nachdenkt. Nehmen Sie die Cauchy-Verteilung und hacken Sie die Schwänze ab - sogar beliebig weit heraus, wie bei plus / minus der xkcd-Zahl - und (einmal normalisiert) erhalten Sie plötzlich etwas, das sich gut benimmt und einen definierten Mittelwert hat. Es sind nicht die fetten Schwänze an sich, die ein Problem darstellen, sondern wie sich diese Schwänze verhalten, wenn Sie sich der Unendlichkeit nähern.

RM
quelle
Nett. Ich frage mich, ob es möglich ist, eine exlicit "Reihenfolge der Summierung" zu geben, die beispielsweise zu zwei führt.
Matthew Drury
@MatthewDrury: p_i und n_i bezeichnen positive und negative Zahlen. Finde nacheinander p_i und n_i, so dass das Integral über [n_i, p_i] 2+ (1 / i) ist und das Integral über [n_ {i + 1}, p_i] 2- (1 / i) ist. Man könnte dies explizit mit R, matlab oder mathematica tun, aber nur für eine endliche Anzahl von Begriffen.
David Epstein
7

General Abrial und Glen_b hatten perfekte Antworten. Ich möchte nur eine kleine Demo hinzufügen, um Ihnen zu zeigen, dass der Mittelwert der Cauchy-Verteilung nicht existiert / nicht konvergiert.

Im folgenden Experiment werden Sie feststellen, dass die Zahlen von Experiment zu Experiment sehr unterschiedlich sind, selbst wenn Sie eine große Stichprobe erhalten und den empirischen Mittelwert aus der Stichprobe berechnen.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

Bildbeschreibung hier eingeben

Sie können feststellen, dass wir Experimente haben und in jedem Experiment 1 × 10 5 Punkte aus zwei Verteilungen abtasten. Bei einer so großen Stichprobengröße sollte der empirische Mittelwert über verschiedene Experimente hinweg ziemlich nahe am wahren Mittelwert liegen. Die Ergebnisse zeigen, dass die Cauchy-Verteilung keinen konvergierenden Mittelwert aufweist, die Normalverteilung jedoch.1001×105

BEARBEITEN:

Wie im Chat unter @ mark999 erwähnt, sollten wir argumentieren, dass die beiden im Experiment verwendeten Verteilungen eine ähnliche "Varianz" aufweisen (der Grund, warum ich Zitate verwende, ist, dass die Varianz der Cauchy-Verteilung ebenfalls undefiniert ist). Hier ist die Begründung: Ihre PDF sind ähnlich.

0

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

Bildbeschreibung hier eingeben

Haitao Du
quelle
4
Ich glaube nicht, dass dies zeigt, dass die Cauchy-Verteilung keinen Mittelwert hat. Sie könnten ähnliche Ergebnisse erzielen, wenn Sie die Cauchy-Verteilung durch eine Normalverteilung mit einer entsprechend großen Varianz ersetzen.
mark999
good point @ mark999, ich werde meine Antwort bearbeiten, um dieses Problem zu beheben.
Haitao Du
Kann man aus der PDF-Datei der Cauchy-Distribution herausfinden, dass sie keine Bedeutung hat, wahrscheinlich, indem man sich ihre dicken Schwänze ansieht?
ks1322
Vielleicht hatten Sie so etwas vor? stats.stackexchange.com/questions/90531/…
Sycorax sagt Reinstate Monica
2

dθ/2πθAS1length(A)/2πU(π,π)ππε-π+ε (=π+εmod2π)ist der Mittelwert der Verteilung auf dem Kreis π. Aber das Mittel der GleichverteilungU(-π,π) auf der entsprechenden Vereinigung von zwei disjunkten Intervallen von jeweils Länge ε/2πist Null.

Da die Verteilung auf dem Kreis rotationssymmetrisch ist, kann es keinen Mittelwert, Median oder Modus auf dem Kreis geben. Ebenso können höhere Momente wie die Varianz keinen Sinn ergeben. Diese Verteilung ergibt sich natürlich in vielen Zusammenhängen. Zum Beispiel beinhaltet mein aktuelles Projekt Mikroskopbilder von Krebsgewebe. Die sehr zahlreichen Objekte im Bild sind nicht symmetrisch und jeder kann eine "Richtung" zugeordnet werden. Die offensichtliche Nullhypothese ist, dass diese Richtungen gleichmäßig verteilt sind.

Um die Einfachheit zu verschleiern, lassen Sie S1 sei der Standardeinheitskreis und lasse p=(0,1)S1. Wir definierenx als Funktion von θ durch stereographische Projektion des Kreises aus p auf die x-Achse. Die Formel lautetx=bräunen(θ/2). Differenzieren finden wirdθ/2=dx/(1+x2). Die infinitesimale Wahrscheinlichkeit ist daherdθπ(1+x2), die übliche Form der Cauchy-Verteilung, und "Hey, presto!", wird die Einfachheit zu einem Kopfschmerz, der eine Behandlung durch die Feinheiten der Integrationstheorie erfordert.

Im S1{p}Wir können die Abwesenheit von ignorieren p (mit anderen Worten, wieder einsetzen pS1) für alle Überlegungen wie Moment mittlerer oder höherer Ordnung, da die Wahrscheinlichkeit von p(sein Maß) ist Null. Das Nichtvorhandensein von Mittelwerten und höheren Momenten überträgt sich also auf die reale Linie. Es gibt jedoch jetzt einen besonderen Punkt, nämlich-p=(0,-1), die Karten zu 0R unter stereographischer Projektion und dies wird der Median und Modus der Cauchy-Verteilung.

David Epstein
quelle
2
Die Cauchy-Verteilung hat einen Median und einen Modus.
Jkabrg
ganz richtig. Ich wurde ein bisschen mitgerissen. Aber das Argument für die Nichtexistenz des Mittelwerts ist richtig. Ich werde meine Antwort überarbeiten.
David Epstein
Warum "kann es keinen Mittelwert geben, weil es keinen im Kreis gibt"? In Ihrer Argumentation fehlt eine Menge. Ich nehme an, Sie meinen damit die Gleichverteilung "auf dem Kreis"θU(-π,π) und X=bräunen(θ/2), aber dann E[θ]=0 Also verstehe ich nicht, wovon du sprichst.
jkabrg
@jkabrg: Ich hoffe, die neuen Änderungen machen dies verständlicher
David Epstein