Sind CDFs grundlegender als PDFs?

Mein stat prof sagte im Grunde, wenn eine der folgenden drei gegeben ist, können Sie die anderen zwei finden:

Verteilungsfunktion
Moment erzeugende Funktion
Wahrscheinlichkeitsdichtefunktion

Mein Ökonometrieprofessor sagte jedoch, CDFs seien grundlegender als PDFs, da es Beispiele gibt, in denen Sie eine CDF haben können, die PDF jedoch nicht definiert ist.

Sind CDFs grundlegender als PDFs? Woher weiß ich, ob ein PDF oder ein MGF von einem CDF abgeleitet werden kann?

probability pdf cdf mgf Stan Shunpike
quelle

Ist das eine Art Fundamentalitätswettbewerb? Haben wir eine Jury von prominenten Richtern? All diese drei Konzepte können verwendet werden , um ein Maß für einen Raum zu definieren

. Jedoch für ein gegebene CDF, MGF und PDF können nicht existieren, als PDF als Derivat des CDF definiert ist, und MGF ist definiert als

, und dieses Integral muss nicht vorhanden sein. Dies bedeutet jedoch nicht, dass eines dieser Konzepte weniger grundlegend ist. Grundlegend ist ein schönes Adjektiv, das keine mathematische Definition hat. Es ist ein Synonym für wichtig.

R^{d}

$\mathbb{R}^d$

\int_{R} \exp (t x) d F (x)

$\int_{\mathbb{R}}\exp(tx)dF(x)$

mpiktas

@mpiktas: Jede Wahrscheinlichkeitsverteilung auf (einer Teilmenge von)

hat eine CDF und definiert die Verteilung eindeutig. Nicht alle Wahrscheinlichkeitsverteilungen haben jedoch eine PDF- oder eine MGF-Datei (sie haben jedoch alle eine charakteristische Funktion ).

R^{n}

$\mathbb R^n$

Ilmari Karonen

@mpiktas Du könntest es mit

auf

. Dann ist

nicht definiert. Trotzdem ist mir klar, warum der Professor den Ausdruck "grundlegender" verwendet hat. Das Adjektiv hat möglicherweise keine genau definierte mathematische Bedeutung, aber was? Ich spreche (einige) ) Auch Englisch. Jedes PDF, das wir kennen, hat eine zugrunde liegende CDF. Hier hat "zugrunde liegende" eine nette Assoziation mit "fundamental". Das Gegenteil ist nicht wahr.

A = {R, \emptyset}

$\mathcal A=\{\mathbb R,\varnothing\}$

R

$\mathbb R$

P ((- \infty, x])

$P((-\infty,x])$

drhab

@drhab, natürlich habe ich über das Radon-Nikodym-Derivat gesprochen :) Ich verstehe auch perfekt, was Professor im Sinn hatte, aber meiner Meinung nach ist es gefährlich, solche Ausdrücke bei Studenten zu verwenden, weil dann statt zu versuchen, den Unterschied zwischen den beiden zu verstehen Sie versuchen, mathematische Konzepte nach der Fundamentalität zu ordnen, was grundsätzlich falsch ist. Wortspiel beabsichtigt.

mpiktas

@mpiktas: Klar, es gibt keine genaue Definition von "fundamental". Aber es gibt einen großen Mittelweg zwischen „streng definiert“ und „völlig bedeutungslos“. In unserer Mathematik selbst muss natürlich am Ende alles absolut streng sein, daher gewöhnen wir uns sehr daran, alles niederzuschlagen, was nicht ist. Aber wenn wir über Mathematik sprechen und nachdenken , haben wir auch subjektive, aber bedeutungsvolle Begriffe wie „grundlegend“, „allgemein“ usw., genau wie alle anderen auch. und das ist ok

PLL

Antworten:

Jede Wahrscheinlichkeitsverteilung auf (einer Teilmenge von) hat eine kumulative Verteilungsfunktion und definiert die Verteilung eindeutig. In diesem Sinne ist die CDF in der Tat so grundlegend wie die Distribution selbst. $\mathbb R^n$

Eine Wahrscheinlichkeitsdichtefunktion existiert jedoch nur für (absolut) kontinuierliche Wahrscheinlichkeitsverteilungen . Das einfachste Beispiel für eine Verteilung ohne PDF ist eine diskrete Wahrscheinlichkeitsverteilung , z. B. die Verteilung einer Zufallsvariablen, die nur ganzzahlige Werte annimmt.

Natürlich können solche diskreten Wahrscheinlichkeitsverteilungen stattdessen durch eine Wahrscheinlichkeitsmassenfunktion charakterisiert werden , aber es gibt auch Verteilungen, die weder PDF noch eine PMF haben, wie etwa eine beliebige Mischung aus einer kontinuierlichen und einer diskreten Verteilung:

^{(Diagramm, das schamlos aus Glen_bs Antwort auf eine verwandte Frage gestohlen wurde .)}

Es gibt sogar singuläre Wahrscheinlichkeitsverteilungen , wie die Cantor-Verteilung , die nicht einmal durch eine Kombination von PDF und PMF beschrieben werden können. Solche Distributionen haben jedoch immer noch eine gut definierte CDF. Hier ist zum Beispiel die CDF der Cantor-Distribution, manchmal auch "Devil's staircase" genannt:

^{( Bild aus Wikimedia Commons der Benutzer Theon und Amirki , verwendet unter CC-By-SA 3.0 Lizenz.)}

Die als Cantor-Funktion bekannte CDF ist kontinuierlich, aber nicht absolut kontinuierlich. Tatsächlich ist es überall konstant, außer bei einem Cantor-Satz von null Lebesgue-Maßen, der aber immer noch unendlich viele Punkte enthält. Somit konzentriert sich die gesamte Wahrscheinlichkeitsmasse der Cantor-Verteilung auf diese verschwindend kleine Teilmenge der reellen Zahlengeraden, aber jeder Punkt in der Menge hat immer noch eine Wahrscheinlichkeit von Null.

Es gibt auch Wahrscheinlichkeitsverteilungen, die keine momenterzeugende Funktion haben . Das wohl bekannteste Beispiel ist die Cauchy-Verteilung , eine Fettschwanzverteilung die keine genau definierten Momente in der Größenordnung 1 oder höher aufweist (also insbesondere keinen genau definierten Mittelwert oder Varianz!).

Alle Wahrscheinlichkeitsverteilungen auf haben jedoch eine (möglicherweise komplexwertige) charakteristische Funktion , deren Definition sich von derjenigen des MGF nur durch eine Multiplikation mit der imaginären Einheit unterscheidet . Somit kann die charakteristische Funktion als so grundlegend angesehen werden wie die CDF. $\mathbb R^n$

Ilmari Karonen
quelle

Sie sagen, dass jede Distribution CDF hat, aber nicht jede PDF, aber tatsächlich gibt es Distributionen, die PDFs haben und keine CDFs in geschlossener Form, zB multivariate Normal.

Tim

@Tim: Das stimmt, aber nur mit dem Qualifier "closed form"; Die CDF existiert immer noch, auch wenn wir sie nicht in geschlossener Form schreiben können. Und in jedem Fall ist die Definition eines " Ausdrucks in geschlossener Form " notorisch unklar; Nach einigen strengen Definitionen hat sogar die univariate Normalverteilung kein geschlossenes CDF, aber wenn Sie die Fehlerfunktion als geschlossen betrachten, ist dies auch der Fall.

Ilmari Karonen

@ Tim Es ist kein Gegenbeispiel. Es ist eine beliebige Eigenschaft, die Sie als wichtig / grundlegend für Sie ausgewählt haben. Für mich ist die Eigenschaft "existiert" wichtiger als "hat geschlossene Form". Mehr noch, "existiert immer" im Vergleich zu "hat manchmal nicht die geschlossene Form, genau wie jede andere Funktion".

Ark-Kun

[0, 1] \subset R

$[0,1] \subset \Bbb{R}$

@ Ark-Kun Ich spiele Devils Advocate hier, da es Fälle gibt, in denen PDF etwas "direkter verfügbarer" als CDF ist. Ich mag diese Antwort (+1), aber meiner Meinung nach ist dies etwas, das auch erwähnt werden könnte.

Tim

Ich glaube, Ihr Ökonometrieprofessor hat etwas in die folgende Richtung gedacht.

$F$ $[0, 1]$

F (X) = \frac{1}{2} X zum X < \frac{1}{2}

$F(x) = \frac{1}{2}x \ \text{for} \ x < \frac{1}{2}$

F (X) = \frac{1}{2} X + \frac{1}{2} zum X \geq \frac{1}{2}

$F(x) = \frac{1}{2}x + \frac{1}{2} \ \text{for} \ x \geq \frac{1}{2}$

$[0, 1]$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

$f$

Nach der Definition eines PDF müssen wir haben

\int_{0}^{X} f (t) d t = F (X) - F (0) = \frac{1}{4} X

$\int_0^x f(t) dt = F(x) - F(0) = \frac{1}{4}x$

$0 < x < \frac{1}{2}$

f (X) = \frac{1}{4} zum X < \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x < \frac{1}{2}$

$x > \frac{1}{2}$

f (X) = \frac{1}{4} zum X > \frac{1}{2}

$f(x) = \frac{1}{4} \ \text{for} \ x > \frac{1}{2}$

$f$ $f\left(\frac{1}{2}\right)$ $f\left(\frac{1}{2}\right)$

P ({\frac{1}{2}}) = \frac{1}{2}

$P\left(\left\{\frac{1}{2}\right\}\right) = \frac{1}{2}$

wir würden brauchen

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t > \frac{1}{2}

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt > \frac{1}{2}$

$\frac{1}{2}$

\int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} f (t) d t = \int_{\frac{1}{2} - ϵ}^{\frac{1}{2} + ϵ} \frac{1}{4} d t = \frac{1}{2} ϵ

$\int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} f(t) dt = \int_{\frac{1}{2} - \epsilon}^{\frac{1}{2} + \epsilon} \frac{1}{4} dt = \frac{1}{2} \epsilon$

$f$

Sie können den Geist einer PDF-Datei wiederherstellen, müssen jedoch komplexere mathematische Objekte verwenden, entweder eine Kennzahl oder eine Verteilung .

Matthew Drury
quelle

\frac{1}{2} δ (x - \frac{1}{2})

$\frac{1}{2} \delta \left(x-\frac{1}{2}\right)$

δ (x)

$\delta(x)$

x = 0

$x=0$

\int_{- \infty}^{+ \infty} δ (X) d X = 1

$\int\limits_{-\infty}^{+\infty} \delta(x) \,\mathrm{d}x = 1$

L^{1}

$L^1$

@IwillnotexistIdonotexist Was whuber sagte, ist, was ich in der letzten Zeile angedeutet habe. Ich habe das Wort "Distribution" verwendet.

Matthew Drury

1 / 2

$1/2$

1 / 2

$1/2$

Ilmari gibt aus theoretischer Sicht eine gute Antwort. Man kann sich aber auch fragen, zu welchen Zwecken die Dichte (pdf) und die Verteilungsfunktion (pdf) für praktische Berechnungen dienen. Dies könnte klarstellen, für welche Situationen eine direkter nützlich ist als die andere.

$\mathbb{R}$ $(-\infty,x]$ $-$ $-$

Die Dichte ist jedoch für die Statistik von wesentlicher Bedeutung, da die Wahrscheinlichkeit anhand der Dichte definiert wird. Wenn wir also die Maximum-Likelihood-Schätzung berechnen möchten, benötigen wir direkt die Dichte.

Wenn wir uns dem Vergleich einer empirischen und einer theoretischen Verteilung zuwenden, können beide nützlich sein, aber Methoden wie pp- und qq-Diagramme, die auf der Verteilungsfunktion basieren, werden oft bevorzugt.

$\mathbb{R}^d$ $d \geq 2$

NRH
quelle