11

Angenommen, $Y$ ist eine kontinuierliche Zufallsvariable und $X$ ist eine diskrete.

Pr (X = x | Y = y) = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}$

Wie wir wissen, ist $\Pr(Y=y) = 0$ weil $Y$ eine kontinuierliche Zufallsvariable ist. Und auf dieser Grundlage bin ich versucht zu schließen, dass die Wahrscheinlichkeit $\Pr(X=x|Y=y)$ undefiniert ist.

Jedoch behauptet Wikipedia hier , dass es tatsächlich wie folgt definiert ist:

Pr (X = x | Y = y) = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$

Frage: Wie hat Wikipedia es geschafft, diese Wahrscheinlichkeit zu definieren?

Mein Versuch

Hier ist mein Versuch, dieses Wikipedia-Ergebnis in Bezug auf Grenzen zu erhalten:

\begin{aligned} Pr (X = x | Y = y) & = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \end{aligned}

$\begin{split}\require{cancel} \Pr(X=x|Y=y) &= \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(d \times f_{Y|X=x}(y)\big)}{\big(d \times f_Y(y)\big)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(\cancel{d} \times f_{Y|X=x}(y)\big)}{\big(\cancel{d} \times f_Y(y)\big)}\\ &= \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}\\ \end{split}$

Nun scheint als , was übereinstimmt diese Wikipedia behaupten. $\Pr(X=x|Y=y)$ $\frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$

Hat Wikipedia das so gemacht?

Aber ich habe immer noch das Gefühl, dass ich hier Kalkül missbrauche. Ich denke also, dass undefiniert ist, aber in der Grenze, in der wir uns so nah wie möglich nähern, um und , aber nicht augenblicklich, dann ist definiert. $\Pr(X=x|Y=y)$ $\Pr(Y=y)$ $\Pr(Y=y|X=x)$ $\Pr(X=x|Y=y)$

Aber ich bin mir in vielen Dingen weitgehend unsicher, einschließlich des Limits-Tricks, den ich dort gemacht habe. Ich habe das Gefühl, dass ich die Bedeutung dessen, was ich getan habe, vielleicht nicht einmal vollständig verstehe.

conditional-probability pdf Höhlenmensch
quelle

1

In der Tat ist Pr (X = x) = 0, aber die Dichte von X in xf (x) ist möglicherweise nicht gleich 0. Sollten Sie nicht die Bezeichnung "Selbststudium" verwenden?

Lil'Lobster

2

@Lil Soweit ich weiß, ist das "Selbststudium" -Tag beim Lösen von Hausaufgaben. Ich tue das nicht.

Höhlenmensch

1

Die Wikipedia-Seite bezieht sich tatsächlich auf die Ableitung: en.wikipedia.org/wiki/Bayes'_theorem#Derivation

Ytsen de Boer

3

Ich fürchte, Ihre Ableitung hat keine mathematische Rechtfertigung als für alle wenn stetig ist.

P (Y = y) = 0

$\mathbb{P}(Y=y)=0$

y \in Y

$y\in\mathcal{Y}$

Y

$Y$

Xi'an

10

Die bedingte Wahrscheinlichkeitsverteilung , , wird formal als Lösung der Gleichung wobei die Algebra bezeichnet, die mit der Verteilung von . Eine dieser Lösungen liefert die in Wikipedia angegebene Bayes-Formel (1763) : $\mathbb{P}(X=x|Y=y)$ $x\in\mathcal{X}$ $y\in\mathcal{Y}$

P (X = x, Y \in A) = \int_{A} P (X = x | Y = y) f_{Y} (y) d y \forall A \in σ (Y)

$\mathbb{P}(X=x,Y\in A)=\int_{A}\mathbb{P}(X=x|Y=y)f_Y(y)\text{d}y\quad\forall A\in\sigma(\mathcal{Y})$

σ (Y)

$\sigma(\mathcal{Y})$

σ

$\sigma$

Y

$Y$

P (X = x | Y = y) = \frac{P (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \forall x \in X, y \in Y

$\mathbb{P}(X=x|Y=y) = \dfrac{\mathbb{P}(X=x) f_{Y|X=x}(y)}{f_Y(y)}\qquad\forall x\in\mathcal{X},\ y\in\mathcal{Y}$ Es sind jedoch auch Versionen gültig, die auf einem in festgelegten Maß-Null-Satz willkürlich definiert sind.

σ (Y)

$\sigma(\mathcal{Y})$

Das Konzept einer bedingten Wahrscheinlichkeit in Bezug auf eine isolierte Hypothese, deren Wahrscheinlichkeit gleich 0 ist, ist unzulässig. Denn eine Wahrscheinlichkeitsverteilung für [den Breitengrad] auf dem Meridian-Kreis können wir nur erhalten, wenn wir diesen Kreis als ein Element der Zerlegung der gesamten sphärischen Oberfläche auf Meridian-Kreise mit den gegebenen Polen betrachten - Andrei Kolmogorov

Wie das Borel-Kolmogorov-Paradoxon zeigt , hat die bedingte Wahrscheinlichkeitsverteilung bei einem bestimmten Wert möglicherweise , keine genaue Bedeutung, nicht nur, weil das Ereignis ist vom Maß Null, aber auch, weil dieses Ereignis als messbar gegen einen unendlichen Bereich von Algebren interpretiert werden kann . $y_0$ $Y$ $\mathbb{P}(X=x|Y=y_0)$ $\{\omega;\,Y(\omega)=y_0\}$ $\sigma$

Hinweis: Hier ist eine noch formellere Einführung aus einer Überprüfung der Wahrscheinlichkeitstheorie in Terry Taos Blog :

Definition 9 (Disintegration) Let eine Zufallsvariable mit Bereich . Eine Auflösung des zugrunde liegenden Probenraums in Bezug auf ist eine Teilmenge von mit vollem Maß in (also fast sicher), zusammen mit der Zuweisung eines Wahrscheinlichkeitsmaßes im Unterraum von für jedes , was in dem Sinne messbar ist, dass die Karte $Y$ $R$ $(R', (\mu_y)_{y \in R'})$ $\Omega$ $Y$ $R'$ $R$ $\mu_Y$ $Y \in R'$ ${\bf P}(|Y=y)$ $\Omega_y := \{ \omega \in \Omega: Y(\omega)=y\}$ $\Omega$ $y \in R$ $y \mapsto {\bf P}(F|Y=y)$ ist für jedes Ereignis messbar und so, dass für alle derartigen Ereignisse gilt, wobei ist die (fast sicher definierte) Zufallsvariable, die definiert ist, um immer wenn . $F$
$P (F) = E P (F | Y)$ $\displaystyle {\bf P}(F) = {\bf E} {\bf P}(F|Y)$ ${\bf P}(F|Y)$ ${\bf P}(F|Y=y)$ $Y=y$
Bei einer solchen Auflösung können wir dann für jedes das Ereignis konditionieren indem wir durch den Unterraum (durch die induzierte ) ersetzen, aber das zugrunde liegende Wahrscheinlichkeitsmaß ersetzen mit . Wir können also (bedingungslose) Ereignisse und Zufallsvariablen auf dieses Ereignis konditionieren, um konditionierte Ereignisse und Zufallsvariablen auf dem konditionierten Raum zu erzeugen , was zu bedingten Wahrscheinlichkeiten $Y=y$ $y \in R'$ $\Omega$ $\Omega_y$ $\sigma$ ${\bf P}$ ${\bf P}(|Y=y)$ $F$ $X$ $(F|Y=y)$ $(X|Y=y)$ ${\bf P}(F|Y=y)$ (was mit der vorhandenen Notation für diesen Ausdruck übereinstimmt) und bedingte Erwartungen (unter der Annahme einer absoluten Integrierbarkeit in diesem konditionierten Raum). Wir setzen dann als die (fast sicher definierte) Zufallsvariable, die definiert ist, um wann immer . ${\bf E}(X|Y=y)$ ${\bf E}(X|Y)$ ${\bf E}(X|Y=y)$ $Y=y$

Xi'an
quelle

1

Schon + 1, aber ... vielleicht ist es ein Trottel, aber wäre es nicht genauer, den Bayes-Satz als Formel von Bayes / Laplace zu bezeichnen?

Tim

2

@ Tim: Danke, aber ich möchte nicht übermäßig chauvinistisch klingen! Und es ist eine Tatsache, dass die Bayes-Formel für diskret (Binomial) und stetig (Beta) in Bayes (1763) -Papier erscheint. Natürlich hat Laplace das Ergebnis in einer viel breiteren Allgemeinheit festgelegt.

X

$X$

Y

$Y$

Xi'an

4

Ich werde eine Skizze geben, wie die Teile zusammenpassen können, wenn kontinuierlich und diskret ist. $Y$ $X$

Die gemischte Fugendichte:

f_{X Y} (x, y)

$f_{XY}(x,y)$

Grenzdichte und Wahrscheinlichkeit:

f_{Y} (y) = \sum_{x \in X} f_{X Y} (x, y)

$f_Y(y) = \sum_{x \in X} f_{XY}(x, y)$

P (X = x) = \int f_{X Y} (x, y) d y

$P(X = x) = \int f_{XY}(x, y) \;dy$

Bedingte Dichte und Wahrscheinlichkeit:

f_{Y ∣ X} (y ∣ X = x) = \frac{f_{X Y} (x, y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{f_{XY}(x, y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{X Y} (x, y)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{XY}(x, y)}{f_Y(y)}$

Bayes-Regel:

f_{Y ∣ X} (y ∣ X = x) = \frac{P (X = x ∣ Y = y) f_{Y} (y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{P(X=x \mid Y = y) f_Y(y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{Y ∣ X} (y ∣ X = x) P (X = x)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{Y\mid X}(y \mid X = x)P(X=x)}{f_Y(y)}$

Natürlich ist die moderne, rigorose Art, mit Wahrscheinlichkeit umzugehen, die Maßtheorie. Eine genaue Definition finden Sie in Xi'ans Antwort.

Matthew Gunn
quelle

2

Beachten Sie, dass der Wikipedia-Artikel tatsächlich die folgende Definition verwendet: Das heißt, es ist behandelt das Ergebnis als Dichte, nicht als Wahrscheinlichkeit, wie Sie es haben. Ich würde also sagen, Sie haben Recht, dass undefiniert ist, wenn stetig und diskret ist, weshalb wir in diesem Fall stattdessen nur Wahrscheinlichkeitsdichten über berücksichtigen .

f_{X} (x | Y = y) = \frac{P (Y = y | X = x) f_{X} (x)}{p (Y = y)}

$f_X(x|Y=y) = \frac{P(Y=y|X=x)f_X(x)}{p(Y=y)}$

P (X = x | Y = y)

$P(X=x|Y=y)$

X

$X$

Y

$Y$

X

$X$

Bearbeiten: Aufgrund einer Verwirrung über die Notation (siehe Kommentare) bezieht sich das Obige tatsächlich auf die entgegengesetzte Situation zu der, nach der der Höhlenmensch gefragt hat.

Ruben van Bergen
quelle

Wie ist

Mein Versuch

Antworten: