Können vollständige Bedingungen die gemeinsame Verteilung bestimmen?

Diese scheinbar einfache Frage ist tiefer als sie aussieht und führt uns bis zum Hammersley-Clifford-Theorem. Die Tatsache, dass wir die gemeinsame Verteilung aus den vollständigen Bedingungen wiederherstellen können, macht den Gibbs-Sampler möglich. Es kann als überraschendes Ergebnis angesehen werden, wenn wir uns daran erinnern, dass die Ränder die gemeinsame Verteilung nicht bestimmen.

Mal sehen, was passiert, wenn wir formal mit den bekannten Definitionen der Gelenk-, Bedingungs- und Randdichten rechnen. Da wir haben und wir können die formal aus den vollständigen Bedingungen wiederherstellen, wodurch

f_{X., Y.} (x, y) = f_{X. ∣ Y.} (x ∣ y) f_{Y.} (y) = f_{Y. ∣ X.} (y ∣ x) f_{X.} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

\int \frac{f_{Y. ∣ X.} (y ∣ x)}{f_{X. ∣ Y.} (x ∣ y)} d y = \int \frac{f_{Y.} (y)}{f_{X.} (x)} d y = \frac{1}{f_{X.} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X., Y.} (x, y) = \frac{f_{Y. ∣ X.} (y ∣ x)}{\int f_{Y. ∣ X.} (y ∣ x) /. f_{X. ∣ Y.} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Das Problem bei dieser formalen Berechnung besteht darin, dass angenommen wird, dass alle beteiligten Objekte vorhanden sind.

Stellen Sie sich zum Beispiel vor, was passiert, wenn Daraus folgt, dass und das Integral im Nenner von divergiert.

X. ∣ Y. = y \sim Exp (y) und Y. ∣ X. = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

Um sicherzustellen, dass wir die Verbindungsdichte mit aus den vollständigen Bedingungen wiederherstellen können, benötigen wir die in diesem Dokument beschriebenen Kompatibilitätsbedingungen: $(*)$

"Compatible Conditional Distributions", Barry C. Arnold und S. James Press, Journal der American Statistical Association, Vol. 3, No. 84, Nr. 405 (1989), S. 152-156.

Lesen Sie abschließend die Diskussion zum Hammersley-Clifford-Theorem in Robert und Casellas Buch

Zen
quelle

Können Sie klarstellen, was unter "das Integral ... existiert" zu verstehen ist? Hier scheint es zwei verschiedene Probleme zu geben, nämlich (i) Existiert das Integral oder nicht? und (ii) wenn das Integral existiert, ist sein Wert ? Oder sagen Sie, dass immer dann, wenn und bedingte Dichten haben, so dass existiert , dann muss es sein, dass der Wert des Integrals ?

\int \frac{f_{Y. ∣ X.} (y ∣ x)}{f_{X. ∣ Y.} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y. ∣ X.} (y ∣ x)}{f_{X. ∣ Y.} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

Dilip Sarwate

Danke, @Zen! und können bestimmen , und und können auch bestimmen . (1) Welches liefert mehr Informationen, oder ? (2) Welche liefert weniger redundante / überlappende Informationen mit , oder ? (3) einer von ihnen aus und bereits die Informationen des anderen (was ich bezweifle, weil dies bedeuten würde, dass einer zum anderen führt)? Ich denke, es ist der "Schnittpunkt" zwischen den Informationen von und von

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$ , die zusammen mit bestimmt .

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

Tim

Hallo Tim. stellt Ihnen die Unsicherheit über , während Ihre Unsicherheit über repräsentiert , da Sie den Wert kennen . "Welches enthält mehr Informationen?" ist keine einfache Frage. Wenn und kompatibel sind (im Sinne von Arnold und Press), bestimmen sie bis .

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

Zen

Ich habe derzeit mit dem gleichen Problem zu kämpfen. Ich bin etwas verwirrt über die Notwendigkeit kompatibler bedingter Verteilungen, da diese in keiner (zumindest in den von mir gelesenen) Einführung in Gibbs Sampling erwähnt werden. Oder besteht die Notwendigkeit kompatibler bedingter Verteilungen nur dann, wenn versucht wird, die gemeinsamen Verteilungen formal wiederherzustellen, z. B. durch (*). -> nicht annähernd die gemeinsame Verteilung durch Gibbs-Probenahme?

Sklingel

In einer regulären Gibbs-Stichprobeneinstellung, die auf ein statistisches Problem angewendet wird, nehmen Sie an, dass die Gelenkwahrscheinlichkeitsverteilung (posterior) vorhanden ist, sodass die aus dieser Gelenkverteilung abgeleiteten vollständigen Bedingungen kompatibel sind. Außerhalb dieses Falles ist die Gibbs-Abtastung bedeutungslos.

Xi'an

Können vollständige Bedingungen die gemeinsame Verteilung bestimmen?

Antworten: