Gaußsche Wahrscheinlichkeit + welcher Prior = Gaußscher Rand?

8

Bei gegebener Gaußscher Wahrscheinlichkeit für eine Stichprobe wie wobei der Parameterraum und , beliebige Parametrisierungen des mittleren Vektors und der Kovarianzmatrix. $y$

p (y | θ) = N (y; μ (θ), Σ (θ))

$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$

Θ

$\Theta$

μ (θ)

$\mu(\theta)$

Σ (θ)

$\Sigma(\theta)$

Ist es möglich, eine vorherige Dichte und eine Parametrisierung des mittleren Vektors und der Kovarianzmatrix so anzugeben, dass die Grenzwahrscheinlichkeit ist eine Gaußsche Wahrscheinlichkeit? $p(\theta)$ $\mu(\theta)$ $\Sigma(\theta)$

p (y) = \int_{θ \in Θ} N (y; μ (θ), Σ (θ)) p (θ) d θ

$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$

Ich denke, ohne die triviale Lösung, dass die Kovarianz bekannt ist, $\Sigma(\theta)=\Sigma$ , wobei $\Sigma$ eine willkürliche feste Kovarianzmatrix ist, ist dies nicht möglich.

Für den Sonderfall $\mu(\sigma^2)=\mu$ und $\Sigma(\sigma^2)=\sigma^2$ ist $y$ eindimensional und $p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$ , wobei $\mathcal{U}(\sigma^2;a,b)$ die einheitliche Dichte bezeichnet, die ich zeigen kann:

\begin{aligned} p (y) & = \int_{0}^{\infty} N (y; μ, σ^{2}) U (σ^{2}; a, b) d σ^{2} \\ = \frac{1}{b - a} \underset{not a Gaussian density}{\underset{⏟}{\int_{a}^{b} N (y; μ, σ^{2})}} \end{aligned}

$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$

Die akzeptierte Antwort enthält einen formellen oder informellen Beweis oder Hinweise darauf.

normal-distribution mixed-model prior marginal conjugate-prior Julian Karls
quelle

2

Ihre Vermutung scheint zu stimmen: Nur eine konstante Varianz kann zu einem normalen Spielraum führen. Mein Beweis beschränkt sich auf den Fall, dass die Erwartung bekannt ist und daher als Null angenommen werden kann. Für den allgemeinen Fall scheinen differenziertere Argumente aus der Funktionsanalyse erforderlich zu sein. $\boldsymbol{\mu}$

Beachten Sie, dass es sich bei der Frage tatsächlich um eine kontinuierliche Mischung von Normalen sowie um Bayes handelt. Die Aussage hat hier bewiesen, dass eine (kontinuierliche) Mischung von Normalen nur für eine triviale Mischung normal sein kann.

Betrachten Sie zunächst den Fall einer eindimensionalen Normalen mit dem bekannten Mittelwert und dem Präzisionsparameter . Ohne Verlust der Allgemeinheit können wir annehmen, dass der Parameter die Genauigkeit selbst ist. Wenn die Randverteilung von normal ist, dann ist eine normale Dichte bis zu einer multiplikativen Konstante. Diese Dichte, die eine gerade Funktion von muss die Form für einige und einige konstante annehmen . Da dies für jedes $\mu = 0$ $\omega := 1 / \Sigma >0$ $\boldsymbol{\theta}$ $\omega$ $y$ $\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$ $y$ $c\exp\{ -y^2 \omega_0 / 2\}$ $\omega_0 >0$ $c >0$ $y$ wir erhalten mit für alle , was zeigt, dass das endliche Maß mit der Dichtefunktion ist proportional zur Dirac-Masse bei da diese beiden Maße dieselbe Laplace-Transformation bis zu einer multiplikativen Konstante haben. Somit ist fast sicher (as) gleich . $s := y^2$

\int_{0}^{\infty} \exp {- s ω / 2} ω^{1 / 2} p (ω) d ω = c \exp {- s ω_{0} / 2}

$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$

s \geq 0

$s \geq 0$

ω \mapsto ω^{1 / 2} p (ω)

$\omega \mapsto \omega^{1/2} p(\omega)$

ω_{0}

$\omega_0$

ω

$\omega$

ω_{0}

$\omega_0$

Dieser Beweis erstreckt sich auf die dimensionale Normale mit der mittleren Null und der Präzisionsmatrix . Der Rand schreibt dann als wobei sich das Integral auf der Menge des positiven bestimmten symmetrischen Matrizen. Wenn dieses Integral mit identisch ist, nehmen Sie für einen Skalar und einen beliebigen Vektor $d$ $\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$ $\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$ $\mathcal{P}$ $d \times d$ $c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$ $\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$ $s \geq 0$ $\mathbf{u}$ , wir finden wie oben, dass gleich , was zeigt, dass gleich . Der Beweis funktioniert auch dann, wenn das Maß, das zweckmäßigerweise mit der Dichte sich auf eine Teilmenge von mit dem Lebesgue-Maß Null konzentriert. weil das Laplace-Transformationsargument weiterhin gilt. Der Beweis funktioniert also für eine allgemeine Parametrisierung der Präzisionsmatrix (oder Varianzmatrix). $\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$ $\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$ $\boldsymbol{\Omega}$ $\boldsymbol{\Omega}_0$ $|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$ $\mathcal{P}$

Yves
quelle

Ich habe Ihren Beweis noch nicht vollständig verstanden. Im Vergleich zu Jacky1s Antwort scheint es relativ komplex zu sein. Was denkst du über seinen Beweis?

Julian Karls

Nun, ich konnte nicht verstehen, wie der Prior in Jackys Antwort von abhängen kann . Seine Aussage, wie ich sie verstehe, ist jedoch falsch - ich habe zuerst den gleichen Fehler gemacht :) In der Tat ist nicht unbedingt konstant, und wenn die Varianz konstant ist, kann immer noch normal sein, was leicht durch Ausfüllen eines Quadrats überprüft werden kann. Ich habe jetzt einen Beweis für den unabhängigen vorherigen Fall (der Einfachheit halber eindimensional) und hoffe, ihn bald aufzuschreiben, vielleicht als neue Antwort. Die Varianz muss konstant sein und muss normal sein (möglicherweise entartet).

y

$y$

μ

$\mu$

μ

$\mu$

Σ

$\Sigma$

μ

$\mu$

Yves

Könnten Sie Ihre Argumentation in dem Absatz erweitern, der mit "Da dies für jedes und mit" (as) gleich " ? Vielleicht mit Zeigern auf die Sätze, die Sie verwenden?

y

$y$

ω_{0}

$ω_0$

Julian Karls

1

Angenommen, und sind a priori unabhängig und hat einen normalen Spielraum mit dem Mittelwert und der Varianz . Ich werde beweisen, dass dann die Varianz konstant sein muss und der Mittelwert einen normalen Prior haben muss (möglicherweise entartet). $\mu$ $\Sigma$ $y$ $\mu_0$ $\Sigma_0$ $\Sigma$ $\mu$

Ich werde mich der Einfachheit halber an den eindimensionalen Fall halten und die charakteristische Funktion (vgl.) Von , dh . Wir wissen, dass } und eine ähnliche Formel für die Verteilung von , die von und abhängig ist , was unter der Annahme normal ist. Also für jedes echte und indem wir das Integral neu anordnen, müssen wir haben $y$ $\phi_y(t) := \mathbb{E}[e^{yit}]$ $\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$ $y$ $\mu$ $\Sigma$ $t$

E [e^{y i t}] = \int E [e^{y i t} | μ, Σ] p (μ) p (Σ) d μ d Σ = \int \exp {μ i t - Σ t^{2} / 2} p (μ) p (Σ) d μ d Σ,

$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$

\exp {μ_{0} i t - Σ_{0} t^{2} / 2} = [\int \exp {μ i t} p (μ) d μ] [\int \exp {- Σ t^{2} / 2} p (Σ) d Σ] .

$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$ Die für eine solche Umlagerung erforderlichen Annahmen lassen sich leicht überprüfen.

Das erste Integral auf der rechten Seite, sagen wir , ist das cf von . Da als real befunden wird, sehen wir, dass die Verteilung von symmetrisch zu ist und daher , wie es erwartet worden sein könnte. $\phi_1(t)$ $\mu$ $\phi_1(t) e^{-\mu_0 it}$ $\mu$ $\mu_0$ $\mathbb{E}[\mu] = \mu_0$

Nun stellt sich heraus, dass das zweite Integral auf der rechten Seite, beispielsweise , ebenfalls ein cf ist. Um dies zu sehen, müssen wir überprüfen, ob , dass bei stetig ist und auch, dass die Funktion positiv definit ist (pd). Die erste Anforderung ist offensichtlich, die zweite wird durch dominierte Konvergenz bewiesen. Wenden wir uns nun der pd-Anforderung zu: Wenn die vorherige Verteilung, die als eine Dirac-Masse ist, dann ist pd, weil dann das cf einer Normalverteilung ist. Wenn der Prior eine diskrete Mischung von Dirac-Massen ist, gilt dies auch seit $\phi_2(t)$ $\phi_2(0) = 1$ $\phi_2$ $t=0$ $\phi_2$ $p(\Sigma)\text{d}\Sigma$ $\phi_2$ $\phi_2$ $\phi_2$ dann ist das cf einer Mischung von Normalen. Durch ein Kontinuitätsargument sehen wir, dass pd ist $\phi_2$

Verwenden wir nun den mächtigen Lévy-Cramér-Satz, der besagt, dass beide Funktionen für , die Form mit real und . Also muss normal (möglicherweise entartet) mit dem Mittelwert . Durch einfache Algebra haben wir dann das für jedes echte . Da jedes nicht negative reelle als 2/2 schreibt , sehen wir, dass die Laplace-Transformation des Prior von $\phi_j$ $j=1$ $2$ $\exp\{a_j i t - b_jt^2 /2 \}$ $a_j$ $b_j \geq 0$ $\mu$ $a_1 = \mu_0$

\exp {- (Σ_{0} - b_{1}) t^{2} / 2} = \int_{0}^{\infty} \exp {- Σ t^{2} / 2} p (Σ) d Σ

$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$

t

$t$

t^{2} / 2

$t^2/2$

Σ

$\Sigma$ muss gleich der Dirac-Masse bei und wir sind fertig.

Σ_{0} - b_{1}

$\Sigma_0 - b_1$

Yves
quelle

Danke für deinen Einsatz. Ich werde einige Zeit brauchen, um das zu verstehen.

Julian Karls

0

Ich habe einen Beweisvorschlag für Sie, aber Sie müssen ihn überprüfen.

Angenommen, die marginale Wahrscheinlichkeit ist Gaußsch:

$p(y)=\mathcal{N}(y,m,\Gamma)$

dann kann die vorherige Dichte definiert werden durch

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

wobei und auf prüft . ( ist ). $f$ $\int_{\theta\in\Theta}f(\theta)d\theta =1$ $f(\theta)\geq 0$ $\theta\in\Theta$ $f(\theta)$ $p(\theta|y)$

Um eine Dichte zu sein, muss das Integral der vorherigen Dichte auf gleich 1 sein. Mit anderen Worten, $p(\theta)$ $\Theta$

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$ .

Es führt zu

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

Diese Gleichheit ist genau dann wahr, wenn und . $\mu(\theta)=m$ $\Sigma(\theta)=\Gamma$

Jacky1
quelle

2

Ich mag die Beweisidee. Ich bin mir ziemlich sicher, dass alle Schritte bis auf den letzten gültig sind. Sicherlich ist das Integral zweier Funktionen gleich, wenn die Funktionen gleich sind, aber dies ist keine notwendige Bedingung. Verwenden Sie dort einen anderen Satz?

Julian Karls

Wenn Sie durch Bayes in Ihrer ersten Formel für durch seine Definition ersetzen , wird . Aus dieser Ungleichung folgt sicherlich nichts.

p (θ | y)

$p(\theta|y)$

p (θ)

$p(\theta)$

p (θ) = p (θ)

$p(\theta)=p(\theta)$

Julian Karls

Gaußsche Wahrscheinlichkeit + welcher Prior = Gaußscher Rand?

Antworten: