Beziehung zwischen der Summe der Gaußschen RVs und der Gaußschen Mischung

13

Ich weiß, dass eine Summe von Gaußschen Gaußschen ist. Wie unterscheidet sich eine Mischung aus Gaußschen?

Ich meine, eine Mischung von Gaußschen ist nur eine Summe von Gaußschen (wobei jeder Gaußsche mit dem jeweiligen Mischungskoeffizienten multipliziert wird), oder?

normal-distribution random-variable mixture gaussian-mixture njk
quelle

7

Eine Mischung von Gaußschen ist eine gewichtete Summe von Gaußschen Dichten , keine gewichtete Summe von Gaußschen Zufallsvariablen.

Wahrscheinlichkeitsrechnung

7

Eine gewichtete Summe von Gaußschen Zufallsvariablen $X_1,\ldots,X_p$

\sum_{i = 1}^{p} β_{i} X_{i}

$\sum_{i=1}^p \beta_i X_i$ ist eine Gaußsche Zufallsvariable : wenn

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$ dann

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Eine Mischung aus Gaußschen Dichten hat eine Dichte als eine gewichtete Summe von Gaußschen gegebenen Dichten : , die fast immer nicht gleich einer Gaußschen Dichte. Siehe z. B. die blaue geschätzte Gemischdichte unten (wobei das gelbe Band ein Maß für die Variabilität des geschätzten Gemisches ist):

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{ich}, σ_{ich})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ Bildbeschreibung hier eingeben

[Quelle: Marin und Robert, Bayesian Core , 2007]

Eine Zufallsvariable mit dieser Dichte, kann dargestellt werden als wobei und ist Multinomial mit $X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$ :

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

Xi'an
quelle

3

Und hier ist ein R-Code, der die Antwort von @ Xi'an ergänzt:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

enter image description here

alberto
quelle

1

Die Verteilung der Summe unabhängiger Zufallsvariablen ist die Faltung ihrer Verteilungen. Wie Sie bemerkt haben, ist die Faltung von zwei Gaußschen zufällig eine Gaußsche.

$X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

Enth
quelle

Vielen Dank Ich weiß, dass das folgende Beispiel von Natur aus falsch ist, aber es könnte trotzdem interessant sein: Nehmen wir an, wir haben eine spezielle Art von "Mischung" (wenn wir es immer noch als "Mischung" bezeichnen können) mit 2 Gaußschen Dichten, bei denen die Mischungskoeffizienten Entsprechen beide 1, wäre das die gleiche Summe von Gaußschen Wohnmobilen?

njk

Nein, obwohl Ihr Mischungs-RV in diesem Fall Gauß ist, hätte das Summen-RV eine größere Varianz als das Mischungs-RV, wenn Sie zwei RVs mit der Verteilung der Komponente addieren würden.

27.

@enthdegree Wie ist die Mischung rv Gauß? Es könnte immer noch bimodal sein, wenn die Mittel nicht zusammenfallen, oder?

Lernen

@learning, ja du hast recht. Als ich das vorige schrieb. Aus irgendeinem Grund ging ich davon aus, dass sie den gleichen Mittelwert hatten.

21.

Beziehung zwischen der Summe der Gaußschen RVs und der Gaußschen Mischung

Antworten: