Was ist die Varianz der gewichteten Mischung aus zwei Gaußschen?

ich habe zwei Normalverteilungen A und B mit den Bedeutungen und und den Varianzen und . Ich möchte eine gewichtete Mischung dieser beiden Verteilungen mit den Gewichten und wobei und . Ich weiß, dass der Mittelwert dieser Mischung . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Was wäre die Varianz?

Ein konkretes Beispiel wäre, wenn ich die Parameter für die Verteilung der männlichen und weiblichen Körpergröße kennen würde. Wenn ich einen Raum mit 60% männlichen Personen hätte, könnte ich die erwartete mittlere Körpergröße für den gesamten Raum berechnen, aber was ist mit der Varianz?

normal-distribution mixture JoFrhwld
quelle

Zu der Terminologie: Die Mischung hat einfach einen Mittelwert und eine Varianz; Es hat keinen Sinn, diese als "erwartet" zu qualifizieren, es sei denn, Sie deuten möglicherweise an, dass und als Zufallsvariablen betrachtet werden sollten.

p

$p$

q

$q$

whuber

Ich weiß, dass die Mischung von zwei Gaußschen Verteilungen identifizierbar ist. Aber wenn die beiden Distributionen die gleichen Emans haben? Dh, ist die Mischung zweier Normalverteilungen mit gleichen Mitteln und unterschiedlichen Standardabweichungen erkennbar? Gibt es Papiere in diesem Zusammenhang? Vielen Dank im Voraus

Eine ähnliche Frage mit Antworten (auch zu den COVARIANCES) gibt es hier: math.stackexchange.com/q/195911/96547

hplieninger

Die Varianz ist der zweite Moment minus dem Quadrat des ersten Moments, daher reicht es aus, Momente von Gemischen zu berechnen.

Im Allgemeinen ist bei Verteilungen mit PDFs und konstanten (nicht zufälligen) Gewichten das PDF der Mischung $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

woraus folgt, sofort für jeden Augenblick dass $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Ich habe für den Moment von und für den Moment von . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Mit diesen Formeln kann die Varianz geschrieben werden

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Wenn die Varianzen von als , dann ist . Ermöglichen, dass die Varianz des Gemisches in Bezug auf die Varianzen und Mittel seiner Komponenten als geschrieben wird $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

In Worten ist dies die (gewichtete) durchschnittliche Varianz plus dem durchschnittlichen quadratischen Mittel minus dem Quadrat des durchschnittlichen Mittelwerts. Da Quadrieren eine konvexe Funktion ist, geht Jensens Ungleichung davon aus, dass das durchschnittliche quadratische Mittel nicht kleiner sein kann als das Quadrat des durchschnittlichen Mittels. Dies ermöglicht es uns, die Formel so zu verstehen, dass die Varianz der Mischung die Mischung der Varianzen zuzüglich eines nicht negativen Ausdrucks ist, der die (gewichtete) Streuung der Mittelwerte berücksichtigt.

In Ihrem Fall ist die Varianz

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Wir können interpretieren, dass dies eine gewichtete Mischung der beiden Varianzen ist, , zuzüglich eines (notwendigerweise positiven) Korrekturterms, um die Verschiebungen von den einzelnen Mitteln relativ zum Gesamtmittelwert der Mischung zu berücksichtigen. $p_A\sigma_A^2 + p_B\sigma_B^2$

Die Nützlichkeit dieser Varianz bei der Interpretation von Daten, wie sie in der Frage angegeben ist, ist zweifelhaft, da die Mischungsverteilung nicht normal sein wird (und erheblich davon abweichen kann, sofern sie Bimodalität aufweist).

whuber
quelle

Insbesondere unter Hinweis darauf, dass , vereinfacht sich Ihr letzter Ausdruck zu .

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

Ilmari Karonen

Oder, wenn wir eine probabilistische Erklärung für eine Mischungsdichte auferlegen (es gibt ein Ereignis der Wahrscheinlichkeit und die bedingte Dichte von bei ist während die bedingte Dichte von bei ist ), dann ist var die Summe des Mittelwerts der bedingten Varianz plus der Varianz des bedingten Mittelwerts. Letzteres ist ein diskretes RV mit den Werten mit den Wahrscheinlichkeiten und

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ und dein Ausdruck in eckigen Klammern ist ohne weiteres .

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

Dilip Sarwate

@Neodyme Per Definition ist die Varianz der zweite Moment abzüglich des quadratischen Mittelwerts. Daher ist der zweite Moment die Varianz plus das mittlere Quadrat.

Whuber

@Neodyme benutze .

E (X) = μ

$E(X)=\mu$

Whuber

@Kiran Obwohl die Mischung in einigen Fällen normal aussieht , ist dies nicht der Fall. Eine Möglichkeit, dies zu erkennen, besteht darin, die überschüssige Kurtosis mit den hier angegebenen Formeln zu berechnen. Sie ist ungleich Null, es sei denn, alle Standardabweichungen sind gleich - in diesem Fall ist die "Mischung" nicht wirklich eine Mischung.

Whuber

Was ist die Varianz der gewichteten Mischung aus zwei Gaußschen?

Antworten: