Proben aus einer endlichen Mischung von Normalverteilungen ziehen?

Nach einigen Bayes'schen Aktualisierungsschritten bleibt mir eine hintere Verteilung der Form einer Mischung von Normalverteilungen,Das heißt, der Parameter wird aus einer Verteilung gezogen, deren PDF als gewichtete Mischung normaler PDFs angegeben wird und keine Summe normaler RVs ist. Ich möchte Stichproben zeichnen , um sie in einer wichtigen Stichprobenannäherung dieses Seitenzahns zu verwenden. In der Praxis kann die Summe über eine große Anzahl von Begriffen haben, so dass es unpraktisch sein kann, einen Begriff gemäß den Gewichten zu wählen und dann zeichnen

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Gibt es eine effiziente Möglichkeit, Proben von einem Posterior dieser Form zu ziehen?

monte-carlo probability Chris Granade
quelle

Haben Sie tatsächlich die Methode select then throw ausprobiert? Die Auswahl kann relativ schnell von O (k) Schritten getroffen werden.

dmckee --- Ex-Moderator Kätzchen

Wenn Barrons Lösung wirklich nicht korrekt ist und Sie tatsächlich ein "Mischungsmodell" meinen, könnten Sie bitte diesen Begriff verwenden?

Neil G

Neil G: Ich bin kein Statistiker von Beruf, sondern ein Physiker, der manchmal Statistiken verwenden muss. Daher kannte ich den passenden Begriff nicht, um zu beschreiben, was ich brauchte. Ich kann die Frage jetzt jedoch bearbeiten, um klarer zu machen, dass die PDFs summiert werden und nicht die Wohnmobile.

Chris Granade

@ ChrisGranade: Ich habe nicht versucht, auf dich runterzukommen. Ich wollte nur sicherstellen, dass Sie das gemeint haben, und die Bearbeitung vorschlagen.

Neil G

Warum ist es unpraktisch, basierend auf den Gewichten und einer Stichprobe aus der Gleichverteilung auf und dann Stichprobe zu wählen ? Dies ist nur mäßig teurer als das Abtasten einer einzelnen Normalverteilung, die Kosten sind unabhängig von der Anzahl der gemischten Verteilungen und beruhen nicht darauf, dass diese Verteilungen normal sind.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

Jed Brown

Antworten:

Im Prinzip könnte man die Anzahl der Proben, die aus jeder Unterverteilung gezogen werden sollen, vorwählen, dann jede Unterverteilung nur einmal besuchen und dann mehr als die Anzahl der Punkte ziehen.

Das ist

Finden Sie die Zufallsmenge so, dass und respektieren Sie die Gewichte. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Ich glaube, dass Sie dies tun, indem Sie ~~eine Poisson-Verteilung mit~~ einer Multinomialverteilung (siehe Kommentare) des Mittelwerts für jede Unterverteilung und dann die Summe auf normalisieren . $w_i * n$ $n$

Die Arbeit hier ist $\mathcal{O}(k) * \mathcal{O}(n)$

Dann mach

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

Die Arbeit hier ist $\mathcal{O}(n)$

Dies bedeutet jedoch, dass Sie die nicht in zufälliger Reihenfolge erhalten. Wenn eine zufällige Reihenfolge erforderlich ist, müssen Sie die Ziehungen mischen (auch big ). $\mathcal{O}(n)$

Es sieht so aus, als ob der erste Schritt in der Laufzeit dominiert und in der gleichen Reihenfolge wie der naive Algorithmus ist. Wenn Sie jedoch sicher sind, dass alle Sie die Poisson-Verteilungen mit Normalverteilungen approximieren und den ersten Schritt beschleunigen. $w_i * n \gg 1$

dmckee --- Ex-Moderator Kätzchen
quelle

Die Verteilung von ist keine Poisson-Verteilung, wenn fest ist, sondern eine Binomialverteilung.

n_{i}

$n_i$

n

$n$

Frédéric Grosshans

@ FrédéricGrosshans Ähm ... hier gebe ich meine quälende Wahrscheinlichkeitsschwäche zu. Ich denke, Sie haben vielleicht Recht. Ich habe keinen Link zum Werfen beliebiger Binomialverteilungen, aber Wikipedia hat einige Referenzen . Es gibt auch eine Beziehung zwischen Poisson und Binomial, von der ich behaupten werde, dass sie für meine Unsicherheit verantwortlich war. Ja, das ist das Ticket.

dmckee --- Ex-Moderator Kätzchen

@dmckee: Gute Antwort für das Zeichnen aus einem Mischungsmodell, außer dass es in Schritt 1 eher eine multinomiale Verteilung als eine Poisson-Verteilung sein sollte.

Neil G

Hinweis: In der Originalversion dieser Frage wurde nach einer "gewichteten Summe von Normalverteilungen" gefragt, auf die die folgende Antwort hilfreich sein könnte. Nach einer guten Diskussion über diese Antwort, die Antwort von @Geoff und die Frage selbst wurde jedoch klar, dass es sich bei der Frage tatsächlich um eine Stichprobe einer "Mischung von Normalverteilungen" handelte, auf die diese Antwort nicht anwendbar ist.

Die Summe der Normalverteilungen ist eine Normalverteilung, sodass Sie die Parameter dieser Einzelverteilung berechnen und dann einfach Stichproben daraus ziehen können. Wenn wir diese Verteilung dann $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

Barron
quelle

Um es kurz zu machen, Chris summiert Wahrscheinlichkeitsdichtefunktionen, keine Zufallsvariablen.

Geoff Oxberry

Chris möchte ein PDF, das (zumindest im Prinzip) mehrere Unebenheiten enthält. Das heißt, er war die Summe der PDFs, nicht die PDF einer Summe.

dmckee --- Ex-Moderator Kätzchen

Es ist wahr, dass die Summe der normalverteilten Zufallsvariablen selbst eine normalverteilte Zufallsvariable ist. Die Summe der Normalverteilungen ist jedoch keine Normalverteilung. Wenn also und , es ist wahr, dass , aber . (Gutschrift geht an @ChrisGranade für die Erklärung.)

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

Geoff Oxberry

@dmckee: das ist keine "gewichtete Summe von Normalverteilungen", das ist eine "Mischung von Normalverteilungen".

Neil G

@ Barron-Kommentare werden nicht als wesentlicher Bestandteil der Seite angesehen. Sie sollten Ihre Antwort auf jeden Fall so bearbeiten, dass sie den Kern der Kommentare enthält, damit Leser, die sich die Kommentare nicht ansehen, nicht irregeführt werden.

David Ketcheson

Update : Diese Antwort ist falsch und beruht auf Verwirrung in der Terminologie (Einzelheiten finden Sie in der Kommentarkette unten). Ich lasse es nur als Wegweiser, damit die Leute diese Antwort nicht erneut veröffentlichen (außer Barron). Bitte stimmen Sie nicht nach oben oder unten ab.

Ich würde nur Eigenschaften von Zufallsvariablen verwenden, um sie auf eine einzelne normalverteilte Zufallsvariable zu reduzieren. Die Summe zweier unabhängiger, normalverteilter Zufallsvariablen ist selbst eine Zufallsvariable. Wenn also und dann $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

Auch wenn , dann $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Dann werden diese beiden Ergebnisse kombiniert

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

In diesem Fall müssen Sie also nur Proben aus einer einzelnen Verteilung ziehen, was viel einfacher zu handhaben sein sollte.

Geoff Oxberry
quelle

Dies ist die Lösung für ein anderes Problem, das sich aus der Tatsache ergibt, dass die ursprüngliche Distribution multimodal und Ihr Vorschlag unimodal ist.

Chris Ferrie

@ChrisFerrie: Ich glaube Ihnen, aber basierend auf der Notation bin ich verwirrt darüber, warum die obige Verteilung multimodal wäre, während die Summe zweier unabhängiger Gaußscher Zufallsvariablen dies nicht wäre. Was fehlt mir hier?

Geoff Oxberry

Ich denke, die Verwirrung ist, dass wir nicht eine Summe von Zufallsvariablen betrachten, sondern ein PDF, das die Summe vieler PDFs ist. Diese sind nicht immer gleich, da . Stattdessen kann unser PDF als Marginalisierung gegenüber der Zufallsvariablen .

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Chris Granade

Ah, Sie sehen sich PDF-Summen an. Ja, das ist ein ganz anderes Tier. Nachdem ich die Frage genauer gelesen habe, sehe ich, was Sie sagen, und ich werde meine Antwort löschen. Vielen Dank!

Geoff Oxberry

Ich habe meine zuvor gelöschte Antwort nur gelöscht, um anderen als Wegweiser zu dienen, damit niemand diese Frage so beantwortet wie Barron und ich. Bitte stimmen Sie meine Antwort nicht mehr ab.

Geoff Oxberry