Referenzen, die die Verwendung von Gaußschen Gemischen rechtfertigen

Gaußsche Mischungsmodelle (GMMs) sind ansprechend, weil sie sowohl analytisch als auch praktisch einfach zu handhaben sind und in der Lage sind, einige exotische Verteilungen ohne zu große Komplexität zu modellieren. Es gibt einige analytische Eigenschaften, die wir erwarten sollten und die im Allgemeinen nicht klar sind. Im Speziellen:

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Angenommen , wir haben eine kontinuierliche Verteilung und wir haben eine gefunden -Komponente Gauß'schen Mischung , die nahe ist in Gesamtvariation: . Können wir in Bezug auf binden ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Wenn wir durch unabhängiges additives Rauschen beobachten wollen, (beide real, kontinuierlich), und wir haben GMMs wobei , ist dieser Wert dann klein: dh ist es wahr, dass das Schätzen von durch Rauschen ungefähr so schwierig ist wie das Schätzen von durch Rauschen? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
Können Sie dies für nicht-additive Geräuschmodelle wie Poisson-Geräusche tun?

Meine (kurze) Literaturrecherche hat bisher nur sehr gelebte Tutorials ergeben. Hat jemand Referenzen, die konsequent belegen, unter welchen Bedingungen die Verwendung von Mischungsmodellen gerechtfertigt ist?

probability normal-distribution references gaussian-mixture information-theory Enth
quelle

Die Menge der GMMs ist in der Menge der Verteilungen in der schwachen Topologie dicht (entsprechend der Konvergenz der Verteilung); siehe zB hier . Ich bin mir nicht sicher, ob Ihre erste Aussage zutrifft, obwohl es sicherlich erforderlich wäre, Null-Varianz-Komponenten in der Mischung mit beliebigen Punktmassen in umgehen zu lassen . Ich bin auch skeptisch gegenüber dem zweiten Aufzählungspunkt, wieder wegen der Frage der Punktmassen.

P

$P$

Dougal

Guter Punkt, ich habe angegeben, dass alles kontinuierlich sein soll

zwischen dem

Vielleicht haben Sie mehr Glück, wenn Sie sich die Literatur zur Schätzung der Kerneldichte mit Gaußschen Kernen ansehen. Erhalten Sie einen asymptotisch unvoreingenommenen und konsistenten Schätzer der Verteilung, da Sie eine Mischung von Gaußschen mit einer pro Probe haben, wenn die Anzahl der Proben steigt? Ich denke, die Antwort ist ja, konnte aber nicht sofort eine Referenz finden.

Greg Ver Steeg

@enthdegree: Sehr gute Frage. Da Sie starke Topologien verwenden möchten (KL-Divergenz und Total-Variation), lautet die allgemeine Antwort auf Ihre ersten beiden Punkte "Nein". Die KL für jede endliche Gauß-Mischung ist unendlich (ich bin mir ziemlich sicher, dass dies funktioniert, wenn auch nicht zu 100%). Dies führt jedoch zu der viel interessanteren Frage, für welche Unterklasse von Wahrscheinlichkeitsverteilungen würden alle Ihre Aufzählungspunkte zutreffen? Ich kenne die Antwort nicht, aber sie scheint äußerst interessant zu sein. Ich vermute, es sind wahrscheinlich fast alle Wahrscheinlichkeitsverteilungen.

Guillaume Dehaene

Ich habe mit diesem Buch Unterricht genommen. Link Es gibt einige gute Hintergrundinformationen zu den Grundlagen.

EngrStudent

Antworten:

In der Ökonometrie, in der es sich um Mischungsverteilungen von Koeffizienten in Logit-Modellen handelt, lautet die Standardreferenz: GEMISCHTE MNL-MODELLE FÜR DISKRETE REAKTION DANIEL MCFADDEN UND KENNETH TRAIN, JOURNAL OF APPLIED ECONOMETRICS, J. Appl. Econ. 15: 447 & ndash; 470 (2000).

Tim
quelle

In Bezug auf Ihre Fragen:

Für das sehr ähnliche Bayes'sche Problem der Dirichlet-Prozessmischung von Gaußschen verstehe ich die Antwort ja. Ghosal (2013) .
Als ich an einigen Vorträgen zu diesem Thema teilnahm, schien es, dass Fortschritte hauptsächlich mit der KL-Divergenz erzielt wurden. Siehe Harry van Zantens Folien .
Ich bin nicht klar. Dies scheint jedoch ein Problem der Quellentrennung zu sein ( unbekannt). Diese sind in der Regel viel schwieriger als die Modellierung von Gemischen. Insbesondere für den einfachen Fall von wäre es nicht möglich, das wahre und zu identifizieren $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ aufgrund der Symmetrie der Verteilungen um Null. $Y$
Im vierten der oben verlinkten Folien finden Sie eine Liste der Bayes'schen Modelle, für die Konvergenz Gültigkeit garantiert.

Vermutungen
quelle

Hier ist eine teilweise Antwort.

Sprich ist die Klasse aller Gaußschen Gemische mit Komponenten. Können wir für jede kontinuierliche Verteilung auf den Reals garantieren, dass wir mit zunehmendem mit einem GMM mit vernachlässigbarem Verlust im Sinne der relativen Entropie approximieren können ? Das heißt, $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Nein. Sie können nur hoffen, dass eine KL-Divergenz klein ist, wenn Sie wissen, dass die Schwänze von letztendlich in der gleichen Größenordnung wie die von . Dies ist im Allgemeinen nicht wahr. Es ist nicht schwer , dass für sehen Cauchy dann für alle , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Dazu sind weitere Bedingungen für erforderlich. $P$

Sagen wir eine kontinuierliche Verteilung haben , und wir haben ein gefunden -Komponente Gaussian Gemisch , die nahe ist in Gesamtvariation: . Können wir gebunden in Bezug auf die ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Nein. Es gilt das gleiche Beispiel.

Wenn wir wollen , beobachten durch unabhängige additive Rauschen (sowohl real, kontinuierlich), und wir haben GVM wo , dann Ist dieser Wert klein $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ is small when $TV(P,Q)$ is small. Related.

I haven't been able to prove this, either in general or using the extra additive structure we have assumed on P,Q, or come up with any counterexamples.

Can you do it for non-additive noise models like Poisson noise?

This is ambiguous. In the context of the previous question, if the statement in that answer can be proven in general then the answer is yes.

enthdegree
quelle