Warum ist der Dirichlet-Prozess für Anwendungen in der Bayes'schen Nichtparametrik ungeeignet?

Die diskrete Natur des DP macht es für allgemeine Anwendungen in der Bayes'schen Nichtparametrik ungeeignet, aber es ist gut geeignet für das Problem, bei der Gemischmodellierung Prioritäten auf Gemischkomponenten zu setzen.

Dieses Zitat stammt aus Hierarchical Dirichlet Processes (Teh et al., (2006) ) und ich suchte nach einer Erklärung, was es bedeutet. Die Bayes'sche Nichtparametrik scheint ein zu vager Begriff zu sein, als dass ich verstehen könnte, worauf sich der Autor bezieht. $^{[1]}$

${[1]}$ YW, Jordan, MI, Beal, MJ, Blei, DM (2006): "Hierarchical Dirichlet Processes". Journal of the American Statistical Association , 101, S. 1566–1581.

machine-learning mcmc dirichlet-process Ankit
quelle

Ich glaube, die "diskrete" Beschreibung bezieht sich auf die Tatsache, dass Zeichnungen aus einem Dirichlet-Prozess mit der Wahrscheinlichkeit eins diskret sind (sie folgt aus der Stick-Breaking-Darstellung des DP).

Ankit

Sie müssen näher darauf eingehen. Wenn ich einen Stock auf irgendeine Weise in

Stücke zerbreche , sind die Verteilungen der Stocklängen stetig.

k

$k$

Glen_b -State Monica

@Glen_b: Ihre Intuition stimmt mit meiner überein, aber das mit verknüpfte Papier-Ankit besagt, dass "die von einem DP gezogen werden, diskret sind (mit der Wahrscheinlichkeit eins)". Ich kann ihrem Argument nicht folgen, aber ich respektiere die Autoren.

David J. Harris

@ DavidJ.Harris Ja, wenn man darüber liest, scheint es - im Widerspruch zu der Art und Weise, wie das Wort "Prozess" normalerweise mit Verteilungen assoziiert wird -, sich auf das zu beziehen, was ich so etwas wie einen "multinomialen Prozess" oder "multinomial" genannt hätte Mischung ', da die Ausgabe die Kategorie ist. (Dieses Benennungsschema würde sich eher auf die Zeit zwischen Ereignissen als "Poisson-Prozess" beziehen, als auf die Anzahl der Ereignisse, wie dies normalerweise der Fall ist, oder auf einen Bernoulli-Prozess als "Beta-Prozess". weil es eine Beta vor der Bernoulli-Wahrscheinlichkeit gab.)

Glen_b -Reinstate Monica

Es hängt davon ab, ob Sie denken, dass eine "zählbar unendliche" Anzahl von reellen Zahlen für die reellen Zahlen repräsentativ ist. Ich hätte gedacht, dass dies der Fall ist, und somit ein Argument gegen die obige Behauptung geliefert.

Wahrscheinlichkeitslogik

Antworten:

Mit der Wahrscheinlichkeit eins sind die Realisierungen eines Dirichlet-Prozesses diskrete Wahrscheinlichkeitsmaße. Einen strengen Beweis findet sich in

Blackwell, D. (1973). "Diskretion der Ferguson-Auswahl", The Annals of Statistics, 1 (2): 356–358.

Die Stick-Breaking-Darstellung des Dirichlet-Prozesses macht diese Eigenschaft transparent.

$B_i\sim\mathrm{Beta}(1,c)$ $i\geq 1$
$P_1=B_1$ $P_i=B_i \prod_{j=1}^{i-1}(1-B_j)$ $i>1$
$Y_i\sim F$ $i\geq 1$
$G (t, ω) = \sum_{i = 1}^{\infty} P_{i} (ω) I_{[Y_{i} (ω), \infty)} (t)$ $G(t,\omega)=\sum_{i=1}^\infty P_i(\omega) I_{[Y_i(\omega),\infty)}(t)$ $c$ $F$

$F$ $X_1,\dots,X_n$

In Bezug auf die ursprüngliche Frage können Sie sehen, dass der einfache Dirichlet-Prozess möglicherweise nicht geeignet ist, einige Probleme der Bayes'schen Nichtparametrik zu modellieren , wie das Problem der Bayes'schen Dichteschätzung, aber geeignete Erweiterungen des Dirichlet-Prozesses sind verfügbar , um diese Fälle zu behandeln.

Zen
quelle

Warum ist es schlecht, eine Dichte durch eine diskrete Verteilung abzuschätzen? Bedeutet dies, dass Quadratur auch schlecht und unangemessen ist?

Wahrscheinlichkeitslogik

Ich habe nicht gesagt, dass es "schlecht" ist. Angenommen, Sie haben gute Vorinformationen über die Glätte der Zufallsdichte. Sie können diese vorherigen Informationen nicht verwenden, wenn Sie mit dem einfachen DP modellieren. So etwas habe ich im Sinn.

Zen

Ich würde nicht zustimmen - die Glätte kann durch die Wahl des Konzentrationsparameters und durch die Form der Basisverteilung gesteuert werden.

Wahrscheinlichkeitslogik

Wenn Sie mit dem ursprünglichen DP unter Verwendung eines Basismaßes modellieren, hat die posteriore Verteilung niemals eine Dichte in Bezug auf die Lebesgue-Messung.

Zen

Sie verwechseln eine Dichte mit einer Glätte - eine diskrete Verteilung hat auch keine Dichte, aber das bedeutet nicht, dass sie nicht glatt ist - zum Beispiel ist ein Binomial (n, p) mit n groß im Grunde so glatt wie normal pdf

Wahrscheinlichkeitslogik