Variations-Autoencoder mit Gaußschem Mischungsmodell

Ein Variations-Autoencoder (VAE) bietet eine Möglichkeit, die Wahrscheinlichkeitsverteilung lernen die einen Eingang mit seiner latenten Darstellung Beziehung setzt . Insbesondere ordnet der Codierer einen Eingang einer Verteilung auf . Ein typischer Encoder gibt Parameter , die die Gaußsche Verteilung . Diese Verteilung wird als Näherung für .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

Hat jemand eine VAE in Betracht gezogen, bei der die Ausgabe eher ein Gaußsches Mischungsmodell als ein Gaußsches ist? Ist das nützlich? Gibt es Aufgaben, bei denen dies wesentlich effektiver ist als eine einfache Gaußsche Verteilung? Oder bietet es wenig Nutzen?

Ja, es wurde getan. Das folgende Papier implementiert etwas in dieser Form:

Tiefes unbeaufsichtigtes Clustering mit Gaußschen Mischungs-Autoencodern . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran und Murray Shanahan.

Sie experimentieren mit diesem Ansatz für das Clustering. Jeder Gaußsche in der Gaußschen Mischung entspricht einem anderen Cluster. Da sich die Gaußsche Mischung im latenten Raum ( ) befindet und es ein neuronales Netzwerk gibt, das mit , sind nicht triviale Cluster im Eingaberaum ( ) möglich.$z$$z$$x$$x$

In diesem Artikel wird auch der folgende Blog-Beitrag erwähnt, der mit einer anderen Variante dieser Architektur experimentiert: http://ruishu.io/2016/12/25/gmvae/

Vielen Dank an Shimao für diesen Hinweis.