Was bedeutet "Variation"?

Bezieht sich die Verwendung von "Variation" immer auf die Optimierung durch Variationsinferenz?

Beispiele:

• "Variations-Auto-Encoder"
• "Variations-Bayes'sche Methoden"
• "Variations-Renormierungsgruppe"

Es bedeutet, Variationsinferenz zu verwenden (zumindest für die ersten beiden).

Kurz gesagt, es ist eine Methode zur Annäherung der maximalen Wahrscheinlichkeit, wenn die Wahrscheinlichkeitsdichte kompliziert ist (und daher MLE schwierig ist).

Es verwendet Evidence Lower Bound (ELBO) als Proxy für ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Wobei eine einfachere Verteilung auf versteckte Variablen ist (bezeichnet mit Z ) - zum Beispiel verwenden Variations-Autoencoder eine Normalverteilung auf der Ausgabe des Encoders.$q$$Z$

Der Name 'Variation' kommt höchstwahrscheinlich von der Tatsache, dass nach der Verteilung gesucht wird, die ELBO optimiert, und dieses Setup ähnelt der Variationsrechnung$q$ , einem Feld, in dem die Optimierung über Funktionen untersucht wird (z. B. Probleme wie: gegebene Familie) von 2D-Kurven zwischen zwei Punkten finden Sie einen mit der kleinsten Länge).

Es gibt ein nettes Tutorial über Variationsinferenz von David Blei, das Sie sich ansehen können, wenn Sie eine konkretere Beschreibung wünschen.

BEARBEITEN:

Eigentlich habe ich eine Art von VI beschrieben: Im Allgemeinen können Sie eine andere Divergenz verwenden (die von mir beschriebene entspricht der Verwendung der KL-Divergenz ). Einzelheiten finden Sie in diesem Dokument in Abschnitt 5.2 (VI mit alternativen Abweichungen).$KL(q, p)$