Nach meinem (sehr bescheidenen) Verständnis der Variationsinferenz versucht man, eine unbekannte Verteilung zu approximieren, indem man eine Verteilung , die Folgendes optimiert:
Immer wenn ich Zeit in das Verständnis von Variationsinferenzen investiere, treffe ich diese Formel und kann nicht anders, als das Gefühl zu haben, dass ich den Punkt verfehle. Es scheint, als müsste ich kennen , um berechnen zu können . Aber der springende Punkt war ich nicht diese Verteilung wusste .
Es ist genau dieser Punkt, der mich jedes Mal nervt, wenn ich versuche, etwas Variierendes zu lesen. Was vermisse ich?
EDIT :
Ich werde hier aufgrund der Antwort von @wij ein paar zusätzliche Kommentare hinzufügen. Ich werde versuchen, genauer zu sein.
In den Fällen, an denen ich interessiert bin, erscheint es durchaus vernünftig zu bedenken, dass Folgendes gilt:
In diesem Fall könnte ich wissen, wie proportional aussehen sollte, da ich eine Modellauswahl für p ( D | θ ) und p ( θ ) getroffen habe . Würde ich dann richtig sagen, dass ich dann eine Familienverteilung q [sagen wir Gauß] auswählen muss, so dass ich jetzt K L ( p ( θ | D ) | | q ) schätzen kann . Es fühlt sich so an, als würde ich in diesem Fall versuchen, einen Gaußschen Wert anzupassen, der nahe am nicht normalisierten p ( D | θ ) liegt. . Ist das richtig?
Wenn ja, gehe ich davon aus, dass mein posterior eine Normalverteilung ist, und ich versuche lediglich, wahrscheinliche Werte für diese Verteilung in Bezug auf die -Divergenz zu finden.
quelle