KL Divergenz und Erwartungen

Ich versuche die Erklärung der KL-Divergenz unten zu verstehen. Es bezieht sich, wie ich es verstehe, auf eine Erwartung im zweiten Semester. "Annäherung der Erwartung über q in diesem Term". Wir multiplizieren jedoch q (x) mit dem Protokoll von p (x) (und nicht mit p (x). Ist es immer noch richtig, dieses Konstrukt als erwarteten Wert zu bezeichnen? Bitte lassen Sie es mich wissen.

Der erwartete Wert ist eine Größe, die für jede Funktion der Ergebnisse berechnet werden kann .

Sei der Raum aller möglichen Ergebnisse und sei eine auf definierte Wahrscheinlichkeitsverteilung . Für jede Funktion wobei eine beliebige Menge ist, die unter Addition und Skalarmultiplikation geschlossen wird (z. B. ), können wir den erwarteten Wert von unter Verteilung wie folgt berechnen : $\Omega$$q:\Omega \rightarrow \mathbb{R}$$\Omega$ $f:\Omega \rightarrow S$$S$$S = \mathbb{R}$$f$$q$

In der KL-Divergenz haben wir für ein festes .$f(x) = \ln{\frac{q(x)}{p(x)}}$$p(x)$