Interpretation der Radon-Nikodym-Ableitung zwischen Wahrscheinlichkeitsmaßen?

Ich habe an einigen Stellen die Verwendung der Radon-Nikodym-Ableitung eines Wahrscheinlichkeitsmaßes in Bezug auf ein anderes gesehen, insbesondere in der Kullback-Leibler-Divergenz, wo es die Ableitung des Wahrscheinlichkeitsmaßes eines Modells für einen beliebigen Parameter mit ist bezüglich des realen Parameters θ 0 :$\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Wobei dies beide Wahrscheinlichkeitsmaße für den Raum von Datenpunkten sind, die von einem Parameterwert abhängig sind: .$P_\theta(D)=P(D|\theta)$

Was ist die Interpretation eines solchen Radon-Nikodym-Derivats in der Kullback-Leibler-Divergenz oder allgemeiner zwischen zwei Wahrscheinlichkeitsmaßen?

Erstens brauchen wir keine Wahrscheinlichkeitsmaße, nur Endlichkeit. So lassen M = ( Ω , F ) sein ein Messraum und lassen μ und v sein σ -finite Maßnahmen auf M .$\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

Das Radon-Nikodym-Theorem besagt, dass wenn für alle A ∈ F , bezeichnet mit μ ≫ ν , dann existiert eine nicht negative Borel-Funktion f, so dass ν ( A ) = ∫$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$ für alle A ∈

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$ .

So denke ich gerne darüber nach. Definieren wir zunächst für zwei beliebige Maße für μ ∼ ν , um μ ( A ) = zu bedeuten$\mathcal M$$\mu \sim \nu$ . Dies ist eine gültige Äquivalenzbeziehung und wir sagen, dass μ und ν in diesem Falläquivalentsind. Warum ist dies eine sinnvolle Äquivalenz für Maßnahmen? Kennzahlen sind nur Funktionen, aber ihre Domänen sind schwierig zu visualisieren. Was ist, wenn zwei gewöhnliche Funktionen f , g : R → R diese Eigenschaft haben, dh f ( x ) = $\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$ & le; Nun, definiere h ( x ) = { f ( x ) / g ( x ) g ( x ) ≠ 0 π e o.w. und beachtendass überall auf der Unterstützung von g haben wir g h = f , und außerhalb des Trägers von g g h = 0 ⋅ & pgr; e = 0 = f (da$f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$ und Aktie Träger) so $g$$h$ lässt uns in f neu skalieren . Wie @whuber weist darauf hin, ist der Schlüssel Idee hier nicht 0 / 0 ist irgendwie „sicher“ zu tun oder zu ignorieren, sondern dann , wenn g = 0 , dann spielt es keine Rolle , welche h ist so können wir es nur willkürlich definieren (wie sein π e , die hier keine besondere Bedeutung hat) und die Dinge noch viel Arbeit. Auch in diesem Fall können wir die analoge Funktion h ' mit g / f so definieren, dass f h ' = g ist .$g$$f$$0/0$$g = 0$$h$$\pi^e$$h'$$g / f$$fh' = g$

Als nächstes sei angenommen, dass , aber die andere Richtung gilt nicht unbedingt. Dies bedeutet, dass unsere vorherige Definition von h immer noch funktioniert, aber jetzt funktioniert h ' nicht mehr, da es tatsächliche Divisionen durch 0 hat . Somit können wir g über g h = f in f neu skalieren, aber wir können nicht in die andere Richtung gehen, weil wir etwas 0 neu skalieren müssten$g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$ in etwas ungleich Null .

Kehren wir nun zu und ν zurück und bezeichnen unsere RND mit f . Wenn μ ∼ ν ist , bedeutet dies intuitiv, dass eines in das andere skaliert werden kann und umgekehrt. Aber im Allgemeinen wollen wir damit nur eine Richtung einschlagen (dh ein schönes Maß wie das Lebesgue-Maß in ein abstrakteres Maß umskalieren), also brauchen wir nur μ ≫ $\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$ benötigen, um nützliche Dinge zu tun. Diese Neuskalierung ist das Herzstück des RND.

Zurückkommend auf @ whuber des Punkt in den Kommentaren, gibt es eine extra Subtilität , warum es sicher ist , die Frage zu ignorieren . Das liegt daran, dass wir mit Kennzahlen immer nur Dinge bis zu Mengen von Kennzahl 0 definieren. Bei jeder Menge A mit μ ( A ) = 0 können wir unseren RND einfach dazu bringen, einen beliebigen Wert anzunehmen, z . B. 1 . So ist es nicht , dass 0 / 0 eigensicher ist , sondern überall dort, wo wir hätten 0 / 0 ist ein Satz von Maßnahme 0 WRT $0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$ So können wir unseren RND einfach so definieren, dass er dort etwas Schönes ist, ohne etwas zu beeinflussen.

Nehmen wir als Beispiel an, dass für einige k > 0 ist . Dann ist ν ( A ) = $k \cdot \mu = \nu$$k > 0$ also haben wir f ( x ) = k = d

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$ ist der RND (dies kann durch den Satz der Maßänderung formeller begründet werden). Dies ist gut, da wir den Skalierungsfaktor genau wiederhergestellt haben.

$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$

$X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

so we can compute

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Thus because $P(X = n) > 0$ for all $n$ in the support of $Y$, we can rescale integration with respect to a Poisson distribution into integration with respect to a binomial distribution, although because everything's discrete it turns out to look like a trivial result.

---

I addressed your more general question but didn't touch on KL divergences. For me, at least, I find KL divergence much easier to interpret in terms of hypothesis testing like @kjetil b halvorsen's answer here. If $P \ll Q$ and there exists a measure $\mu$ that dominates both then using $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$ we can recover the form with densities, so for me I find that easier.