Verhältnis von Wahrscheinlichkeiten zu Verhältnis von PDFs

Ich verwende Bayes, um ein Clustering-Problem zu lösen. Nach einigen Berechnungen muss ich das Verhältnis zweier Wahrscheinlichkeiten ermitteln:

P (A) / P (B)

$P(A)/P(B)$

um . Diese Wahrscheinlichkeiten werden durch die Integration von zwei verschiedenen multivariaten 2D-KDEs erhalten, wie in dieser Antwort erläutert : $P(H|D)$

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

Dabei sind und die KDEs und die Integration erfolgt für alle Punkte unterhalb der Schwellenwerte und . Beide KDEs verwenden einen Gaußschen Kernel . Ein repräsentatives Bild eines KDE, ähnlich dem, mit dem ich arbeite, ist hier zu sehen: Integration des Kernel Density Estimator in 2D . $\hat{f}(x, y)$ $\hat{g}(x, y)$ $\hat{f}(r_a, s_a)$ $\hat{g}(r_b, s_b)$

Ich berechne die KDEs mit Hilfe einer pythonFunktion stats.gaussian_kde und nehme dafür die folgende allgemeine Form an:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

Wo nist die Länge meines Punktarrays und welche hBandbreite wird verwendet?

Die obigen Integrale werden unter Verwendung eines Monte-Carlo-Prozesses berechnet, der recht rechenintensiv ist. Ich habe irgendwo gelesen (wo vergessen, sorry), dass es in solchen Fällen möglich ist, das Verhältnis der Wahrscheinlichkeiten durch das Verhältnis der PDFs (KDEs) zu ersetzen, die an den Schwellenwerten ausgewertet werden, um gleichwertige Ergebnisse zu erhalten. Das interessiert mich, weil die Berechnung des KDE-Verhältnisses um Größenordnungen schneller ist als die Berechnung des Verhältnisses der Integrale mit MC.

Die Frage reduziert sich also auf die Gültigkeit dieses Ausdrucks:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

Unter welchen Umständen kann ich sagen, dass diese Beziehung wahr ist?

[fester Tippfehler (EDIT)]

Hinzufügen :

Hier ist im Grunde die gleiche Frage, aber in einer mathematischeren Form.

probability bayesian maximum-likelihood kernel-smoothing Gabriel
quelle

Es ist zu beachten, dass die Existenz von geeigneten durch den Mittelwertsatz für Integrale sichergestellt ist.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

Dave

Ich glaube, Mills Ratio könnte relevant sein.

Whuber

@whuber dieses Verhältnis erfordert anscheinend, dass ich weiß, P(X)welchen Wert ich zu vermeiden versuche zu berechnen. Könnten Sie die Relevanz dieses Parameters etwas näher erläutern?

Gabriel

Der KDE ist eine Mischung aus Normalverteilungen. Schauen wir uns einen einzelnen an.

$P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

ist äquivalent zu

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

$\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Betrachten Sie nun die Mischung. Weil es linear ist,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

$f$ $P$ $2\pi h^2$

$P$ $f$ $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ $1/2$ $A_1$ $1/(2\mu)$ $A_2$

$(r,s)\in A_1$ $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$
$f$ $P$

$1$ $1/\mu \ne 1$ $(0,\Sigma)$ $\Sigma$ $f/P$ $[1,1/\mu]$

$P$ $f$ $P$ $\chi^2(2)$ $f$ $P$ muss verhältnismäßig sein.

whuber
quelle

Dies ist eine unglaublich gute Antwort, vielen Dank. Es wird eine Weile dauern, bis ich alles, was Sie hier geschrieben haben, vollständig verarbeitet habe. Ich vertraue jedoch voll und ganz Ihren Berechnungen, was bedeutet, dass ich die Frage als gelöst markiert habe. Prost.

Gabriel

Verhältnis von Wahrscheinlichkeiten zu Verhältnis von PDFs

Antworten: