Wie vergleicht man zwei Gaußsche Prozesse?

Die Kullback-Leibler-Divergenz ist eine Metrik zum Vergleichen von zwei Wahrscheinlichkeitsdichtefunktionen, aber welche Metrik wird zum Vergleichen von zwei GPs $X$ und $Y$ ?

Beachten Sie, dass die Verteilung der Gaußschen Prozesse die Erweiterung des multivariaten Gaußschen Prozesses für möglicherweise unendlich . Daher können Sie die KL-Divergenz zwischen den GP-Wahrscheinlichkeitsverteilungen verwenden, indem Sie über :$\mathcal{X}\to\mathbb{R}$$\mathcal{X}$$\mathbb{R}^\mathcal{X}$

$$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$$

Sie können MC-Methoden verwenden, um diese Menge über ein diskretisiertes numerisch zu approximieren, indem Sie Prozesse entsprechend ihrer GP-Verteilung wiederholt abtasten. Ich weiß nicht, ob die Konvergenzgeschwindigkeit ausreichend gut ist ...$\mathcal{X}$

Beachten Sie, dass wenn endlich ist mit , Sie auf die übliche KL-Divergenz für multivariate Normalverteilungen zurückgreifen: | X | = N D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = $\mathcal{X}$$|\mathcal{X}|=n$

$$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$$

Denken Sie daran, dass, wenn ein Gauß'scher Prozess mit der mittleren Funktion und der Kovarianzfunktion ist, für jeden der Zufallsvektor hat eine multivariate Normalverteilung mit mittlerem Vektor und Kovarianzmatrix , wobei wir die gebräuchliche Abkürzung . m K t 1 , ... , t k ∈ T ( X ( t 1 ) , ... , X ( t k ) ) ( m ( t 1 ) , ... , m ( t k ) ) Σ = ( σ i j ) = ( K ( t $X:T\times \Omega\to\mathbb{R}$$m$$K$$t_1,\dots,t_k\in T$$(X(t_1),\dots,X(t_k))$$(m(t_1),\dots,m(t_k))$X ( t ) = X ( t $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$$X(t)=X(t,\,\cdot\,)$

Jede Realisierung ist eine reelle Funktion, deren Domäne die Indexmenge . Angenommen, . Gegeben seien zwei Gaußprozesse und , einen gemeinsamen Abstand zwischen zwei Realisierungen und ist. Daher erscheint es natürlich, den Abstand zwischen den beiden Prozessen und als T T = [ 0 , 1 ] X Y X $X(\,\cdot\,,\omega)$$T$$T=[0,1]$$X$$Y$Y $X(\,\cdot\,,\omega)$$Y(\,\cdot\,,\omega)$$\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$$X$$Y$

$$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$$ Ich weiß nicht, ob es einen analytischen Ausdruck für diese Distanz gibt, aber ich glaube, Sie können eine Monte-Carlo-Näherung wie folgt berechnen. Fixiere ein feines Gitter und ziehe Proben und aus die normalen Zufallsvektoren und , jeweils für . Ungefähre durch $0\leq t_1<\dots<t_k\leq 1$$(x_{i1},\dots,x_{ik})$$(y_{i1},\dots,y_{ik})$$(X(t_1),\dots,X(t_k))$$(Y(t_1),\dots,Y(t_k))$$i=1,\dots,N$$d(X,Y)$ $$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$$