Wie vergleicht man zwei Gaußsche Prozesse?

14

Die Kullback-Leibler-Divergenz ist eine Metrik zum Vergleichen von zwei Wahrscheinlichkeitsdichtefunktionen, aber welche Metrik wird zum Vergleichen von zwei GPs X und Y ?

Pushkar
quelle
d(X,Y)=E[supt|X(t)Y(t)|]
@Zen: Wenn Sie Zeit haben, bin ich daran interessiert, mehr über diese Entfernungsmetrik zu erfahren.
Neil G
Hallo Neil. Ich weiß nicht viel darüber. Bitte, siehe meine Antwort unten.
Zen

Antworten:

8

Beachten Sie, dass die Verteilung der Gaußschen Prozesse die Erweiterung des multivariaten Gaußschen Prozesses für möglicherweise unendlich . Daher können Sie die KL-Divergenz zwischen den GP-Wahrscheinlichkeitsverteilungen verwenden, indem Sie über :XRXRX

DKL(P|Q)=RXlogdPdQdP.

Sie können MC-Methoden verwenden, um diese Menge über ein diskretisiertes numerisch zu approximieren, indem Sie Prozesse entsprechend ihrer GP-Verteilung wiederholt abtasten. Ich weiß nicht, ob die Konvergenzgeschwindigkeit ausreichend gut ist ...X

Beachten Sie, dass wenn endlich ist mit , Sie auf die übliche KL-Divergenz für multivariate Normalverteilungen zurückgreifen: | X | = N D K L ( G P ( μ 1 , K 1 ) , G P ( μ 2 , K 2 ) ) = 1X|X|=n

DKL(GP(μ1,K1),GP(μ2,K2))=12(tr(K21K1)+(μ2μ1)K21(μ2μ1)n+log|K2||K1|)
Emile
quelle
Wie kann ich zwei von Ihnen erwähnte Mittelwerte (mu1 und mu2) berechnen? Oder sollte ich sie wie üblich für den Gauß-Prozess auf Null setzen?
Marat Zakirov
4

Denken Sie daran, dass, wenn ein Gauß'scher Prozess mit der mittleren Funktion und der Kovarianzfunktion ist, für jeden der Zufallsvektor hat eine multivariate Normalverteilung mit mittlerem Vektor und Kovarianzmatrix , wobei wir die gebräuchliche Abkürzung . m K t 1 , ... , t kT ( X ( t 1 ) , ... , X ( t k ) ) ( m ( t 1 ) , ... , m ( t k ) ) Σ = ( σ i j ) = ( K ( t iX:T×ΩRmKt1,,tkT(X(t1),,X(tk))(m(t1),,m(tk))X ( t ) = X ( t ,Σ=(σij)=(K(ti,tj))X(t)=X(t,)

Jede Realisierung ist eine reelle Funktion, deren Domäne die Indexmenge . Angenommen, . Gegeben seien zwei Gaußprozesse und , einen gemeinsamen Abstand zwischen zwei Realisierungen und ist. Daher erscheint es natürlich, den Abstand zwischen den beiden Prozessen und als T T = [ 0 , 1 ] X Y X (X(,ω)TT=[0,1]XYY (X(,ω)Y(,ω)supt[0,1]|X(t,ω)Y(t,ω)|XY

d(X,Y)=E[supt[0,1]|X(t)Y(t)|].()
Ich weiß nicht, ob es einen analytischen Ausdruck für diese Distanz gibt, aber ich glaube, Sie können eine Monte-Carlo-Näherung wie folgt berechnen. Fixiere ein feines Gitter und ziehe Proben und aus die normalen Zufallsvektoren und , jeweils für . Ungefähre durch 0t1<<tk1(xi1,,xik)(yi1,,yik)(X(t1),,X(tk))(Y(t1),,Y(tk))i=1,,Nd(X,Y)
1Ni=1Nmax1jk|xijyij|.
Zen
quelle
Wie wird aus jedem Vektor eine Stichprobe erstellt? Wenn Sie nur die Mittelwerte in den einzelnen Hausärzten abtasten, berücksichtigen Sie die Abweichungen nicht. Andernfalls müssen Sie eine konsistente Stichprobentechnik entwickeln.
Pushkar
Dies ist eine hervorragende Ressource: gaussianprocess.org/gpml/chapters
Zen
Sie können auch alle Antworten auf diese Frage lesen: stats.stackexchange.com/questions/30652/…
Zen
Achten Sie darauf, dass dies keine Distanz ist, da . Da die KL zwei Verteilungen und nicht zwei Realisierungen vergleicht, sollte der Zen-Abstand zwischen zwei GPs definiert werden als , und wir haben das für nicht degeneriert Gaußprozess . d(X,X)0d(G1,G2)=EXG1,YG2[supt|X(t)Y(t)|]EXG,YGsupt|X(t)Y(t)|>0G
Emile
@Emile: wie kommt es, dass mit der Definition ? d(X,X)0()
Zen