Inkrementelle Gaußsche Prozessregression

Ich möchte eine inkrementelle Gaußsche Prozessregression mithilfe eines Schiebefensters über den Datenpunkten implementieren, das nacheinander über einen Stream ankommt.

Lassen die Dimensionalität des Eingangsraums bezeichnen. Jeder Datenpunkt hat also Anzahl von Elementen.$d$$x_i$$d$

Sei die Größe des Schiebefensters.$n$

Um Vorhersagen zu treffen, muss ich die Inverse der Grammmatrix berechnen , wobei und k der quadratische Exponentialkern ist.$K$$K_{ij} = k(x_i, x_j)$

Um zu vermeiden, dass K mit jedem neuen Datenpunkt größer wird, dachte ich, ich könnte den ältesten Datenpunkt entfernen, bevor ich neue Punkte hinzufüge, und auf diese Weise verhindere ich, dass das Gramm wächst. Zum Beispiel sei wobei die Kovarianz der Gewichte und die implizite Abbildungsfunktion ist, die durch den quadratischen Exponentialkern impliziert wird.$K = \phi(X)^{T}\Sigma\phi(X)$$\Sigma$$\phi$

Nun sei ] und wobei ‚s sind von Säulenmatrices.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Ich brauche einen effektiven Weg , um die finden möglicherweise mit . Dies sieht nicht nach der Umkehrung eines aktualisierten Matrixproblems mit Rang 1 aus, das effizient mit der Sherman-Morrison-Formel behandelt werden kann.$K_{new}^{-1}$$K$

Hierfür gab es mehrere rekursive Algorithmen. Sie sollten sich den KRLS-Algorithmus (Kernel Recursive Least Squares) und verwandte Online-GP-Algorithmen ansehen.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. und Principe, JC (2010). Rekursive kleinste Quadrate des Kernels mit festem Budget . In Acoustics Speech and Signal Processing (ICASSP), IEEE International Conference 2010, S. 1882-1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S. und Santamaria, I. (2011). Ein Bayes'scher Ansatz zur Verfolgung mit rekursiven kleinsten Quadraten des Kernels . In Maschinelles Lernen für die Signalverarbeitung (MLSP), IEEE International Workshop 2011 auf den Seiten 1-6. IEEE.
• F. Perez-Cruz, S. Van Vaerenbergh, JJ Murillo-Fuentes, M. Lazaro-Gredilla und I. Santamaria (2013). Gaußsche Prozesse für die nichtlineare Signalverarbeitung: Ein Überblick über die jüngsten Fortschritte . IEEE Signal Processing Magazine, 30 (4): 40-50.

Die schrittweise Schätzung von GP-Modellen ist in der Literatur gut untersucht. Die zugrunde liegende Idee besteht darin, anstatt alle neuen Beobachtungen, die Sie vorhersagen möchten, zu konditionieren, den Punkt mit einem Schritt voraus zu konditionieren und dies wiederholt zu tun. Dies kommt der Kalman-Filterung irgendwie nahe.