Gaußscher Prozess: Eigenschaften der Funktionsnäherung

Ich lerne etwas über den Gaußschen Prozess und habe nur Kleinigkeiten gehört. Würde mich sehr über Kommentare und Antworten freuen.

Stimmt es, dass eine Gaußsche Prozessfunktionsnäherung für jeden Datensatz an den Datenpunkten null oder einen vernachlässigbaren Anpassungsfehler ergibt? An anderer Stelle hörte ich auch, dass der Gauß-Prozess besonders gut für verrauschte Daten geeignet ist. Dies scheint im Widerspruch zu dem geringen Anpassungsfehler für beobachtete Daten zu stehen.

Außerdem scheint es weiter von den Datenpunkten entfernt mehr Unsicherheit zu geben (größere Kovarianz). Wenn ja, verhält es sich wie lokale Modelle (RBF usw.)?

Gibt es schließlich eine universelle Approximationseigenschaft?

gaussian-process oalah
quelle

Antworten:

Angenommen Datenabtastwert ist . Nehmen wir auch an, dass wir eine Kovarianzfunktion und einen für einen Gussschen Prozess angegebenen Mittelwert von Null haben. Die Verteilung für einen neuen Punkt ist Gaußsch mit dem Mittelwert $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

m (X) = K (K + σ ich)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$ Außerdem macht die Regularisierung das Problem rechenstabiler.

Auswahl der Rauschvarianz $\sigma$ wir können wählen, ob wir interpolieren wollen ( $\sigma = 0$ ) oder wir wollen mit verrauschten Beobachtungen umgehen ( $\sigma$ ist groß).

Die Gaußsche Prozessregression ist auch eine lokale Methode, da die Varianz der Vorhersagen mit dem Abstand zum Lernmuster zunimmt, wir jedoch die geeignete Kovarianzfunktion auswählen können $k$ und mit komplexeren Problemen umgehen, als mit RBF. Eine weitere schöne Eigenschaft ist die geringe Anzahl von Parametern. Normalerweise ist es gleich $O(n)$ , wo $n$ ist die Datendimension.

Alexey Zaytsev
quelle