Gaußsches Prozessregressionsspielzeugproblem

Ich habe versucht, eine gewisse Intuition für die Regression des Gaußschen Prozesses zu gewinnen, also habe ich ein einfaches 1D-Spielzeugproblem zum Ausprobieren erstellt. Ich habe als Eingaben und als Antworten genommen. ('Inspiriert' von ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Für die Regression habe ich eine standardmäßige quadratische exponentielle Kernelfunktion verwendet:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Ich nahm an, dass es Rauschen mit Standardabweichung , so dass die Kovarianzmatrix wurde: $\sigma_n$

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Die Hyperparameter wurden durch Maximieren der Log-Wahrscheinlichkeit der Daten geschätzt. Um eine Vorhersage an einem Punkt zu treffen , habe ich den Mittelwert bzw. die Varianz wie folgt ermittelt $(\sigma_n,l,\sigma_f)$ $x_\star$

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

Dabei ist der Vektor der Kovarianz zwischen und den Eingaben, und ist ein Vektor der Ausgaben. $k_\star$ $x_\star$ $y$

Meine Ergebnisse für sind unten gezeigt. Die blaue Linie ist der Mittelwert und rote Linien markieren die Standardabweichungsintervalle. $1<x<3$

Die Ergebnisse

Ich bin mir nicht sicher, ob das richtig ist. Meine Eingaben (markiert mit 'X') liegen nicht auf der blauen Linie. Die meisten Beispiele, die ich sehe, haben den Mittelwert, der die Eingaben schneidet. Ist dies ein allgemeines Merkmal, das zu erwarten ist?

regression gaussian-process Comp_Warrior
quelle

Wenn ich raten müsste, gab es in den Beispielen, die Sie betrachteten, keinen Restfehler. In diesem Fall würde die Linie alle Punkte durchlaufen.

Kerl

@ Guy genau richtig.

Antworten:

Die mittlere Funktion, die durch die Datenpunkte geht, ist normalerweise ein Hinweis auf eine Überanpassung. Die Optimierung der Hyperparameter durch Maximierung der Grenzwahrscheinlichkeit tendiert dazu, sehr einfache Modelle zu bevorzugen, es sei denn, es gibt genügend Daten, um etwas Komplexeres zu rechtfertigen. Da Sie nur drei Datenpunkte haben, die mehr oder weniger in einer Linie mit wenig Rauschen liegen, erscheint mir das gefundene Modell ziemlich vernünftig. Im Wesentlichen können die Daten entweder als lineare zugrunde liegende Funktion mit mäßigem Rauschen oder als mäßig nichtlineare zugrunde liegende Funktion mit geringem Rauschen erklärt werden. Ersteres ist die einfachere der beiden Hypothesen und wird von "Occams Rasiermesser" bevorzugt.

Dikran Beuteltier
quelle

Danke für die Eingabe. Können Sie mir mehr über "Überanpassung" erzählen? ist es ein positives / negatives Merkmal?

Comp_Warrior

Überanpassung ist eine negative Sache. Dies bedeutet im Grunde, dass das Modell die zufällige Variation in den Daten speichert, was die Generalisierungsleistung tendenziell verschlechtert. Idealerweise soll das Modell die zugrunde liegende Form der Daten lernen und dabei das Rauschen ignorieren, das sie verunreinigt. Die meisten guten Lehrbücher für maschinelles Lernen werden dies in einem frühen Kapitel behandeln.

Dikran Beuteltier

nur aus Interesse, warum die Abstimmung?

Dikran Marsupial

Ich habe dich nicht herabgestimmt; in der Tat habe ich gestimmt!

Comp_Warrior

kein Problem Comp_Warrior, ich dachte nicht, dass du es bist, aber jemand hat meine Antwort abgelehnt und ich würde mich über ein Feedback freuen, warum. Wir sind alle fehlbar und wenn ich etwas falsches in meiner Antwort habe, bin ich sehr daran interessiert, es zu korrigieren.

Dikran Beuteltier

Sie verwenden die Kriging-Schätzer mit einem zusätzlichen Rauschbegriff (in der Gaußschen Prozessliteratur als Nugget-Effekt bekannt). Wenn der Rauschausdruck auf Null gesetzt wurde, dh

σ_{n}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

dann würden Ihre Vorhersagen als Interpolation wirken und die Beispieldatenpunkte durchlaufen.

quelle

Das sieht für mich in Ordnung aus, im GP-Buch von Rasmussen werden definitiv Beispiele gezeigt, bei denen die mittlere Funktion nicht jeden Datenpunkt durchläuft. Beachten Sie, dass die Regressionslinie eine Schätzung für die zugrunde liegende Funktion ist, und wir gehen davon aus, dass die Beobachtungen die zugrunde liegenden Funktionswerte plus etwas Rauschen sind. Wenn die Regressionslinie auf allen drei Punkten basiert, würde dies im Wesentlichen bedeuten, dass die beobachteten Werte kein Rauschen aufweisen.

$\sigma_n = 0$

$l$

$l$ $l$

Wie von Dikran Marsupial festgestellt, ist dies ein integriertes Merkmal von Gaußschen Prozessen. Die Grenzwahrscheinlichkeit bestraft zu spezifische Modelle und bevorzugt solche, die viele Datensätze erklären können.

Max S.
quelle