Der Versuch, den Gaußschen Prozess zu verstehen

Ich lese das GPML-Buch und in Kapitel 2 (Seite 15) erfahren Sie, wie Sie mit dem Gaußschen Prozess (GP) eine Regression durchführen, aber es fällt mir schwer, herauszufinden, wie es funktioniert.

Bei der Bayes'schen Inferenz für parametrische Modelle wählen wir zuerst einen Prior für die Modellparameter , ; zweitens berechnen wir unter Berücksichtigung der Trainingsdaten die Wahrscheinlichkeit ; und schließlich haben wir den hinteren Teil von als , der in der Vorhersageverteilung $\theta$ $p(\theta)$ $D$ $p(D|\theta)$ $\theta$ $p(\theta|D)$ , und das Obige tun wir in der Bayes'schen Inferenz für parametrische Modelle, richtig?

p (y^{*} | x^{*}, D) = \int p (y^{*} | x^{*}, θ) p (θ | D) d θ

$p(y^*|x^*,D)=\int p(y^*|x^*,\theta)p(\theta|D)d\theta$

Nun, wie in dem Buch gesagt, ist GP nicht parametrisch, und soweit ich es verstehe , haben wir nach Angabe der mittleren Funktion und der Kovarianzfunktion einen GP über der Funktion , , und dies ist der Prior von . Jetzt habe ich einen rauschfreien Trainingsdatensatz $m(x)$ $k(x,x')$ $f$

f \sim G P (m, k)

$f \sim GP(m,k)$

f

$f$

， Ich dachte, ich sollte dieWahrscheinlichkeit

und dann dashintere

berechnenund schließlich das hintere verwenden, um Vorhersagen zu treffen.

D = {(x_{1}, f_{1}), . . ., (x_{n}, f_{n})}

$D=\{(x_1,f_1),...,(x_n,f_n)\}$

p (D | f)

$p(D|f)$

p (f | D)

$p(f|D)$

Das ist jedoch nicht das, was das Buch tut! Ich meine, nach Angabe des vorherigen berechnet es nicht die Wahrscheinlichkeit und den posterioren Wert, sondern geht einfach direkt zur prädiktiven Vorhersage über. $p(f)$

Frage:

1) Warum nicht die Wahrscheinlichkeit und den posterioren Wert berechnen? Nur weil GP nicht parametrisch ist, machen wir das nicht?

$\textbf f$ $\textbf f^*$

$f$

machine-learning gaussian-process Avocado
quelle

Persönlich glaube ich nicht, dass die GP-Regression zur Bayes'schen Inferenz gehört, da sie nicht den Schritten des Bayes'schen Ansatzes folgt. Die sogenannte prädiktive Verteilung bei Hausärzten wird abgeleitet, indem die Trainings- und Testdaten im Vorgänger zusammengeführt werden und dann die Trainingsdaten konditioniert werden, wobei weder die Wahrscheinlichkeit noch der Posterior verwendet werden.

Avocado

Antworten:

und das Obige tun wir in der Bayes'schen Inferenz für parametrische Modelle, richtig?

Das Buch verwendet die Bayes'sche Modellmittelung, die für parametrische Modelle oder jede andere Bayes'sche Methode gleich ist, vorausgesetzt, Sie haben einen posterioren Wert über Ihren Parametern.

Jetzt habe ich einen rauschfreien Trainingsdatensatz

Es muss nicht "geräuschlos" sein. Siehe spätere Seiten.

Das ist jedoch nicht das, was das Buch tut! Ich meine, nach Angabe des vorherigen p (f) berechnet es nicht die Wahrscheinlichkeit und den posterioren Wert, sondern geht einfach direkt zur prädiktiven Vorhersage über.

Siehe hierzu: https://people.cs.umass.edu/~wallach/talks/gp_intro.pdf

Ich glaube, auf Seite 17 haben wir die vorherige und später die Wahrscheinlichkeit. Ich glaube, wenn Sie die Ableitungen schreiben und den posterioren Wert finden und dann für die Vorhersage über den posterioren Wert mitteln (wie in der Gewichtsraumansicht), ergeben sich die gleichen Gleichungen wie auf Seite 19 für Mittelwert und Kovarianz.

Daniel
quelle

p (f^{*} | f)

$p(f^*|f)$

Das Finden der Bedingung erfolgt grundsätzlich nach der Bayes-Formel. Das Schreiben von Sachen in der herkömmlichen Bayes'schen Formulierung ist für Allgemeinmediziner etwas umständlich; sie beziehen sich nur auf das Finden der Bedingung und ...

Daniel

p (x | y) = p (x, y) / p (y)

$p(x|y)=p(x,y)/p(y)$

p (x | y) = p (y | x) p (x) / p (y)

$p(x|y)=p(y|x)p(x)/p(y)$

p (f | D)

$p(f|D)$

p (f^{*} | D) = \int p (f^{*} | f) p (f | D) d f

$p(f^*|D)=\int p(f^*|f)p(f|D)df$