Vollständig Bayesianische Hyperparameterauswahl in GPML

8

Ist es möglich, mit dem GPML-Code eine ungefähre vollständige Bayes'sche (1) Auswahl von Hyperparametern (z. B. Kovarianzskala) durchzuführen, anstatt die Grenzwahrscheinlichkeit zu maximieren (2)? Ich denke, die Verwendung von MCMC-Methoden zur Lösung der Integrale mit Hyperparametern sollte zu besseren Ergebnissen führen, wenn es um Überanpassung geht. Meines Wissens enthält das GPML-Framework diese Berechnungen nicht, aber möglicherweise gibt es Waren anderer Codes von Drittanbietern.

(1) Ziff. 5.2, Kap. 5 im Gaußschen Prozess für maschinelles Lernen, Rasmussen & Williams, 2006

(2) Abschnitt "Regression" in der GPML-Dokumentation

bayesian model-selection gaussian-process hyperparameter Emile
quelle
Hast du von INLA gehört? Vielleicht ist es das, wonach Sie suchen.
Wahrscheinlichkeitslogik
Dies trägt nicht zu Ihrer Frage bei, aber haben Sie es geschafft, nützliche Arbeit in diesem Bereich zu finden, in dem Priors auf Längenskalen gesetzt werden? Ich hasse die Idee, die Längenskalen eines GP
Sachinruk
(+1) Gute Frage. Dies ist keine MCMC, aber es gibt Pakete von Drittanbietern, die bei Interesse eine teilweise Marginalisierung von Hyperparametern mit GPML über die Laplace-Approximation ermöglichen. Siehe diese Frage und verwandte Antworten.
Lacerbi

Antworten:

1

Es gibt ein weiteres Paket für maschinelles Lernen mit Gaußschen Prozessen namens GPstuff, das meiner Meinung nach alles bietet. Sie können MCMC, Integration in ein Raster usw. verwenden, um Ihre Hyperparameter zu marginalisieren.

NB In der Dokumentation nennen sie Hyperparameter lediglich Parameter.

Mehrdad
quelle