Bayesianische Optimierung für nicht-Gaußsches Rauschen

Eine Black-Box-Funktion , die punktweise unter Berücksichtigung des Gaußschen Rauschens ausgewertet wird, dh kann mithilfe der Bayes'schen Optimierung minimiert werden, wobei ein Gaußscher Prozess als verrauschtes Funktionsmodell verwendet wird. $f: \mathbb{R}^n \rightarrow \mathbb{R}$ $f(x) + \mathcal{N}(\mu(x),\sigma(x)^2)$

Wie kann die Bayes'sche Optimierung für Funktionen verwendet werden, die nicht-Gaußschem Rauschen ausgesetzt sind, z. B. verzerrte Verteilungen?

Gibt es Implementierungen, die diese Einstellung unterstützen?

bayesian optimization bayesian-optimization Johnb
quelle

Nur ein Kommentar: Die Leute verwenden normalerweise keinen Gaußschen Prozess (und Normalverteilungen für alle anderen Probleme), weil sie glauben, dass alle Dinge normal verteilt sind, sondern weil dies die Berechnungen erleichtert.

Tim

Antworten:

Es gibt Gaußsche Prozessmodelle mit nicht-Gaußscher Wahrscheinlichkeit : Die vorherige Verteilung auf die Funktion ist immer noch ein Gaußscher Prozess, aber der Rauschausdruck ist nicht mehr Gaußsch, dh die Wahrscheinlichkeit wird nicht mehr als Gaußsch angenommen. Infolgedessen gehen die Analyseergebnisse verloren und die Zeichnungsinferenz erfordert nun Approximationsmethoden wie MCMC oder Laplace-Approximation. $f$ $p(y | f)$

Für mehrere Distributionen wird dies als Teil des GPML-Matlab-Pakets implementiert und erläutert , das hier verfügbar und erläutert ist . Die Tabelle der Inferenzmethoden in Abschnitt 3d ("Eine detailliertere Übersicht") gibt einen Überblick darüber, welche Verteilungen für die Wahrscheinlichkeit implementiert wurden und welche Inferenzmethode für jede von ihnen verfügbar ist.

Die einzigen Artikel, auf die ich Sie jetzt verlinken kann (weil ich sie irgendwann mit einem Lesezeichen versehen habe), befinden sich in der Distribution des Schülers : $t$

Shah, Amar, Andrew Wilson und Zoubin Ghahramani. "Student-t-Prozesse als Alternativen zu Gaußschen Prozessen." Künstliche Intelligenz und Statistik. 2014.
Shah, Amar, Andrew Wilson und Zoubin Ghahramani. "Student-t-Prozesse als Alternativen zu Gaußschen Prozessen." Künstliche Intelligenz und Statistik. 2014.
Jylänki, Pasi, Jarno Vanhatalo und Aki Vehtari. "Robuste Gaußsche Prozessregression mit einer Student-t-Wahrscheinlichkeit." Journal of Machine Learning Research 12.Nov (2011): 3227-3257.

Paris
quelle