Was sind einige der Nachteile der Bayes'schen Hyperparameteroptimierung?

8

Ich bin ziemlich neu im maschinellen Lernen und in der Statistik, aber ich habe mich gefragt, warum die Bayes'sche Optimierung beim Lernen von maschinellem Lernen zur Optimierung Ihrer Algorithmus-Hyperparameter nicht häufiger online verwendet wird. Verwenden Sie beispielsweise ein Framework wie dieses: https://github.com/fmfn/BayesianOptimization

Hat die Bayes'sche Optimierung Ihrer Hyperparameter eine Einschränkung oder einen großen Nachteil gegenüber Techniken wie der Rastersuche oder der Zufallssuche?

machine-learning optimization hyperparameter bayesian-optimization EtienneT
quelle
3
Kein kostenloses Mittagessen bei der Suche und Optimierung . Im Allgemeinen ist BO normalerweise nicht die Antwort, es sei denn, die Bewertung der Kostenfunktion ist ziemlich kostspielig und die Dimensionalität des Problems etwas gering. Das Gebiet der mathematischen Optimierung wurde durch die Entdeckung der Gaußschen Prozesse nicht überholt.
usεr11852
3
Tolle Antworten. Aber warum postest du sie in Kommentaren?
Jan Kukacka
@ JanKukacka Guter Punkt. Ich habe meine Kommentare zu einer Antwort verschoben.
Sycorax sagt Reinstate Monica

Antworten:

11
  1. Die Ergebnisse sind empfindlich gegenüber Parametern des Ersatzmodells, die normalerweise auf einen bestimmten Wert festgelegt sind. dies unterschätzt die Unsicherheit; oder Sie müssen vollständig Bayesianisch sein und über Hyperparameterverteilungen marginalisieren, was teuer und unhandlich sein kann.
  2. Es dauert ungefähr ein Dutzend Proben, um eine gute Ersatzoberfläche in zwei oder drei Dimensionen des Suchraums zu erhalten. Die zunehmende Dimensionalität des Suchraums erfordert noch mehr Proben
  3. Die Bayes'sche Optimierung selbst hängt von einem Optimierer ab, um die Ersatzoberfläche zu durchsuchen, was seine eigenen Kosten hat. Dieses Problem ist (hoffentlich) billiger zu bewerten als das ursprüngliche Problem, aber es ist immer noch ein nicht konvexes Optimierungsproblem mit eingeschränkten Boxen (dh schwer!)
  4. Die Schätzung des BO-Modells selbst ist mit Kosten verbunden

Um es anders auszudrücken, BO ist ein Versuch, die Anzahl der Funktionsbewertungen auf ein Minimum zu beschränken und aus jeder Bewertung das Beste für das Geld herauszuholen. Dies ist wichtig, wenn Sie zerstörerische Tests durchführen oder nur eine Simulation durchführen, deren Ausführung obszön lange dauert. Aber in allen bis auf die teuersten Fälle wenden Sie eine reine Zufallssuche an und nennen Sie es einen Tag ! (Oder LIPO, wenn Ihr Problem den Annahmen entspricht.) Es kann Ihnen eine Reihe von Kopfschmerzen ersparen, z. B. die Optimierung Ihres Bayes'schen Optimierungsprogramms.

Sycorax sagt Reinstate Monica
quelle