Am einfachsten wäre es, einen Gaußschen Prozess mit der nicht-ARD-äquivalenten Kovarianzfunktion (normalerweise der RBF) anzupassen und die Testfehlerraten zu vergleichen. Bei vielen Problemen ist eine ARD -Kovarianzfunktion aufgrund der Überanpassung beim Einstellen der Hyperparameter schlechter als eine Nicht-ARD-Kovarianzfunktion. Da die RBF-Kovarianz ein Sonderfall der ARD-Kovarianz ist, ist dies ein starker Hinweis darauf, dass der ARD-Kernel überanpasst (beginnen Sie mit der Optimierung der ARD-Koeffizienten bei den optimalen Werten für die entsprechende RBF-Kovarianz) schneller und trägt auch dazu bei, dass das Problem mit der ARD-Kovarianz nicht nur auf lokale Minima in der Grenzwahrscheinlichkeit zurückzuführen ist. Dies ist ein viel größeres Problem als allgemein angenommen.
Ich habe ein paar Artikel dazu geschrieben:
GC Cawley und NLC Talbot, Verhinderung einer Überanpassung während der Modellauswahl durch Bayes'sche Regularisierung der Hyperparameter, Journal of Machine Learning Research, Band 8, Seiten 841-861, April 2007 ( pdf )
und
GC Cawley und NLC Talbot, Überanpassung bei der Modellauswahl und anschließende Auswahlverzerrung bei der Leistungsbewertung, Journal of Machine Learning Research, 2010. Research, vol. 11, S. 2079-2107, Juli 2010 ( pdf )
Das erste beinhaltet einige Experimente mit Hausärzten, die zeigen, dass eine Überanpassung bei der Modellauswahl auch ein Problem für Hausärzte mit einer auf der Maximierung der Grenzwahrscheinlichkeit basierenden Modellauswahl darstellt.
Eine gründlichere Analyse wäre die Bewertung des Testfehlers des Hausarztes bei jedem Schritt im Prozess der Optimierung der Grenzwahrscheinlichkeit. Es ist sehr wahrscheinlich, dass Sie die klassische Hall-Marke der Überanpassung erhalten, bei der das Modellauswahlkriterium monoton abnimmt, der Testfehler jedoch zunächst abnimmt, dann aber wieder ansteigt, wenn das Modellauswahlkriterium überoptimiert wird (vgl Abbildung 2a im JMLR-Papier 2010).
