Gute Literatur zur Kreuzvalidierung

10

Kennt jemand ein gutes Buch / eine gute Webseite, um die Techniken der Kreuzvalidierung zu erlernen?

references cross-validation MarkDollar
quelle

Antworten:

5

Wenn eine Kreuzvalidierung für die Modell- / Merkmalsauswahl verwendet werden soll, ist zu berücksichtigen, dass es möglich ist, die Kreuzvalidierungsstatistik zu stark anzupassen und ein Modell mit schlechter Leistung sowie die optimierte Kreuzvalidierungsstatistik zu erhalten kann eine äußerst optimistische Leistungsschätzung sein. Die Auswirkungen können überraschend groß sein. Siehe Ambroise und McLachlan für ein Beispiel dafür in einer Feature - Auswahl Einstellung und Cawley und Talbot für ein Beispiel in einer Modellauswahl Einstellung.

Dikran Beuteltier
quelle
Es ist gut, es zu erwähnen, aber es sollte doppelt gesagt werden, dass dies Beispiele für den Missbrauch oder das Übervertrauen von Lebensläufen sind, nicht einige Nachteile der Methode selbst.
1
In der Tat ist es jedoch eine Art und Weise, wie es häufig missbraucht wird - daher ist es wichtig, sich dessen bewusst zu sein, wenn Sie etwas über Kreuzvalidierung lernen! Eine stärkere Kreuzvalidierung ist häufig eine gute Lösung, dh eine verschachtelte Kreuzvalidierung oder, wie Stone es ausdrückt, eine "Doppelkreuzvalidierung". Das Problem betrifft so ziemlich jedes Merkmal oder Modellauswahlkriterium, das optimiert ist, um ein Modell zu erhalten. Kreuzvalidierung ist in diesem Sinne nichts Besonderes.
Dikran Marsupial
0

Ich würde auch empfehlen , Kreuzvalidierung von Payam Refaeilzadeh, Lei Tang, und Huan Liu.

Peter K.
quelle