Ich habe gelesen, dass eine ausgelassene Kreuzvalidierung eine relativ „unvoreingenommene Schätzung der tatsächlichen Generalisierungsleistung“ liefert (z. B. hier ) und dass dies eine vorteilhafte Eigenschaft des ausgelassenen Lebenslaufs ist.
Ich sehe jedoch nicht, wie sich dies aus den Eigenschaften eines ausgelassenen Lebenslaufs ergibt. Warum ist die Tendenz dieses Schätzers im Vergleich zu anderen gering?
Aktualisieren:
Ich untersuche das Thema weiter und glaube, dass es damit zu tun hat, dass dieser Schätzer weniger pessimistisch ist als beispielsweise die K-fache Validierung, da er alle Daten außer einer Instanz verwendet, aber es wäre großartig, eine Mathematik zu lesen Ableitung davon.
cross-validation
model-selection
bias
Amelio Vazquez-Reina
quelle
quelle
Antworten:
Ich glaube nicht, dass eine mathematische Ableitung der Tatsache erforderlich ist, dass in ML mit zunehmender Größe des Trainingstests die Vorhersagefehlerraten abnehmen. LOO - im Vergleich zur k-fachen Validierung - maximiert die Größe des Trainingssatzes, wie Sie beobachtet haben.
LOO kann jedoch empfindlich auf "Twinning" reagieren. Wenn Sie stark korrelierte Stichproben haben, haben Sie mit LOO die Garantie, dass sich für jede als Testsatz verwendete Stichprobe die verbleibenden "Zwillinge" im Trainingssatz befinden. Dies kann durch eine schnelle Abnahme der Genauigkeit diagnostiziert werden, wenn LOO beispielsweise durch eine 10-fache Kreuzvalidierung (oder eine geschichtete Validierung, wenn beispielsweise die Proben gepaart sind) ersetzt wird. Nach meiner Erfahrung kann dies zu einer Katastrophe führen, wenn Ihr Datensatz im Allgemeinen klein ist.
In einer perfekten Welt haben Sie auch einen Validierungssatz, mit dem Sie Ihr Modell niemals trainieren, auch nicht in einer Lebenslaufeinstellung. Sie behalten es nur zum Testen der endgültigen Leistung eines Modells, bevor Sie das Papier senden :-)
quelle