Ich habe eine Frage zur Parameteroptimierung, wenn ich die 10-fache Kreuzvalidierung verwende.
Ich möchte fragen, ob die Parameter während des Modelltrainings jeder Falte festgelegt werden sollen oder nicht, dh (1) einen Satz optimierter Parameter für die durchschnittliche Genauigkeit jeder Falte auswählen.
oder
(2) Ich sollte den optimierten Parameter für jede Falte finden und dann verwendet jede Falte unterschiedliche optimierte Parameter, um ihr Modell zu trainieren, dann die Testdaten der Falte zu testen und schließlich die Genauigkeit jeder Falte als Ergebnis zu mitteln.
Welches ist die richtige Methode zur Kreuzvalidierung? Danke vielmals.
Antworten:
Unterscheiden wir zunächst zwischen zwei Parametersätzen: Modellparametern (z. B. Gewichten für Merkmale in der Regression) und Parametern für den Lernalgorithmus (und Hyperparametern). Der Zweck der Kreuzvalidierung besteht darin, Lernparameter zu identifizieren, die sich gut auf die Bevölkerungsstichproben verallgemeinern lassen, aus denen wir in jeder Falte lernen.
Genauer gesagt: Wir suchen global über den Raum nach Lernparametern, aber innerhalb jeder Falte legen wir Lernparameter fest und lernen Modellparameter. Das Ergebnis sollten Lernparameter sein, die im Durchschnitt die beste Leistung in allen Falten erzielen. Wir können diese dann verwenden, um ein Modell für den gesamten Datensatz zu trainieren.
quelle
Ich denke, die derzeit akzeptierte Antwort ist auf unglückliche Weise unvollständig. Ich stimme dem Satz nicht zu
Dies ist in der Tat eine sehr wichtige Anwendung der Kreuzvalidierung, aber nicht die einzige. Normalerweise möchten Sie zwei Dinge tun:
Um Ziel 1 in Abhängigkeit von Ihrem Algorithmus zu erreichen, müssen Sie möglicherweise einige Hyperparameter anpassen. Dies erfolgt in der Tat häufig durch Kreuzvalidierung. Dies hilft Ihnen jedoch noch nicht bei Ziel 2. Dazu müssen Sie die Kreuzvalidierung grundsätzlich wie folgt verschachteln:
Um ein gutes Modell zu erstellen, benötigen Sie nur die innere Kreuzvalidierung. Sie müssen dies noch tun, um ein gutes Modell zu erhalten. Um jedoch eine gute Schätzung Ihrer Modellleistung zu erhalten, müssen Sie den gesamten Prozess der Modellbildung in einem Kreuzvalidierungsschema durchführen. Dies schließt auch Schritte wie Imputation usw. ein.
quelle