Berechnung des Verhältnisses der für die Modellanpassung / Schulung und Validierung verwendeten Probendaten

Bereitstellung einer Stichprobengröße "N", die ich zur Vorhersage von Daten verwenden möchte. Wie kann ich die Daten so unterteilen, dass ich einige davon zum Erstellen eines Modells und die restlichen Daten zum Validieren des Modells verwende?

Ich weiß, dass es keine Schwarz-Weiß-Antwort darauf gibt, aber es wäre interessant, einige "Faustregeln" oder normalerweise verwendete Verhältnisse zu kennen. Ich weiß, dass einer unserer Professoren an der Universität bei 60% Modell sagte und bei 40% validierte.

Wie Sie sagten, gibt es keine Schwarz-Weiß-Antwort. Im Allgemeinen teile ich die Daten nicht in zwei Teile, sondern verwende stattdessen Methoden wie die k-fache Kreuzvalidierung.

Bei der k-fachen Kreuzvalidierung teilen Sie Ihre Daten zufällig in k Teile auf, passen Ihr Modell an k-1 Teile an und testen die Fehler am ausgelassenen Teil. Sie wiederholen den Vorgang k-mal und lassen jedes Teil einzeln nicht mehr passen. Sie können den mittleren Fehler aus jeder der k Iterationen als Hinweis auf den Modellfehler nehmen. Dies funktioniert sehr gut, wenn Sie die Vorhersagekraft verschiedener Modelle vergleichen möchten.

Eine extreme Form der k-fachen Kreuzvalidierung ist die verallgemeinerte Kreuzvalidierung, bei der Sie nur einen Datenpunkt zum Testen weglassen und das Modell an alle verbleibenden Punkte anpassen. Wiederholen Sie den Vorgang dann n Mal und lassen Sie jeden Datenpunkt einzeln weg. Im Allgemeinen bevorzuge ich die k-fache Kreuzvalidierung gegenüber der allgemeinen Kreuzvalidierung ... nur eine persönliche Entscheidung

Es hängt wirklich von der Datenmenge ab, über die spezifischen Kosten der Methoden und davon, wie genau Ihr Ergebnis sein soll.

Einige Beispiele:

Wenn Sie nur wenige Daten haben, möchten Sie wahrscheinlich eine Kreuzvalidierung verwenden (k-fach, auslassen usw.). Ihr Modell benötigt wahrscheinlich ohnehin nicht viel Ressourcen, um zu trainieren und zu testen. Dies sind gute Möglichkeiten, um Ihre Daten optimal zu nutzen

Sie haben viele Daten: Sie möchten wahrscheinlich einen relativ großen Testsatz durchführen, um sicherzustellen, dass es kaum möglich ist, dass einige seltsame Stichproben zu großen Abweichungen von Ihren Ergebnissen führen. Wie viele Daten sollten Sie nehmen? Es hängt vollständig von Ihren Daten und Ihrem Modell ab. Wenn Sie beispielsweise bei der Spracherkennung zu viele Daten (z. B. 3000 Sätze) verwenden würden, würden Ihre Experimente Tage dauern, da ein Echtzeitfaktor von 7 bis 10 üblich ist. Wenn Sie zu wenig nehmen würden, hängt dies zu stark von den ausgewählten Lautsprechern ab (die im Trainingssatz nicht zulässig sind).

Denken Sie auch daran, dass es in vielen Fällen gut ist, auch ein Validierungs- / Entwicklungsset zu haben!

1:10 Test: Zugverhältnis ist beliebt, weil es rund aussieht, 1: 9 ist beliebt wegen des 10-fachen Lebenslaufs, 1: 2 ist beliebt, weil es auch rund ist und den Bootstrap wieder zusammenbaut. Manchmal erhält man einen Test nach bestimmten datenbezogenen Kriterien, zum Beispiel letztes Jahr zum Testen, Jahre zuvor zum Training.

Die allgemeine Regel lautet: Der Zug muss groß genug sein, damit die Genauigkeit nicht wesentlich abfällt, und der Test muss groß genug sein, um zufällige Schwankungen auszuschalten.

Trotzdem bevorzuge ich den Lebenslauf, da er Ihnen auch eine Fehlerverteilung gibt.

Als Erweiterung der k-fachen Antwort ist die "übliche" Wahl von k entweder 5 oder 10. Die Methode des Auslassens hat die Tendenz, Modelle zu erzeugen, die zu konservativ sind. Zu Ihrer Information, hier ist ein Hinweis auf diese Tatsache:

Shao, J. (1993), Lineare Modellauswahl durch Kreuzvalidierung, Journal of the American Statistical Association, Vol. 3, No. 88, Nr. 422, S. 486-494