Ich habe einen kleinen, unausgeglichenen Datensatz (70 positiv, 30 negativ) und habe mit der Modellauswahl für SVM-Parameter unter Verwendung von BAC (ausgeglichene Genauigkeit) und AUC (Bereich unter der Kurve) herumgespielt. Ich habe verschiedene Klassengewichte für den C-Parameter in libSVM...
Mein Lehrbuch zur Kreuzvalidierung ist The Elements of Statistical Learning von Hastie et al. (2. Aufl.). In den Abschnitten 7.10.1 und 7.12, sie über den Unterschied zwischen bedingte Testfehler sprechen E.( X.∗, Y.∗)[ L ( Y., f^( X.) ) | τ]]E.(X.∗,Y.∗)[L.(Y.,f^(X.))|τ]]E_{(X^*,Y^*)}[L(Y,...
Auf dieser Wikipedia- Seite im Unterabschnitt für die K-fache Kreuzvalidierung heißt es: "Bei der k-fachen Kreuzvalidierung wird die ursprüngliche Stichprobe zufällig in k gleich große Teilstichproben aufgeteilt. Von den k Teilstichproben wird eine einzelne Teilstichprobe als Validierungsdaten für...
Wenn ich Regressionsmodelle verwende, bin ich misstrauisch, wenn ich auf Annahmen einer linearen Assoziation zurückgreife. stattdessen mag ich die funktionale Form von Beziehungen zwischen abhängigen und erklärenden Variablen Regression nichtparametrischer Glättung zu erforschen (zB...
Ich benutze derzeit ein frühes Anhalten in meiner Arbeit, um eine Überanpassung zu verhindern. Speziell diejenigen, die aus dem frühen Stoppen stammen, aber wann? . Ich möchte jetzt mit anderen Klassifizierungsalgorithmen vergleichen, bei denen es den Anschein hat, dass eine 10-fache...
Ich habe eine ganze Reihe von Beiträgen zum Caret- Paket gelesen und interessiere mich speziell für die Zugfunktion . Ich bin mir jedoch nicht ganz sicher, ob ich richtig verstanden habe, wie die Zugfunktion funktioniert. Um meine aktuellen Gedanken zu veranschaulichen, habe ich ein kurzes Beispiel...
Ich habe irgendwo festgestellt, dass der Testsatz nicht als Validierungssatz verwendet werden darf. Warum? Der Validierungssatz wird angewendet, wenn die Modellparameter festgelegt sind und das Lernen nur durch Backprop auf dem Trainingsstapel erfolgt. Warum kann ich Testdaten nicht als...
Ich führte Lasso durch und ließ dann eine einmalige Kreuzvalidierung aus cv<-cv.glmnet(df, df$Price, nfolds = 1500) Wenn ich einen Lebenslauf zeichne, erhalte ich Folgendes: Mir ist auch aufgefallen, dass ich 2 verschiedene Lambdas bekomme: lambda.minundlambda.1se Was ist der Unterschied...
Wenn wir einen großen Datensatz haben, können wir ihn im Allgemeinen in (1) Training, (2) Validierung und (3) Test aufteilen. Wir verwenden die Validierung, um die besten Hyperparameter bei der Kreuzvalidierung zu identifizieren (z. B. C in SVM), und trainieren dann das Modell unter Verwendung der...
Ich bin ein bisschen beunruhigt und verwirrt über die Idee, wie die Technik des frühen Stoppens definiert wird. Wenn Sie sich Wikipedia ansehen , ist es wie folgt definiert: Teilen Sie die Trainingsdaten in einen Trainingssatz und einen Validierungssatz auf, z. B. im Verhältnis 2 zu 1. Trainieren...
Ich bin kürzlich auf mehrere "informelle" Quellen gestoßen, die darauf hinweisen, dass wir unter bestimmten Umständen, wenn wir den AIC oder BIC zum Trainieren eines Zeitreihenmodells verwenden, die Daten nicht in Test und Training aufteilen müssen - wir können alle verwenden die Daten für das...
Ich bin mit der "regulären" Kreuzvalidierung vertraut, aber jetzt möchte ich Zeitreihenvorhersagen treffen, während ich die Kreuzvalidierung mit einer einfachen linearen Regressionsfunktion verwende. Ich schreibe ein einfaches Beispiel auf, um meine beiden Fragen zu klären: eine zum Zug /...
Ich habe ein konzeptionelles Problem mit dem Verständnis, wie eine schrittweise logistische Regression validiert werden kann. Jedes Mal, wenn der Trainingssatz geteilt wird, ist es sehr wahrscheinlich, dass unterschiedliche Merkmale basierend auf den Kriterien für Penter und Premove ausgewählt...
Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe...
Ich versuche, eine SVM an meine Daten anzupassen. Mein Datensatz enthält 3 Klassen und ich führe eine 10-fache Kreuzvalidierung durch (in LibSVM): ./svm-train -g 0.5 -c 10 -e 0.1 -v 10 training_data Die Hilfe lautet dabei: -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default...
Ich bin mir der Vorteile der k-fachen (und ausgelassenen) Kreuzvalidierung sowie der Vorteile der Aufteilung Ihres Trainingssatzes zur Erstellung eines dritten Holdout-Validierungssatzes bewusst, den Sie zur Bewertung verwenden Modellleistung basierend auf der Auswahl von Hyperparametern, sodass...
Betrachten Sie die elastische Netzregression mit einer glmnetähnlichen Parametrisierung der VerlustfunktionIch habe einen Datensatz mit n \ ll p (44 bzw. 3000) und verwende eine wiederholte 11-fache Kreuzvalidierung, um die optimalen Regularisierungsparameter \ alpha und \ lambda auszuwählen ....
Ich dachte, die K-fache Kreuzvalidierung besteht aus den folgenden Schritten. Teilen Sie Daten zufällig in Blöcke auf.KKK Auf Stücke passen .K−1K−1K-1 Sagen Sie den verbleibenden Teil voraus. Halten Sie Vorhersagen. Wiederholen Sie 2-3 für alle verbleibenden Kombinationen der Chunks, bei denen 1...
Wenn ich in einer Regressionseinstellung viele Zufallsmodelle (ohne Berücksichtigung der Daten) generiere, indem ich einfach zufällig Koeffizientenwerte zuweise und diese Modelle dann über den Datensatz mit einer Fehlermetrik auswerte und das beste Modell basierend auf dieser Fehlermetrik auswähle,...
Ich versuche, die KNN-Methode für die binäre Klassifizierung zu verwenden. Wenn ich versuche, den besten 'k'-Parameter zu finden (die Anzahl der Nachbarn, die der Algorithmus betrachtet), trainiere ich ein Modell in meinem Trainingssatz und überprüfe seine Genauigkeit in einem separaten...