Ich habe 400 Antworten auf einen 20-Punkte-Fragebogen, der vorgibt, ein Einstellungskonstrukt bei Medizinstudenten zu messen. Das Instrument wurde in den USA für ein einziges Jahr von Medizinstudenten validiert und die veröffentlichten Daten sind sehr "sauber" - alle RITC-Werte> 0,3, Alpha 0,84,...
Mein Lehrbuch zur Kreuzvalidierung ist The Elements of Statistical Learning von Hastie et al. (2. Aufl.). In den Abschnitten 7.10.1 und 7.12, sie über den Unterschied zwischen bedingte Testfehler sprechen E.( X.∗, Y.∗)[ L ( Y., f^( X.) ) | τ]]E.(X.∗,Y.∗)[L.(Y.,f^(X.))|τ]]E_{(X^*,Y^*)}[L(Y,...
Auf dieser Wikipedia- Seite im Unterabschnitt für die K-fache Kreuzvalidierung heißt es: "Bei der k-fachen Kreuzvalidierung wird die ursprüngliche Stichprobe zufällig in k gleich große Teilstichproben aufgeteilt. Von den k Teilstichproben wird eine einzelne Teilstichprobe als Validierungsdaten für...
Ich verwende den Bootstrap-Ansatz für die interne Validierung eines multivariaten Modells, das entweder mit einer logistischen Standardregression oder einem elastischen Netz erstellt wurde. Das Verfahren, das ich verwende, ist wie folgt: 1) Modell unter Verwendung des gesamten Datensatzes...
Wenn ich Regressionsmodelle verwende, bin ich misstrauisch, wenn ich auf Annahmen einer linearen Assoziation zurückgreife. stattdessen mag ich die funktionale Form von Beziehungen zwischen abhängigen und erklärenden Variablen Regression nichtparametrischer Glättung zu erforschen (zB...
Ich benutze derzeit ein frühes Anhalten in meiner Arbeit, um eine Überanpassung zu verhindern. Speziell diejenigen, die aus dem frühen Stoppen stammen, aber wann? . Ich möchte jetzt mit anderen Klassifizierungsalgorithmen vergleichen, bei denen es den Anschein hat, dass eine 10-fache...
Ich habe eine ganze Reihe von Beiträgen zum Caret- Paket gelesen und interessiere mich speziell für die Zugfunktion . Ich bin mir jedoch nicht ganz sicher, ob ich richtig verstanden habe, wie die Zugfunktion funktioniert. Um meine aktuellen Gedanken zu veranschaulichen, habe ich ein kurzes Beispiel...
Ich habe irgendwo festgestellt, dass der Testsatz nicht als Validierungssatz verwendet werden darf. Warum? Der Validierungssatz wird angewendet, wenn die Modellparameter festgelegt sind und das Lernen nur durch Backprop auf dem Trainingsstapel erfolgt. Warum kann ich Testdaten nicht als...
Ich führte Lasso durch und ließ dann eine einmalige Kreuzvalidierung aus cv<-cv.glmnet(df, df$Price, nfolds = 1500) Wenn ich einen Lebenslauf zeichne, erhalte ich Folgendes: Mir ist auch aufgefallen, dass ich 2 verschiedene Lambdas bekomme: lambda.minundlambda.1se Was ist der Unterschied...
Wenn wir einen großen Datensatz haben, können wir ihn im Allgemeinen in (1) Training, (2) Validierung und (3) Test aufteilen. Wir verwenden die Validierung, um die besten Hyperparameter bei der Kreuzvalidierung zu identifizieren (z. B. C in SVM), und trainieren dann das Modell unter Verwendung der...
Ich bin ein bisschen beunruhigt und verwirrt über die Idee, wie die Technik des frühen Stoppens definiert wird. Wenn Sie sich Wikipedia ansehen , ist es wie folgt definiert: Teilen Sie die Trainingsdaten in einen Trainingssatz und einen Validierungssatz auf, z. B. im Verhältnis 2 zu 1. Trainieren...
Kennen Sie eine Referenz oder einen Namen für die folgende Methode, um zu untersuchen, ob eine komplexe Modellierungstechnik verzerrt ist?T.TT Wenden Sie auf den Originaldatensatz an. Messen Sie die Leistung (z. B. R-Quadrat in der Regressionseinstellung).T.TT Permutieren Sie die Antwortvariable...
Ich bin kürzlich auf mehrere "informelle" Quellen gestoßen, die darauf hinweisen, dass wir unter bestimmten Umständen, wenn wir den AIC oder BIC zum Trainieren eines Zeitreihenmodells verwenden, die Daten nicht in Test und Training aufteilen müssen - wir können alle verwenden die Daten für das...
Ich bin mit der "regulären" Kreuzvalidierung vertraut, aber jetzt möchte ich Zeitreihenvorhersagen treffen, während ich die Kreuzvalidierung mit einer einfachen linearen Regressionsfunktion verwende. Ich schreibe ein einfaches Beispiel auf, um meine beiden Fragen zu klären: eine zum Zug /...
Es fällt mir schwer, bei der Validierung meines Modells auf die gleiche Seite wie mein Vorgesetzter zu gelangen. Ich habe die Rückstände analysiert (anhand der angepassten Werte beobachtet) und dies als Argument verwendet, um die von meinem Modell erzielten Ergebnisse zu diskutieren. Mein...
Ich habe ein konzeptionelles Problem mit dem Verständnis, wie eine schrittweise logistische Regression validiert werden kann. Jedes Mal, wenn der Trainingssatz geteilt wird, ist es sehr wahrscheinlich, dass unterschiedliche Merkmale basierend auf den Kriterien für Penter und Premove ausgewählt...
Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe...
Ich nehme an einer Herausforderung teil, bei der ich ein Modell erstellt habe, das 70% AUC am Zugset und 70% AUC am Hold-Out-Test-Set ausführt. Der andere Teilnehmer hat ein Modell erstellt, das 96% AUC am Zugset und 76% AUC am Hold-Out-Testset ausführt. Meiner Meinung nach ist mein Modell besser,...
Ich versuche, eine SVM an meine Daten anzupassen. Mein Datensatz enthält 3 Klassen und ich führe eine 10-fache Kreuzvalidierung durch (in LibSVM): ./svm-train -g 0.5 -c 10 -e 0.1 -v 10 training_data Die Hilfe lautet dabei: -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default...
Ich bin mir der Vorteile der k-fachen (und ausgelassenen) Kreuzvalidierung sowie der Vorteile der Aufteilung Ihres Trainingssatzes zur Erstellung eines dritten Holdout-Validierungssatzes bewusst, den Sie zur Bewertung verwenden Modellleistung basierend auf der Auswahl von Hyperparametern, sodass...