In seiner Arbeit Lineare Modellauswahl durch Kreuzvalidierung zeigt Jun Shao, dass für das Problem der Variablenauswahl bei der multivariaten linearen Regression die Methode der ausschließlichen Kreuzvalidierung (LOOCV) „asymptotisch inkonsistent“ ist. Im Klartext werden tendenziell Modelle mit zu...
Ich interessiere mich für die Modellauswahl in einer Zeitreiheneinstellung. Nehmen wir der Vollständigkeit halber an, ich möchte ein ARMA-Modell aus einem Pool von ARMA-Modellen mit unterschiedlichen Verzögerungsreihenfolgen auswählen. Die ultimative Absicht ist die Vorhersage . Die Modellauswahl...
Wie werden (lineare) Mischeffektmodelle normalerweise miteinander verglichen? Ich weiß, dass Likelihood-Ratio-Tests verwendet werden können, aber dies funktioniert nicht, wenn ein Modell nicht die richtige Teilmenge des anderen Modells ist. Ist die Schätzung der Modelle df immer einfach? Anzahl der...
Intro: Ich habe einen Datensatz mit einem klassischen "großen p, kleinen n-Problem". Die Anzahl der verfügbaren Stichproben n = 150, während die Anzahl der möglichen Prädiktoren p = 400 ist. Das Ergebnis ist eine kontinuierliche Variable. Ich möchte die "wichtigsten" Deskriptoren finden, dh...
Wenn ich versuche, zwischen verschiedenen Modellen oder der Anzahl von Merkmalen zu wählen, für die eine Vorhersage erforderlich ist, kann ich mir zwei Ansätze vorstellen. Teilen Sie die Daten in Trainings- und Testsätze auf. Besser noch, verwenden Sie Bootstrapping oder k-fach Kreuzvalidierung....
Ich führte eine 10-fache Kreuzvalidierung mit verschiedenen binären Klassifizierungsalgorithmen mit demselben Datensatz durch und erhielt sowohl mikro- als auch makromittelte Ergebnisse. Es sollte erwähnt werden, dass dies ein Mehrfachetiketten-Klassifizierungsproblem war. In meinem Fall werden...
Hinweis: Groß- / Kleinschreibung ist n >> p Ich lese Elemente des statistischen Lernens und es gibt verschiedene Erwähnungen über den "richtigen" Weg zur Kreuzvalidierung (z. B. Seite 60, Seite 245). Insbesondere ist meine Frage, wie das endgültige Modell (ohne einen separaten Testsatz) mit...
Mein Verständnis ist , dass , selbst wenn nach ordnungsgemäßem Kreuzvalidierung und Modellauswahlverfahren, Überanpassung wird , wenn man sucht nach einem Modell passiert schwer genug , wenn man nicht erlegt Beschränkungen Modellkomplexität, period. Darüber hinaus wird häufig versucht, aus den...
Ich habe über die k-fach-Validierung gelesen und möchte sicherstellen, dass ich verstehe, wie es funktioniert. Ich weiß, dass für die Holdout-Methode die Daten in drei Gruppen aufgeteilt werden und die Testgruppe nur ganz am Ende zur Bewertung der Leistung des Modells verwendet wird, während die...
Ich bin verwirrt darüber, wie die Daten für die k-fache Kreuzvalidierung des Ensemble-Lernens aufgeteilt werden sollen. Angenommen, ich habe einen Lernrahmen für die Klassifizierung von Ensembles. Meine erste Ebene enthält die Klassifizierungsmodelle, z. B. SVM, Entscheidungsbäume. Meine zweite...
Ich weiß, dass das Optimieren von Hyperparametern außerhalb der Kreuzvalidierung zu verzerrt hohen Schätzungen der externen Validität führen kann, da der Datensatz, mit dem Sie die Leistung messen, derselbe ist, den Sie zum Optimieren der Features verwendet haben. Ich frage mich, wie schlimm dieses...
Kann das R- caretPaket sowohl für das Modell alphaals auch lambdafür das glmnetModell eine Kreuzvalidierung durchführen? Diesen Code ausführen, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter...
Ich würde gerne wissen, ob die Verwendung geschichteter Stichproben anstelle von Zufallsstichproben einige Vorteile hat, wenn der ursprüngliche Datensatz in Trainings- und Testsätze für die Klassifizierung aufgeteilt wird. Bringt geschichtete Stichprobe mehr Verzerrung in den Klassifikator als...
Ich habe viel Zeit in die Entwicklung von Methoden und Software für die Validierung von Vorhersagemodellen im Bereich der traditionellen Statistik investiert. Wenn ich mehr Bayes'sche Ideen in die Praxis umsetze und unterrichte, sehe ich einige wesentliche Unterschiede, die ich berücksichtigen...
Ich teste verschiedene Klassifikatoren in einem Datensatz, in dem es 5 Klassen gibt und jede Instanz zu einer oder mehreren dieser Klassen gehören kann. Daher verwende ich speziell die Multi-Label-Klassifikatoren von scikit-learn sklearn.multiclass.OneVsRestClassifier. Jetzt möchte ich eine...
Ich verwende libsvm im C-SVC-Modus mit einem Polynomkern der Stufe 2 und muss mehrere SVMs trainieren. Jedes Trainingsset enthält 10 Features und 5000 Vektoren. Während des Trainings erhalte ich diese Warnung für die meisten SVMs, die ich trainiere: WARNING: reaching max number of...
Zwei gängige Ansätze zur Auswahl korrelierter Variablen sind Signifikanztests und Kreuzvalidierung. Welches Problem versucht jeder zu lösen und wann würde ich eins dem anderen
Präzision ist definiert als: p = true positives / (true positives + false positives) Ist es richtig, dass sich die Genauigkeit 1 nähert true positivesund false positivessich 0 nähert? Gleiche Frage zum Rückruf: r = true positives / (true positives + false negatives) Ich führe derzeit einen...
Unter der Annahme eines hierarchischen Modells möchte ich, dass ein zweistufiger Prozess zum Modell passt. Korrigieren Sie zuerst eine Handvoll Hyperparameter und führen Sie dann die Bayes'sche Inferenz für die restlichen Parameter . Zur Fixierung der Hyperparameter überlege ich mir zwei...
Ich passe ein Bayesianisches HLM in JAGS mit k-facher Kreuzvalidierung an (k = 5). Ich möchte wissen, ob die Schätzungen des Parameters über alle Falten hinweg stabil sind. Wie geht das am besten?ββ\beta Eine Idee ist es, die Unterschiede der Nachfolger von zu finden und festzustellen , ob 0 im...