Ich weiß, dass ich die Daten in Trainings- / Testsätze aufteilen muss, um auf die Leistung des Klassifikators zugreifen zu können. Aber dies zu lesen : Bei der Auswertung verschiedener Einstellungen („Hyperparameter“) für Schätzer, z. B. der C-Einstellung, die für eine SVM manuell festgelegt...
Ich benutze cv.glmnet, um Prädiktoren zu finden. Das Setup, das ich verwende, ist wie folgt: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients")
Angenommen, ich mache eine K-fache Kreuzvalidierung mit K = 10 Falten. Es wird eine Verwirrungsmatrix für jede Falte geben. Soll ich beim Berichten der Ergebnisse die durchschnittliche Verwirrungsmatrix berechnen oder nur die Verwirrungsmatrizen
Um ein Konfidenzniveau auf eine Wahrscheinlichkeit beim überwachten Lernen zu kalibrieren (z. B. um das Vertrauen aus einer SVM oder einem Entscheidungsbaum unter Verwendung von überabgetasteten Daten abzubilden), besteht eine Methode in der Verwendung der Plattschen Skalierung (z. B. Erhalten...
Erstens, Entschuldigung für das Posten einer Frage, die hier , hier , hier , hier , hier bereits ausführlich besprochen wurde, und zum Aufwärmen eines alten Themas. Ich weiß, dass @DikranMarsupial ausführlich über dieses Thema in Beiträgen und Fachzeitschriften geschrieben hat, aber ich bin immer...
Ich verwende SVM-Modelle zur kurzfristigen Vorhersage von Luftschadstoffen. Um ein neues Modell zu trainieren, muss ich geeignete Metaparameter für ein SVM-Modell finden (ich meine C, Gamma usw.). In der Libsvm-Dokumentation (und in vielen anderen Büchern, die ich gelesen habe) wird vorgeschlagen,...
Angenommen, ich habe normalverteilte Daten. Für jedes Element der Daten möchte ich überprüfen, wie viele SDs vom Mittelwert entfernt sind. Es kann einen Ausreißer in den Daten geben (wahrscheinlich nur einen, aber möglicherweise auch zwei oder drei) oder nicht, aber dieser Ausreißer ist im Grunde...
Ich bin auf diesen Thread gestoßen und habe mir die Unterschiede zwischen Bootstrapping und Cross Validation angesehen - tolle Antwort und Referenzen übrigens. Was mich jetzt wundert, ist, wenn ich einen wiederholten 10-fachen Lebenslauf durchführen sollte, um die Genauigkeit eines Klassifikators...
Wenn ich Daten habe und eine Klassifizierung (sagen wir zufällige Gesamtstruktur für diese Daten) mit Kreuzvalidierung (sagen wir 5-fach) durchführe, kann ich dann den Schluss ziehen, dass meine Methode keine Überanpassung
Kann mir jemand sagen, was genau eine Kreuzvalidierungsanalyse als Ergebnis ergibt? Ist es nur die durchschnittliche Genauigkeit oder gibt es ein Modell mit eingestellten Parametern? Ich habe nämlich irgendwo gehört, dass die Kreuzvalidierung für die Parametereinstellung verwendet...
Ich habe eine wiederholte k-fache Kreuzvalidierung verwendet und den Mittelwert (der Bewertungsmetrik, z. B. Sensitivität, Spezifität) angegeben, der als Gesamtmittelwert über die Falten verschiedener Läufe der Kreuzvalidierung berechnet wurde. Ich bin mir jedoch nicht sicher, wie ich die Varianz...
Ich bin auf diesen Artikel von Gitte Vanwinckelen und Hendrik Blockeel aus dem Jahr 2012 gestoßen, in dem die Nützlichkeit der wiederholten Kreuzvalidierung in Frage gestellt wurde. Die Autoren haben gezeigt, dass wiederholte Kreuzvalidierungen zwar die Varianz der Modellvorhersagen verringern, der...
Wenn Sie eine nichtlineare Funktion an eine Menge von Punkten anpassen (vorausgesetzt, es gibt nur eine Ordinate für jede Abszisse), kann das Ergebnis entweder sein: eine sehr komplexe Funktion mit kleinen Residuen eine sehr einfache Funktion mit großen Residuen Kreuzvalidierung wird häufig...
Das Caret- Paket ist eine brillante R-Bibliothek zum Erstellen mehrerer maschineller Lernmodelle und verfügt über mehrere Funktionen zum Erstellen und Bewerten von Modellen. Für die Parametereinstellung und das Modelltraining bietet das Caret-Paket "repeatedcv" als eine der Methoden an. Als...
Hat das Normalisieren von Daten (um einen Mittelwert von Null und eine Standardabweichung von Eins zu haben) vor dem Durchführen einer wiederholten Kreuzvalidierung eine negative Konsequenz, wie beispielsweise eine Überanpassung? Hinweis: Dies gilt für eine Situation, in der #cases> total...
Ich habe einen Datensatz von 120 Proben in einer 10-fachen Kreuzvalidierungseinstellung. Derzeit wähle ich die Trainingsdaten des ersten Holdouts aus und führe eine 5-fache Kreuzvalidierung durch, um die Werte von Gamma und C durch Gittersuche zu ermitteln. Ich verwende SVM mit RBF-Kernel. Führen...
Ich habe die folgenden Beiträge zur geschachtelten Kreuzvalidierung gelesen und bin mir immer noch nicht 100% sicher, was ich mit der Modellauswahl mit geschachtelter Kreuzvalidierung tun soll: Verschachtelte Kreuzvalidierung für die Modellauswahl Modellauswahl und Kreuzvalidierung: Der richtige...
Ich habe mir gerade einen Vortrag aus dem Kurs über maschinelles Lernen auf Coursera noch einmal angesehen. In dem Abschnitt, in dem der Professor PCA für die Vorverarbeitung von Daten in beaufsichtigten Lernanwendungen bespricht, sagt er, dass PCA nur für die Trainingsdaten durchgeführt werden...
Ich bin ziemlich neu in zufälligen Wäldern. In der Vergangenheit habe ich immer die Genauigkeit von Fit vs. Test mit Fit vs. Zug verglichen , um eine Überanpassung festzustellen. Aber ich habe gerade hier gelesen , dass: "In zufälligen Gesamtstrukturen ist keine Kreuzvalidierung oder ein separater...
Ich habe eine spezielle Frage zur Validierung in der maschinellen Lernforschung. Wie wir wissen, fordert das Regime des maschinellen Lernens die Forscher auf, ihre Modelle anhand der Trainingsdaten zu trainieren, anhand des Validierungssatzes aus den Kandidatenmodellen auszuwählen und die...