Ich mache eine explorative Datenanalyse (EDA) für einen Datensatz. Dann werde ich einige Features auswählen, um eine abhängige Variable vorherzusagen. Die Frage ist: Soll ich die EDA nur für meinen Trainingsdatensatz durchführen? Oder sollte ich die Trainings- und Testdatensätze zusammenfügen und...
Vielleicht bin ich nur müde, aber ich habe Probleme, den Forward Stagewise Regression-Algorithmus zu verstehen. Aus "Elemente des statistischen Lernens" Seite 60: Die vorwärts-stufenweise Regression (FS) ist noch stärker eingeschränkt als die vorwärts-schrittweise Regression. Es beginnt wie eine...
Ich dachte, ich könnte mit einer Bayes'schen Variablenauswahl spielen, wenn ich einem netten Blog-Beitrag und den darin verlinkten Artikeln folge. Ich habe ein Programm in rjags (wo ich ein ziemlicher Neuling bin) geschrieben und Preisdaten für Exxon Mobil abgerufen , zusammen mit einigen Dingen,...
Ich habe eine Liste von Proteinen mit ihren Merkmalswerten. Eine Beispieltabelle sieht folgendermaßen aus: ...............Feature1...Feature2...Feature3...Feature4 Protein1 Protein2 Protein3 Protein4 Zeilen sind Proteine und Spalten sind Merkmale. Ich habe auch eine Liste von Proteinen,...
Ich benutze das Paket 'lars' in R mit dem folgenden Code: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Ich lese über die Auswahl der besten Teilmengen im Buch Elemente des statistischen Lernens. Wenn ich 3 Prädiktoren , erstelle ich 2 3 = 8 Teilmengen:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Teilmenge ohne Prädiktoren Teilmenge mit Prädiktor x1x1x_1 Teilmenge mit Prädiktor x2x2x_2 Teilmenge mit...
Eine der Beweggründe für das elastische Netz war die folgende Einschränkung von LASSO: Im Fall p>np>np > n wählt das Lasso aufgrund der Art des konvexen Optimierungsproblems höchstens n Variablen aus, bevor es gesättigt wird. Dies scheint ein einschränkendes Merkmal für eine variable...
Ich habe gelesen, dass das Gruppen-Lasso für die Variablenauswahl und die Sparsamkeit in einer Gruppe von Variablen verwendet wird. Ich möchte die Intuition hinter dieser Behauptung kennen. Warum wird Gruppenlasso dem Lasso vorgezogen? Warum ist der Lösungsweg des Gruppen-Lassos nicht stückweise...
Insbesondere im Zusammenhang mit Kaggle-Wettbewerben habe ich festgestellt, dass es bei der Leistung des Modells ausschließlich um die Auswahl / Entwicklung von Funktionen geht. Ich kann zwar vollständig verstehen, warum dies bei den konventionelleren / altmodischen ML-Algorithmen der Fall ist,...
In der Vergangenheit war die schrittweise Regression in vielen biomedizinischen Veröffentlichungen überstrapaziert. Dies scheint sich jedoch durch eine bessere Aufklärung der zahlreichen Themen zu verbessern. Viele ältere Rezensenten fragen jedoch noch danach. Unter welchen Umständen spielt die...
Soweit ich weiß, ist die Variablenauswahl basierend auf p-Werten (zumindest im Regressionskontext) stark fehlerhaft. Es sieht so aus, als ob die Variablenauswahl basierend auf AIC (oder ähnlichem) auch von einigen aus ähnlichen Gründen als fehlerhaft angesehen wird, obwohl dies ein wenig unklar...
Ich weiß, dass sowohl die Merkmalsauswahl als auch die Dimensionsreduzierung darauf abzielen, die Anzahl der Merkmale im ursprünglichen Merkmalssatz zu reduzieren. Was ist der genaue Unterschied zwischen den beiden, wenn wir in beiden dasselbe
Ich versuche, eine Vorstellung davon zu bekommen, warum das Erhöhen der Anzahl von Funktionen die Leistung verringern kann. Ich verwende derzeit einen LDA-Klassifikator, der bei bestimmten Funktionen eine bessere zweigeteilte Leistung erbringt, bei mehr Funktionen jedoch eine schlechtere Leistung....
Ich habe eine logistische Regression mit dem IRLS-Algorithmus programmiert . Ich möchte eine LASSO-Bestrafung anwenden , um automatisch die richtigen Funktionen auszuwählen. Bei jeder Iteration wird Folgendes gelöst: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right)...
Ich habe Daten mit einigen tausend Features und möchte eine rekursive Feature-Auswahl (RFE) durchführen, um nicht informative zu entfernen. Ich mache das mit Caret und RFE. Ich begann jedoch zu überlegen, wann ich die Parameterabstimmung ( mtryfür RF) durchführen soll, wenn ich die beste...
Ich verstehe, dass das Grundprinzip des Algorithmus für LLE aus drei Schritten besteht. Ermitteln der Nachbarschaft jedes Datenpunkts anhand einer Metrik wie k-nn. Suchen Sie für jeden Nachbarn Gewichte, die die Auswirkung des Nachbarn auf den Datenpunkt angeben. Konstruieren Sie die niedrig...
Ich habe einige Datenpunkte, die jeweils 5 Vektoren agglomerierter diskreter Ergebnisse enthalten, wobei die Ergebnisse jedes Vektors durch eine andere Verteilung generiert werden (die spezifische Art, von der ich nicht sicher bin, ist Weibull, wobei der Formparameter etwa exponentiell zur Potenz...
Ich verstehe also, dass die Variablenauswahl Teil der Modellauswahl ist. Woraus besteht die Modellauswahl genau? Ist es mehr als das Folgende: 1) Wählen Sie eine Distribution für Ihr Modell 2) erklärende Variablen wählen,? Ich frage dies, weil ich einen Artikel von Burnham & Anderson lese : AIC...
Verschlossen . Diese Frage und ihre Antworten sind gesperrt, da die Frage nicht zum Thema gehört, aber von historischer Bedeutung ist. Derzeit werden keine neuen Antworten oder Interaktionen akzeptiert. Ich bin sehr neu in R. Ich lerne gerade maschinelles Lernen. Es tut...
Feature Engineering ist oft ein wichtiger Bestandteil des maschinellen Lernens (es wurde stark genutzt, um den KDD Cup 2010 zu gewinnen ). Ich finde jedoch, dass die meisten Feature-Engineering-Techniken entweder Zerstören Sie jede intuitive Bedeutung der zugrunde liegenden Funktionen oder sind...