Ich möchte eine Dokumentklassifizierung durchführen, indem ich jedes Dokument als eine Reihe von Funktionen darstelle. Ich weiß, dass es viele Möglichkeiten gibt: BOW, TFIDF, ... Ich möchte Latent Dirichlet Allocation (LDA) verwenden, um die Themenschlüsselwörter von JEDEM EINZELNEN Dokument zu...
Das Lasso und das elastische Netz können keine Variablen mit mehr als zwei Kategorien verarbeiten. Daher ist für die Anwendung dieser Methoden eine Aufteilung der kategorialen Variablen in Dummies erforderlich. Dies kann zu mehreren Problemen führen, und daher gibt es Erweiterungen für das Lasso...
Ich möchte eine hierarchische GLM schätzen, aber mit Merkmalsauswahl, um zu bestimmen, welche Kovariaten auf Bevölkerungsebene relevant sind, um sie einzubeziehen. Angenommen, ich habe GGG Gruppen mit NNN Beobachtungen und KKK möglichen Kovariaten. Das heißt, ich habe eine Entwurfsmatrix von...
Wir haben eine Antwort Y∈RnY∈RnY \in \Bbb R^n und Prädiktoren X=(x1,x2,⋯,xm)T∈Rn×mX=(x1,x2,⋯,xm)T∈Rn×mX = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m} Das Problem, das wir lösen wollen, ist argmink∈Rm(∥Y−Xk∥22+λ∥k∥0)→k0argmink∈Rm(‖Y−Xk‖22+λ‖k‖0)→k0\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y -...
Betrachten Sie die multiple lineare Regression. Diese Frage mag täuschend einfach sein, aber ich versuche intuitiv zu verstehen, warum, wenn ich beispielsweise Prädiktoren X1 und X2 habe, Interaktionen zwischen diesen Prädiktoren von X1 * X2 angemessen erfasst werden können. Ich weiß, dass...
Ich habe ein konzeptionelles Problem mit dem Verständnis, wie eine schrittweise logistische Regression validiert werden kann. Jedes Mal, wenn der Trainingssatz geteilt wird, ist es sehr wahrscheinlich, dass unterschiedliche Merkmale basierend auf den Kriterien für Penter und Premove ausgewählt...
Ich habe einen SVM- und logistischen Regressionsklassifikator für die binäre Klassifizierung in meinem Datensatz trainiert. Beide Klassifikatoren liefern einen Gewichtsvektor, der der Größe der Anzahl von Merkmalen entspricht. Ich kann diesen Gewichtsvektor verwenden, um die 10 wichtigsten Merkmale...
Ich benutze das bigrfR-Paket, um einen Datensatz mit ca. zu analysieren. 50.000 Beobachtungen x 120 Variablen, klassifiziert in zwei Gruppen. Nachdem ich einen Wald mit 1000 Bäumen gezüchtet habe, untersuche ich die Bedeutung und Beziehung der 120 Merkmale in Bezug auf die beiden Klassen mit den...
Ich betrachte ein Regressionsmodell, bei dem eine sehr große Anzahl möglicher erklärender Variablen bewertet wird und schließlich eine kleine Anzahl über die Lasso-Methode der Variablenauswahl ausgewählt wird. Dasλλ\lambda Der Abstimmungsparameter im Lasso wird anhand der Leistung der...
Die Software, die ich derzeit zum Erstellen eines Modells verwende, vergleicht ein "aktuelles Lauf" -Modell mit einem "Referenzmodell" und meldet (falls zutreffend) sowohl einen Chi-Quadrat-p-Wert basierend auf Likelihood-Ratio-Tests als auch AIC-Werte für jedes Modell. Ich weiß, dass ein Vorteil...
Ich versuche mithilfe der Hauptkomponentenanalyse zu untersuchen, ob es möglich ist, mit gutem Vertrauen zu erraten, aus welcher Population ("Aurignacian" oder "Gravettian") ein neuer Datenpunkt stammt. Ein Datenpunkt wird durch 28 Variablen beschrieben, von denen die meisten relative Häufigkeiten...
Normalerweise arbeite ich mehr auf der Seite der Effektschätzung / kausalen Inferenz von Dingen, wo die Leute mit der Mehrfachzuschreibung für fehlende Daten ziemlich vertraut sind, aber im Moment arbeite ich an einem Projekt, das mehr auf der Seite des maschinellen Lernens liegt. Wir erwarten,...