Als «data-mining» getaggte Fragen

9

Berechnen Sie die ROC-Kurve für Daten

Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv: Trial Hamming Distance 1 0.34 2 0.37 3...

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

9

Erste Schritte mit Biclustering

Ich habe gelegentlich im Internet über Bikluster recherchiert. (Ich habe den Wiki-Artikel mehrmals gelesen.) Bisher scheint es nur wenige Definitionen oder Standardterminologien zu geben. Ich habe mich gefragt, ob es Standardpapiere oder -bücher gibt, die jeder lesen sollte, der sich für...

clustering data-mining

9

Ist Random Forest eine gute Option für die Klassifizierung unausgeglichener Daten? [geschlossen]

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 3 Jahren . Kann die zufällige...

machine-learning classification data-mining supervised-learning statistical-learning

9

Best Practices zum Messen und Vermeiden von Überanpassungen?

Ich entwickle automatisierte Handelssysteme für die Börse. Die große Herausforderung war die Überanpassung. Können Sie einige Ressourcen empfehlen, die Methoden zur Messung und Vermeidung von Überanpassungen beschreiben? Ich habe mit Trainings- / Validierungssätzen begonnen, aber der...

time-series machine-learning dataset data-mining validation

9

Apriori-Algorithmus im Klartext?

Ich habe einen Wiki-Artikel über Apriori gelesen. Ich habe Probleme beim Verstehen des Pflaumen- und Join-Schritts. Kann mir jemand erklären, wie der Apriori-Algorithmus in einfachen Worten funktioniert (so dass Anfänger wie ich ihn leicht verstehen können)? Es ist gut, wenn jemand den damit...

data-mining algorithms frequentist

9

Wie kann man schnell wichtige Variablen aus einem sehr großen Datensatz auswählen?

Ich habe einen Datensatz mit ungefähr 2.000 binären Variablen / 200.000 Zeilen und versuche, eine einzelne binär abhängige Variable vorherzusagen. Mein Hauptziel in dieser Phase ist nicht die Genauigkeit der Vorhersage, sondern die Identifizierung, welche dieser Variablen wichtige Prädiktoren sind....

machine-learning data-mining large-data

9

Was kann ich über die Pearson-Korrelation hinaus tun?

Bei der Überprüfung, ob zwei Variablen korreliert waren, stellte ich fest, dass die Anwendung der Pearson-Korrelation Zahlen von nur 0,1 ergab, was darauf hinweist, dass keine Korrelation besteht. Kann ich irgendetwas tun, um diesen Anspruch zu stärken? Der Datensatz (Teilmenge aufgrund der...

correlation data-mining pearson-r

9

Entfernen Sie Duplikate aus dem Trainingssatz zur Klassifizierung

Nehmen wir an, ich habe eine Reihe von Zeilen für ein Klassifizierungsproblem: X1,...XN,YX1,...XN,YX_1, ... X_N, Y Wobei die Merkmale / Prädiktoren sind und die Klasse ist, zu der die Merkmalskombination der Zeile gehört.X1,...,XNX1,...,XNX_1, ..., X_NYYY Viele Feature-Kombinationen und ihre...

machine-learning classification data-mining logistic stratification

9

Stimmungsanalyse verstehen und anwenden

Mir wurde gerade ein Projekt zur Durchführung von Stimmungsanalysen für einige Dokumentensammlungen zugewiesen. Durch Googeln ist eine Menge sentimentaler Forschung aufgetaucht. Meine Fragen sind: Was sind die wichtigsten Methoden / Algorithmen für die Stimmungsanalyse im Bereich des maschinellen...

machine-learning data-mining text-mining information-retrieval sentiment-analysis

9

Verwendung des Gamma-Parameters mit Support-Vektor-Maschinen

Bei Verwendung libsvmist der Parameter ein Parameter für die Kernelfunktion. Der Standardwert istγγ\gammaγ= 1Anzahl der Funktionen.γ=1number of features.\gamma = \frac{1}{\text{number of features.}} Gibt es neben den vorhandenen Methoden, z. B. der Rastersuche, theoretische Anleitungen zum...

machine-learning svm data-mining libsvm kernel-trick

9

Ermittlung des größten Beitrags in einer Gruppe

Ich weiß nicht viel über Statistiken, also nimm sie mit. Nehmen wir an, ich habe 1000 Arbeiter. Ich möchte herausfinden, wer der härteste Arbeiter ist, aber ich kann nur den Arbeitsaufwand messen, der in Gruppen von 1 bis 100 Personen über eine Arbeitsstunde erledigt wird. Angenommen, jeder...

r regression data-mining

9

Hilft Preclustering dabei, ein besseres Vorhersagemodell zu erstellen?

Für die Aufgabe der Abwanderungsmodellierung habe ich Folgendes in Betracht gezogen: Berechnen Sie k Cluster für die Daten Erstellen Sie k Modelle für jeden Cluster einzeln. Der Grund dafür ist, dass es nichts zu beweisen gibt, dass die Population der Abonnenten homogen ist, so dass es vernünftig...

machine-learning clustering data-mining predictive-models

9

SVM-Kostenfunktion: alte und neue Definitionen

Ich versuche, verschiedene Definitionen der SVM-Kosten-Verlust-Funktion mit weichen Margen in ursprünglicher Form miteinander in Einklang zu bringen. Es gibt einen "max ()" - Operator, den ich nicht verstehe. Ich habe vor vielen Jahren aus dem Lehrbuch " Introduction to Data Mining " von Tan,...

machine-learning classification svm data-mining loss-functions

9

Sehr unausgeglichener Testdatensatz und ausgewogene Trainingsdaten in der Klassifizierung

Ich habe ein Trainingsset mit ungefähr 3000 positiven und 3000 negativen Instanzen. Aber mein Testdatensatz ist ziemlich unausgeglichen. Der positive Satz hat nur 50 Instanzen und der negative 1500 Instanzen. Dies führt dazu, dass die Genauigkeit sehr gering ist. Gibt es Ansätze zur Lösung dieses...

machine-learning classification data-mining svm

9

Verwendung von Text Mining / Tools zur Verarbeitung natürlicher Sprache für die Ökonometrie

Ich bin mir nicht sicher, ob diese Frage hier völlig angemessen ist. Wenn nicht, bitte löschen. Ich bin ein Student der Wirtschaftswissenschaften. Für ein Projekt, das Probleme in der Sozialversicherung untersucht, habe ich Zugang zu einer großen Anzahl von administrativen Fallberichten (>...

machine-learning data-mining econometrics text-mining natural-language

9

Auswahl eines k-Werts für die LOF-Erkennungsanalyse (Local Outlier Factor)

Ich habe eine Reihe dreidimensionaler Daten und versuche, mithilfe der lokalen Ausreißerfaktoranalyse die eindeutigsten oder seltsamsten Werte zu identifizieren. Wie entscheidet man den k-Wert für die LOF-Analyse? Ich verstehe, was der k-Wert bestimmt, und bin daher nicht überrascht, dass ich mit...

data-mining outliers

9

Erfassen CART-Bäume Interaktionen zwischen Prädiktoren?

In diesem Artikel wird behauptet, dass in CART, da bei jedem Schritt eine binäre Aufteilung an einer einzelnen Kovariate durchgeführt wird, alle Aufteilungen orthogonal sind und daher Wechselwirkungen zwischen Kovariaten nicht berücksichtigt werden. Viele sehr ernsthafte Referenzen behaupten jedoch...

machine-learning classification data-mining cart

9

Out-of-Bag-Fehlerschätzung zum Boosten?

In Random Forest wird jeder Baum parallel auf einer eindeutigen Boostrap-Stichprobe der Daten gezüchtet. Da erwartet wird, dass jede Boostrap-Probe ungefähr 63% der eindeutigen Beobachtungen enthält, bleiben ungefähr 37% der Beobachtungen aus, die zum Testen des Baums verwendet werden können. Nun...

machine-learning cross-validation data-mining random-forest boosting

8

Cluster in einer binären Sequenz erkennen

Ich habe eine binäre Sequenz wie 11111011011110101100000000000100101011011111101111100000000000011010100000010000000011101111 Wo auf Cluster von meistens Einsen eine größere Anzahl von Nullen folgt, wie im Bild unten (Schwarz steht für 1): Ich möchte eine Technik anwenden (vorzugsweise in R oder in...

classification clustering data-mining pattern-recognition binary-data

8

Wann ist es angebracht, PCA als Vorverarbeitungsschritt zu verwenden?

Ich verstehe, dass PCA zur Reduzierung der Dimensionalität verwendet wird, um Datensätze in 2D oder 3D zeichnen zu können. Ich habe aber auch Leute gesehen, die PCA als Vorverarbeitungsschritt in Klassifizierungsszenarien anwenden, in denen sie PCA anwenden, um die Anzahl der Merkmale zu...

machine-learning pca data-mining dimensionality-reduction