Ich suche nach einer Erklärung, wie die relative variable Wichtigkeit in gradientenverstärkten Bäumen berechnet wird, die nicht allzu allgemein / simpel ist wie: Die Kennzahlen basieren auf der Häufigkeit, mit der eine Variable zum Teilen ausgewählt wurde, gewichtet durch die quadratische...
Obwohl diese Frage etwas subjektiv ist, hoffe ich, dass sie sich als gute subjektive Frage gemäß den FAQ-Richtlinien eignet . Es basiert auf einer Frage, die Olle Häggström mir vor einem Jahr gestellt hat, und obwohl ich einige Gedanken dazu habe, habe ich keine definitive Antwort und würde mich...
Ich versuche, ein selbstgesteuertes Mathematik-Curriculum zusammenzustellen, um mich auf das Erlernen von Data Mining und maschinellem Lernen vorzubereiten. Dies ist darauf zurückzuführen , dass ich Andrew Ngs Maschinenlernkurs in Coursera begonnen habe und das Gefühl hatte, dass ich meine...
Betrachten wir zum Beispiel ein lineares Regressionsmodell. Ich habe gehört, dass es beim Data Mining nach einer schrittweisen Auswahl auf der Grundlage des AIC-Kriteriums irreführend ist, die p-Werte zu betrachten, um die Nullhypothese zu testen, dass jeder wahre Regressionskoeffizient Null ist....
Ich würde gerne verstehen, was der Hauptunterschied in der Implementierung zwischen Standard- und sphärischen K-Mittel-Clustering-Algorithmen ist. In jedem Schritt berechnet k-means die Abstände zwischen Elementvektoren und Cluster-Schwerpunkten und ordnet das Dokument diesem Cluster zu, dessen...
Derzeit muss ich ungefähr 20 Millionen Datensätze analysieren und Vorhersagemodelle erstellen. Bisher habe ich Statistica, SPSS, RapidMiner und R ausprobiert. Unter diesen scheint Statistica am besten für das Data Mining geeignet zu sein, und die RapidMiner-Benutzeroberfläche ist ebenfalls sehr...
Ich bin ein Master-CS-Student an einer deutschen Universität und schreibe gerade meine Abschlussarbeit. Ich werde in zwei Monaten fertig sein. Ich muss die sehr schwierige Entscheidung treffen, ob ich weiter promovieren oder einen Job in der Branche finden soll. Meine Gründe für eine Promotion: Ich...
Stellen Sie sich ein Szenario vor, in dem Sie mit KnownLabel Matrix und PredictedLabel Matrix ausgestattet sind. Ich möchte die Güte der PredictedLabel-Matrix mit der KnownLabel-Matrix vergleichen. Die Herausforderung hierbei ist jedoch, dass die KnownLabel-Matrix nur wenige Zeilen mit einer 1 und...
Ich untersuche verschiedene Techniken, die beim Clustering von Dokumenten zum Einsatz kommen, und möchte einige Zweifel in Bezug auf PCA (Principal Component Analysis) und LSA (Latent Semantic Analysis) klären. Erste Sache - was sind die Unterschiede zwischen ihnen? Ich weiß, dass in PCA die...
Ich sehe, dass beide Funktionen Teil von Data Mining-Methoden wie Gradient Boosting Regressors sind. Ich sehe, dass dies auch separate Objekte sind. Wie ist die Beziehung zwischen beiden im
Was ist der Unterschied zwischen der negativen Binomialverteilung und der Binomialverteilung? Ich habe versucht, online zu lesen, und festgestellt, dass die negative Binomialverteilung verwendet wird, wenn Datenpunkte diskret sind, aber ich denke, dass sogar die Binomialverteilung für diskrete...
Ich möchte K-Means-Clustering für Objekte ausführen, die ich habe, aber die Objekte werden nicht als Punkte im Raum beschrieben, dh nach objects x featuresDatensatz. Ich kann jedoch den Abstand zwischen zwei beliebigen Objekten berechnen (er basiert auf einer Ähnlichkeitsfunktion). Also verfüge ich...
Der folgende Auszug ist aus Schwagers Hedge Fund Market Wizzards (Mai 2012), einem Interview mit dem durchweg erfolgreichen Hedge Fund Manager Jaffray Woodriff: Auf die Frage: "Was sind die schlimmsten Fehler, die Menschen beim Data Mining machen?": Viele Leute denken, dass sie in Ordnung sind,...
Die Daten haben viele Funktionen (z. B. 100) und die Anzahl der Instanzen liegt bei 100.000. Die Daten sind spärlich. Ich möchte die Daten mit logistischer Regression oder SVM anpassen. Woher weiß ich, ob Features linear oder nicht linear sind, sodass ich den Kernel-Trick verwenden kann, wenn er...
Angenommen, Sie analysieren einen riesigen Datensatz mit Milliarden von Beobachtungen pro Tag, wobei jede Beobachtung einige Tausend spärliche und möglicherweise redundante numerische und kategoriale Variablen enthält. Angenommen, es gibt ein Regressionsproblem, ein Problem der unausgeglichenen...
Ich lese Bishop über den EM-Algorithmus für GMM und die Beziehung zwischen GMM und k-means. In diesem Buch heißt es, dass k-means eine schwer zuzuordnende Version von GMM ist. Ich frage mich, ob dies bedeutet, dass ich k-means nicht verwenden kann (oder zumindest nicht verwenden kann), wenn die...
Fast jedes Entscheidungsbaum-Beispiel, auf das ich gestoßen bin, ist zufällig ein Binärbaum. Ist das so ziemlich universell? Unterstützen die meisten Standardalgorithmen (C4.5, CART usw.) nur binäre Bäume? Soweit ich weiß, ist CHAID nicht auf binäre Bäume beschränkt, aber das scheint eine Ausnahme...
Hinweis: Groß- / Kleinschreibung ist n >> p Ich lese Elemente des statistischen Lernens und es gibt verschiedene Erwähnungen über den "richtigen" Weg zur Kreuzvalidierung (z. B. Seite 60, Seite 245). Insbesondere ist meine Frage, wie das endgültige Modell (ohne einen separaten Testsatz) mit...
Diese Frage wurde von Mathematics Stack Exchange migriert, da sie auf Cross Validated beantwortet werden kann. Vor 8 Jahren migriert . Ich versuche, ein Data-Mining-Paket für StackExchange-Sites zusammenzustellen, und insbesondere stecke ich fest, um die
"Fernüberwachung" ist ein Lernschema, bei dem ein Klassifikator anhand eines schwach gekennzeichneten Trainingssatzes gelernt wird (Trainingsdaten werden automatisch anhand von Heuristiken / Regeln gekennzeichnet). Ich denke, dass sowohl beaufsichtigtes Lernen als auch semi-beaufsichtigtes Lernen...