Data Mining verwendet Methoden der künstlichen Intelligenz in einem Datenbankkontext, um bisher unbekannte Muster zu ermitteln. Daher sind die Methoden normalerweise unbeaufsichtigt. Es ist eng verwandt, aber nicht identisch mit maschinellem Lernen. Hauptaufgaben des Data Mining sind die Clusteranalyse, die Erkennung von Ausreißern und das Mining von Zuordnungsregeln.
K-means ist eine weit verbreitete Methode in der Clusteranalyse. Nach meinem Verständnis erfordert diese Methode KEINE Annahmen, dh, Sie geben mir einen Datensatz und eine vorgegebene Anzahl von Clustern, k, und ich wende nur diesen Algorithmus an, der die Summe der Fehlerquadrate (SSE) im Quadrat...
Was ist der Unterschied zwischen Data Mining, Statistik, maschinellem Lernen und KI? Wäre es richtig zu sagen, dass es sich um vier Bereiche handelt, die versuchen, sehr ähnliche Probleme mit unterschiedlichen Ansätzen zu lösen? Was genau haben sie gemeinsam und wo unterscheiden sie sich? Wenn es...
Ich lese gerade ein Data-Mining-Buch, in dem die Kappa-Statistik als Mittel zur Bewertung der Prognoseleistung von Klassifikatoren erwähnt wurde. Das kann ich aber einfach nicht verstehen. Ich habe auch Wikipedia überprüft, aber es hat auch nicht geholfen:
Zufällige Wälder gelten als Black Boxes, aber in letzter Zeit habe ich darüber nachgedacht, welches Wissen aus einem zufälligen Wald gewonnen werden kann. Das offensichtlichste ist die Wichtigkeit der Variablen. In der einfachsten Variante kann dies einfach durch Berechnen der Anzahl der Vorkommen...
Ich habe mich eine Zeit lang sehr für Data-Mining und maschinelles Lernen interessiert , zum Teil, weil ich in der Schule einen Schwerpunkt in diesem Bereich hatte, aber auch, weil ich wirklich viel aufgeregter bin, Probleme zu lösen, die ein bisschen mehr Gedanken erfordern als nur Programmieren...
Ich habe irgendwo gesehen, dass klassische Entfernungen (wie die euklidische Entfernung) schwach diskriminierend werden, wenn wir mehrdimensionale und spärliche Daten haben. Warum? Haben Sie ein Beispiel für zwei spärliche Datenvektoren, bei denen die euklidische Distanz nicht gut funktioniert? In...
Für eine Simulationsstudie muss ich Zufallsvariablen generieren, die eine vorab festgelegte (Populations-) Korrelation zu einer vorhandenen Variablen .Y.YY Ich sah in die RPakete copulaund CDVineder Zufall multivariate Verteilungen mit einer bestimmten Abhängigkeitsstruktur erzeugen kann. Es ist...
Es scheint, dass Data Mining und maschinelles Lernen so populär wurden, dass mittlerweile fast jeder CS-Student über Klassifikatoren, Clustering, statistische NLPs usw. Bescheid weiß. Meine Frage lautet: Welche Fähigkeiten könnte ein Data Miner erlernen, die ihn von den anderen unterscheiden? Ihn...
Wenn Sie versuchen, Modelle an ein großes Dataset anzupassen, besteht der allgemeine Rat darin, die Daten in drei Teile zu unterteilen: das Training, die Validierung und das Test-Dataset. Dies liegt daran, dass die Modelle normalerweise drei "Parameterebenen" haben: Der erste "Parameter" ist die...
Hat jemand Erfahrung mit Software (am besten kostenlos, am besten Open Source), die ein Bild von Daten aufnimmt, die auf kartesischen Koordinaten aufgezeichnet sind (ein normaler, alltäglicher Plot), und die Koordinaten der Punkte extrahiert, die in der Grafik aufgezeichnet sind? Dies ist im...
Oder eher "wird es sein"? Big Data macht Statistiken und relevantes Wissen umso wichtiger, scheint aber die Stichprobentheorie zu unterschätzen. Ich habe diesen Hype um 'Big Data' gesehen und frage mich, warum ich alles analysieren möchte . Gab es nicht einen Grund, warum "Sampling Theory"...
Ich weiß, das klingt vielleicht nicht nach einem Thema, aber hör mir zu. Bei Stack Overflow und hier bekommen wir Stimmen für Beiträge, dies wird alles in tabellarischer Form gespeichert. Z.B: post id voter id vote type datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3...
Ich habe Algorithmen zum Clustering von Daten (unbeaufsichtigtes Lernen) untersucht: EM und k-means. Ich lese ständig Folgendes: k-means ist eine Variante von EM mit der Annahme, dass Cluster sphärisch sind. Kann jemand den obigen Satz erklären? Ich verstehe nicht, was sphärisch bedeutet und wie...
Gibt es in Bezug auf unbeaufsichtigtes Lernen (wie Clustering) Metriken zur Bewertung der
Ich mache mich in Statistiken nur nass, also tut es mir leid, wenn diese Frage keinen Sinn ergibt. Ich habe Markov-Modelle verwendet, um versteckte Zustände (unfaire Casinos, Würfelwürfe usw.) und neuronale Netze vorherzusagen und die Klicks der Benutzer auf eine Suchmaschine zu untersuchen. Beide...
"Big Data" ist in den Medien allgegenwärtig. Alle sagen, dass "Big Data" die große Sache für 2012 ist, z. B. die KDNuggets-Umfrage zu aktuellen Themen für 2012 . Ich habe hier jedoch tiefe Bedenken. Mit Big Data scheint jeder glücklich zu sein, nur etwas herauszubekommen. Aber verstoßen wir nicht...
Ich habe viele Websites durchsucht, um zu wissen, was Lift genau bewirkt. Die Ergebnisse, die ich gefunden habe, handelten von der Verwendung in Anwendungen, die sich nicht von selbst unterscheiden. Ich kenne die Unterstützungs- und Vertrauensfunktion. Laut Wikipedia ist Lift beim Data Mining ein...
Ich schaue mir einige Vorlesungsfolien zu einem datenwissenschaftlichen Kurs an, die hier zu finden sind: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Ich kann das Video für diesen Vortrag leider nicht sehen und an einer Stelle auf der Folie hat der Vortragende den...
Ich bin gespannt auf wiederholbare Verfahren , die verwendet werden können , die funktionale Form der Funktion zu entdecken , y = f(A, B, C) + error_termwo meine einzige Eingabe eine Reihe von Beobachtungen ist ( y, A, Bund C). Bitte beachten Sie, dass die Funktionsform funbekannt ist. Betrachten...
Sehr geehrte Damen und Herren, mir ist etwas Merkwürdiges aufgefallen, das ich Ihnen nicht erklären kann. Zusammenfassend lässt sich sagen, dass der manuelle Ansatz zur Berechnung eines Konfidenzintervalls in einem logistischen Regressionsmodell und die R-Funktion confint()unterschiedliche...