Meine Daten enthalten binäre (numerische) und nominelle / kategoriale Umfrageantworten. Alle Antworten sind diskret und auf individueller Ebene. Die Daten haben eine Form (n = 7219, p = 105). Paar Dinge: Ich versuche, eine Clustering-Technik mit einem Ähnlichkeitsmaß zu identifizieren, das für...
Ich bin neu in dieser Community und hoffe, dass meine Frage hier gut passt. Im Rahmen meines Bachelor-Studiengangs Datenanalyse habe ich mich für das Projekt zur Erkennung menschlicher Aktivitäten mithilfe von Smartphone-Datensätzen entschieden. Für mich bezieht sich dieses Thema auf maschinelles...
Da die Interpolations- und die Fillna-Methode die gleiche Arbeit zum Füllen von Na-Werten ausführen. Was ist der grundlegende Unterschied zwischen den beiden. Welche Bedeutung haben diese beiden unterschiedlichen Methoden? Kann mir jemand Laien erklären. Ich habe bereits die offizielle...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Daten Wissenschaft Stapel Börse. Geschlossen vor 2 Jahren . Ich möchte alle Zeilen löschen, die NaN-Werte für eine...
Ich entwickle einen verteilten Algorithmus. Um die Effizienz zu verbessern, hängt er sowohl von der Anzahl der Festplatten (eine pro Maschine) als auch von einer effizienten Lastausgleichsstrategie ab. Mit mehr Festplatten können wir den Zeitaufwand für E / A reduzieren. Mit einer effizienten...
Ich habe einmal gehört, dass das Filtern von Spam mithilfe von Blacklists kein guter Ansatz ist, da einige Benutzer, die nach Einträgen in Ihrem Datensatz suchen, möglicherweise nach bestimmten Informationen aus den blockierten Quellen suchen. Außerdem wäre es eine Belastung, den aktuellen Status...
Ich habe eine große Anzahl von Kundenbeschwerden über die Produkte, die mein Unternehmen besitzt, und ich möchte eine Datenanalyse dieser Beschreibungen durchführen und jedem von ihnen eine Kategorie zuordnen. Beispiel: Ich muss die Anzahl der Beschwerden auf der Software- und Hardwareseite meines...
Einer der Gründe für die gemeinsame Verwendung von Storm- und Hadoop-Clustern in Summingbird ist, dass die Verarbeitung durch Storm zu einer Kaskadierung von Fehlern führt. Um diese Kaskadierung von Fehlern und deren Anhäufung zu vermeiden, wird der Hadoop-Cluster verwendet, um die Daten...
Wofür steht der Begriff "Intelligenz" ursprünglich in "Business Intelligence" ? Bedeutet es, wie es in " Künstliche Intelligenz " oder in " Geheimdienst " verwendet wird ? Mit anderen Worten, bedeutet " Business Intelligence ": "intelligent und intelligent im Geschäft handeln" oder "Daten und...
In Python Sklearn gibt es mehrere Algorithmen (z. B. Regression, zufällige Gesamtstruktur usw.), die den Parameter class_weight haben, um unausgeglichene Daten zu verarbeiten. Ich finde jedoch keinen solchen Parameter für die MLLib-Algorithmen. Gibt es einen Plan zur Implementierung von...
Kann man lineare Modelle auf "Blöcken" des Datensatzes erstellen, wenn man sie nicht auf dem gesamten Datensatz erstellen kann? Insbesondere habe ich noch über 88.000 Variablen (Features) übrig und man kann ohne viel Speicher nicht viel damit anfangen. Aber verlieren Modelle bei "Blöcken" die...
Ich habe zwei Datensätze zur Herzfrequenz von Probanden, die an zwei verschiedenen Orten aufgezeichnet wurden (zwei verschiedene Kontinente, um genau zu sein). Die beiden Forschungsexperimente zielten darauf ab, die Emotionen der Probanden anhand der Veränderung ihrer Herzfrequenz im Laufe der Zeit...
Ich habe kürzlich angefangen, Artikel über Docker zu lesen. In der Datenwissenschaft ist Docker für mich nützlich, weil: 1) Sie haben eine völlig andere Umgebung, die Sie vor Problemen mit Bibliotheken und Abhängigkeiten schützt. 2) Wenn Ihre Anwendung beispielsweise die Datenbank Ihres...
Ich lese über Lambda-Architektur. Es ergibt Sinn. Wir haben warteschlangenbasierte Datenaufnahme. Wir haben einen In-Memory-Speicher für Daten, der sehr neu ist, und wir haben HDFS für alte Daten. Wir haben also unseren gesamten Datensatz. in unserem System. sehr gut. Das Architekturdiagramm zeigt...
Im Rahmen eines Big-Data-Analyseprojekts arbeite ich an: Ich muss PCA für einige Daten mithilfe eines Cloud-Computing-Systems durchführen. In meinem Fall verwende ich Amazon EMR für den Job und insbesondere Spark. Abgesehen von der Frage "Wie man PCA-in-Spark durchführt" möchte ich ein Verständnis...
Wie verwenden wir eine Hot-Codierung, wenn die Anzahl der Werte, die eine kategoriale Variable annehmen kann, groß ist? In meinem Fall sind es 56 Werte. Wie üblich müsste ich dem Trainingsdatensatz 56 Spalten (56 Binärmerkmale) hinzufügen, was die Komplexität und damit die Trainingszeit immens...
Ich versuche, ein optisches Zeichenerkennungssystem zum Erkennen des Kennzeichens (indonesisches Kennzeichen) aufzubauen. Leider ist kein Trainingssatz verfügbar, aber ich habe die Schriftart gefunden. Ich versuche, die Trainingsdaten zu generieren, indem ich das Bild des Kennzeichens mit Kerneln...
Ich bin neu hier. Ich stehe kurz vor einem Abschlussinterview für eine Stelle als Datenwissenschaftler für ein Unternehmen (im Bereich E-Commerce), das für die Datenwissenschaft neu ist. Es ist eine ziemlich neue Position für das Unternehmen, und aus den Interviews, die ich bisher geführt habe,...
Angesichts der Tatsache, dass Naive Bayes die Wahrscheinlichkeit verwendet, um eine Vorhersage zu treffen, und Merkmale als bedingt unabhängig voneinander behandelt, ist es sinnvoll, dass das Modell dennoch eine Vorhersage treffen kann, da einige Merkmale in den Testdaten fehlen. Ich weiß, dass es...