Viele Menschen verwenden den Begriff Big Data eher kommerziell , um darauf hinzuweisen, dass große Datenmengen in die Berechnung einbezogen sind und daher potenzielle Lösungen eine gute Leistung aufweisen müssen. Natürlich sind Big Data immer mit Begriffen wie Skalierbarkeit und Effizienz...
Ich habe ein Modellierungs- und Bewertungsprogramm, das die DataFrame.isinFunktion von Pandas stark nutzt und Listen von Facebook-Like-Einträgen einzelner Benutzer für jede von mehreren tausend spezifischen Seiten durchsucht. Dies ist der zeitaufwändigste Teil des Programms, mehr als das...
Angesichts der großen Nachfrage nach Data Science, maschinellem Lernen und all den Erfolgsgeschichten gibt es viele berechtigte und überhöhte Erwartungen von Data Scientists und ihren Vorhersagemodellen. Meine Frage an praktizierende Statistiker, Experten für maschinelles Lernen und Data Scientists...
Wenn eine relationale Datenbank wie MySQL eine bessere Leistung aufweist als eine nicht relationale Datenbank wie MongoDB? Ich habe neulich auf Quora eine Frage gesehen, warum Quora immer noch MySQL als Backend verwendet und dass ihre Leistung immer noch gut
Ich verwende derzeit mehrere verschiedene Klassifizierer für verschiedene Entitäten, die aus Text extrahiert wurden, und verwende Präzision / Rückruf als Zusammenfassung der Leistung jedes einzelnen Klassifizierers für ein bestimmtes Dataset. Ich frage mich, ob es eine sinnvolle Möglichkeit gibt,...
Die Genauigkeit ist der Bruchteil der abgerufenen Instanzen, die relevant sind, während der Rückruf (auch als Empfindlichkeit bezeichnet) der Bruchteil der relevanten Instanzen ist, die abgerufen werden. Ich kenne ihre Bedeutung, aber ich weiß nicht, warum es Rückruf heißt ? Ich bin kein...
Jede kleine Datenbankverarbeitung kann leicht mit Python / Perl / ... -Skripten erledigt werden, die Bibliotheken und / oder sogar Dienstprogramme aus der Sprache selbst verwenden. Wenn es jedoch um Leistung geht, tendieren die Leute dazu, nach C / C ++ / Low-Level-Sprachen zu greifen. Die...
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 5 Jahren . Es scheint, als ob in...
Es gibt verschiedene Ansätze zur Merkmalsauswahl / Variablenauswahl (siehe zum Beispiel Guyon & Elisseeff, 2003 ; Liu et al., 2010 ): Filtermethoden (z. B. korrelationsbasiert, entropiebasiert, zufällige Waldbedeutung basierend), Wrapper-Methoden (z. B. Vorwärtssuche, Bergsteigensuche) und...
Ich habe einen Datensatz mit 19 Spalten und ungefähr 250.000 Zeilen. Ich habe mit größeren Datensätzen gearbeitet, aber dieses Mal entschied sich Pandas, mit meinen Nerven zu spielen. Ich habe versucht, den ursprünglichen Datensatz anhand einiger einfacher Regeln in drei Unterdatenrahmen...
Ich entwickle einen verteilten Algorithmus. Um die Effizienz zu verbessern, hängt er sowohl von der Anzahl der Festplatten (eine pro Maschine) als auch von einer effizienten Lastausgleichsstrategie ab. Mit mehr Festplatten können wir den Zeitaufwand für E / A reduzieren. Mit einer effizienten...
Ich frage mich, warum das Training von RNNs normalerweise nicht 100% der GPU verwendet. Wenn ich diesen RNN-Benchmark beispielsweise auf einem Maxwell Titan X unter Ubuntu 14.04.4 LTS x64 ausführe, liegt die GPU-Auslastung unter 90%: Der Benchmark wurde mit dem folgenden Befehl gestartet: python...
Ich habe die Smote-Technik verwendet, um meinen Datensatz zu überabtasten, und jetzt habe ich einen ausgeglichenen Datensatz. Das Problem, mit dem ich konfrontiert war, ist, dass die Leistungsmetriken; Präzision, Rückruf, f1-Messung und Genauigkeit im unausgeglichenen Datensatz werden besser...
Ich verstehe, dass die Modelle nur so gut sind wie die Daten, die Sie erhalten, und schlechtes Design kann wirklich schlechte Daten erzeugen. Nicht zufällige Stichproben, unausgeglichene / unvollständige Designs, verwirrende Daten können die Datenanalyse sehr schwierig machen. Ab wann sollte man...