Wie können große Zeitreihendaten interaktiv angezeigt werden?

10

Ich beschäftige mich oft mit einer angemessenen Menge an Zeitreihendaten, 50-200 Millionen Doppel mit zugehörigen Zeitstempeln und möchte sie dynamisch visualisieren.

Gibt es eine Software, um dies effektiv zu tun? Wie wäre es mit Bibliotheken und Datenformaten? Der Zoom-Cache ist ein Beispiel für eine Bibliothek, die sich auf große Zeitreihen konzentriert. Im Zoom-Cache werden die Daten in verschiedenen Auflösungen zusammengefasst, um die Anzeige in verschiedenen Auflösungen zu vereinfachen.

Bearbeiten: Auch wenn es irgendwo anders gibt, sollte ich diese Frage stellen oder eine Antwort suchen, lassen Sie es mich bitte wissen.

time-series data-visualization large-data interactive-visualization Davorak
quelle
1
Obwohl ich keine Ahnung habe, wie es mit einer so großen Anzahl von Datenpunkten skaliert werden soll , sollten Sie sich Cubism.js ansehen .
Chl
Ich habe mir den Kubismus angesehen, der sich gut für die schrittweise Aktualisierung von Diagrammen aus seriellen Datenströmen eignet, aber bei meiner kurzen Suche habe ich nichts über das Zwischenspeichern mehrerer Auflösungen oder zusammenfassender Daten gesehen, um große Datenmengen zu beschleunigen. Das ist für den Zeiger, obwohl es wie eine coole Bibliothek aussieht.
Davorak
1
Sie könnten an Zoomdata interessiert sein zoomdata.com/product/fast-data-sharpening-visualization Die Preise sind jedoch recht hoch.
Chhantyal
@chhantyal - Danke! Das sieht aus wie das Werkzeug, nach dem ich gesucht habe. Obwohl ich nicht mehr mit denselben Datensätzen arbeite, interessiert mich der Raum immer noch, so dass ich wahrscheinlich irgendwann die Spur von zoomdata ausprobieren werde.
Davorak

Antworten:

2

Es gibt eine Reihe von Recherchetools namens TimeSearcher 1--3 , die einige Beispiele für den Umgang mit großen Zeitreihendatensätzen enthalten. Unten finden Sie einige Beispielbilder aus TimeSearcher 2 und 3.

TimeSearcher 2

TimeSearcher 3

edallme
quelle
2

Entschuldigung für die Selbstanzeige, aber Thunderplot (thunderplot.com) wäre ein guter Kandidat dafür. Ich habe es genau für das interaktive Plotten großer Datensätze geschrieben. Ich habe es nicht mit 200KK-Zeilendatensätzen getestet, aber es funktioniert gut mit ~ 10KK-Zeilen. Außerdem gibt es die Funktion "Jede n-te Zeile lesen", sodass Sie die zu speichernde / zu visualisierende Datenmenge reduzieren können. Ich kann Ihnen den Registrierungsschlüssel im Austausch an einen dieser großen Datensätze senden. :-)

Thunderplot-Screenshot

Vadim Kalinsky
quelle
0

Ein weiterer selbstfördernder Beitrag, weil ich für dieses Unternehmen arbeite, aber SensorCloud (sensorcloud.com) verwendet intelligente Algorithmen, um sehr schnell große Datenmengen grafisch darzustellen. Es wurde ursprünglich für unsere physischen Sensoren entwickelt, verfügt jedoch über einen CSV-Uploader, der alle Zeitreihendaten verarbeitet.

Zum Beispiel haben wir einen Datensatz mit 100 Milliarden Datenpunkten (über 1 Terabyte Zeitstempel + Datenwerte) hochgeladen, und Sie können ihn grafisch darstellen und sehr schnell damit interagieren.

Hier ist ein öffentlicher Link zu diesem Datensatz: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Der obige Link verwendet unseren Flash Viewer. Wenn Sie Flash nicht verwenden möchten, finden Sie hier den Javascript-Viewer: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Verwenden Sie das Scrollrad oder die Umschalttaste + Linksklick, um die Ansicht zu vergrößern.

rwstoneback
quelle