Ich habe ein Modellierungs- und Bewertungsprogramm, das die DataFrame.isinFunktion von Pandas stark nutzt und Listen von Facebook-Like-Einträgen einzelner Benutzer für jede von mehreren tausend spezifischen Seiten durchsucht. Dies ist der zeitaufwändigste Teil des Programms, mehr als das...
Was ist (sind) der Unterschied zwischen parallelem und verteiltem Computing? Wenn es um Skalierbarkeit und Effizienz geht, werden häufig Lösungen für Berechnungen in Maschinenclustern verwendet. Manchmal wird dies als Parallelverarbeitung oder als verteilte Verarbeitung bezeichnet. In gewisser...
Ich arbeitete an Projekten, die oft als "mittlere Daten" bezeichnet werden, und konnte meinen Code (hauptsächlich für die Modellierung und Vorhersage in Python) auf einem einzelnen System mit 4 bis 32 Kernen parallelisieren. Jetzt möchte ich auf Cluster unter EC2 hochskalieren (wahrscheinlich mit...
Ich nehme gerade ein Papier über Big Data, in dem wir R stark für die Datenanalyse verwenden. Ich habe aus Spielgründen zufällig eine GTX1070 in meinem PC. Daher dachte ich, es wäre wirklich cool, wenn ich das nutzen könnte, um einen Teil der Verarbeitung für einige der Dinge zu beschleunigen, die...
Ich arbeite am Seq2Seq-Modell mit LSTM von Keras (mit Theano-Hintergrund) und möchte die Prozesse parallelisieren, da selbst wenige MB Daten mehrere Stunden für das Training benötigen. Es ist klar, dass GPUs bei der Parallelisierung weitaus besser sind als CPUs. Im Moment habe ich nur CPUs, mit...