Wie ich in Spark Dataframe weiß, kann dieser für mehrere Spalten denselben Namen haben, wie im folgenden Datenrahmen-Snapshot gezeigt: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0})), Row(a=107831,...
Ich versuche, Spark auf meinem Mac zu installieren. Ich habe Home Brew verwendet, um Spark 2.4.0 und Scala zu installieren. Ich habe PySpark in meiner Anaconda-Umgebung installiert und verwende PyCharm für die Entwicklung. Ich habe in mein Bash-Profil exportiert: export SPARK_VERSION=`ls...
Ich habe einen Datums-Pyspark-Datenrahmen mit einer Zeichenfolgenspalte im Format MM-dd-yyyyund versuche, diese in eine Datumsspalte zu konvertieren. Ich habe es versucht: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() und ich bekomme eine Folge von Nullen. Kann jemand...
Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten .
Ich bin neu mit Apache Spark und habe anscheinend Apache-Spark mit Homebrew in meinem MacBook installiert: Last login: Fri Jan 8 12:52:04 on console user@MacBook-Pro-de-User-2:~$ pyspark Python 2.7.10 (default, Jul 13 2015, 12:05:58) [GCC 4.2.1 Compatible Apple LLVM 6.1.0 (clang-602.0.53)] on...
Ich habe ein seltsames Verhalten meines Scala-Compilers bemerkt. Beim Kompilieren einer Klasse wird gelegentlich ein OutOfMemoryError ausgelöst. Hier ist die Fehlermeldung: [info] Compiling 1 Scala source to
Wenn Sie Scala in Spark verwenden und die Ergebnisse mit verwenden saveAsTextFile, scheint die Ausgabe in mehrere Teile aufgeteilt zu werden. Ich übergebe nur einen Parameter (Pfad). val year =
Ich habe versucht, einen vernünftigen Weg zum Testen SparkSessionmit dem JUnit-Testframework zu finden. Obwohl es gute Beispiele dafür zu geben scheint SparkContext, konnte ich nicht herausfinden, wie ein entsprechendes Beispiel zum Laufen gebracht werden kann SparkSession, obwohl es an mehreren...
Gibt es eine Möglichkeit, eine Aggregatfunktion auf alle (oder eine Liste von) Spalten eines Datenrahmens anzuwenden, wenn Sie a ausführen groupBy? Mit anderen Worten, gibt es eine Möglichkeit, dies für jede Spalte zu vermeiden: df.groupBy("col1") .agg(sum("col2").alias("col2"),...
Ich verwende Spark 1.3.1 (PySpark) und habe mithilfe einer SQL-Abfrage eine Tabelle generiert. Ich habe jetzt ein Objekt, das a ist DataFrame. Ich möchte dieses DataFrameObjekt (ich habe es "Tabelle" genannt) in eine CSV-Datei exportieren, damit ich es bearbeiten und die Spalten zeichnen kann....
Ich bin neu in Apache Spark und habe gerade erfahren, dass Spark drei Arten von Clustern unterstützt: Standalone - das heißt, Spark verwaltet seinen eigenen Cluster YARN - mit dem YARN-Ressourcenmanager von Hadoop Mesos - Apaches dediziertes Ressourcenmanagerprojekt Da ich neu bei Spark bin,...
Gibt es eine Möglichkeit, die aktuelle Anzahl der Partitionen eines DataFrame abzurufen? Ich habe das DataFrame-Javadoc (Spark 1.6) überprüft und keine Methode dafür gefunden, oder habe ich es einfach verpasst? (Im Fall von JavaRDD gibt es eine getNumPartitions () -Methode.)
Im Spark Standalone-Modus gibt es Master- und Worker-Knoten. Hier einige Fragen: Bedeutet 2 Worker-Instanz einen Worker-Knoten mit 2 Worker-Prozessen? Enthält jede Worker-Instanz einen Executor für eine bestimmte Anwendung (die Speicher, Aufgabe verwaltet) oder einen Worker-Knoten einen...
Bei Betrachtung der neuen Spark-Datenrahmen-API ist unklar, ob es möglich ist, Datenrahmenspalten zu ändern. Wie würde ich mich über einen Wert in der Zeile zu ändern xSpalte yeines Datenrahmens? In pandasdiesem wäredf.ix[x,y] = new_value Bearbeiten: Wenn Sie das unten Gesagte konsolidieren,...
val items = List("a", "b", "c") sqlContext.sql("select c1 from table") .filter($"c1".isin(items)) .collect .foreach(println) Der obige Code löst die folgende Ausnahme aus. Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon...
Ich versuche, meine RDD mit Off-Heap-Speicher auf Spark 1.4.0 und Tachyon 0.6.4 so zu halten: val a = sqlContext.parquetFile("a1.parquet") a.persist(org.apache.spark.storage.StorageLevel.OFF_HEAP) a.count() Danach bekomme ich folgende Ausnahme. Irgendwelche Ideen dazu? 15/06/16 10:14:53...
Das Ziel dieser Frage ist es zu dokumentieren: Schritte zum Lesen und Schreiben von Daten über JDBC-Verbindungen in PySpark mögliche Probleme mit JDBC-Quellen und bekannten Lösungen Mit kleinen Änderungen sollten diese Methoden mit anderen unterstützten Sprachen wie Scala und R...
Angenommen, ich gebe drei Dateipfade zu einem Spark-Kontext zum Lesen und jede Datei hat ein Schema in der ersten Zeile. Wie können wir Schemazeilen aus Headern überspringen? val rdd=sc.textFile("file1,file2,file3") Wie können wir nun Kopfzeilen von dieser Festplatte überspringen?...
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen...
Verwenden von spark 2.4.4 im YARN-Cluster-Modus mit dem Spark-FIFO-Scheduler. Ich sende mehrere Spark-Datenrahmenoperationen (dh das Schreiben von Daten in S3) mit einem Thread-Pool-Executor mit einer variablen Anzahl von Threads. Dies funktioniert gut, wenn ich ~ 10 Threads habe, aber wenn ich...