Angenommen, ich mache so etwas wie: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable...
Ich weiß, dass ein einzelner Test ausgeführt werden kann, indem in sbt, testOnly *class -- -n Tag Gibt es eine Möglichkeit, sbt / scalatest anzuweisen, einen einzelnen Test ohne Tags auszuführen? Beispielsweise: testOnly *class -- -X 2 es würde bedeuten "den zweiten Test in der Klasse...
Laut Introducing Spark Datasets : Da wir uns auf Spark 2.0 freuen, planen wir einige aufregende Verbesserungen an Datensätzen, insbesondere: ... Benutzerdefinierte Encoder - Während wir derzeit Encoder für eine Vielzahl von Typen automatisch generieren, möchten wir eine API für benutzerdefinierte...
Gesperrt . Diese Frage und ihre Antworten sind gesperrt, da die Frage nicht zum Thema gehört, aber historische Bedeutung hat. Derzeit werden keine neuen Antworten oder Interaktionen akzeptiert. Was sind die versteckten Funktionen von Scala, die jeder Scala-Entwickler kennen sollte? Bitte eine...
Ist es möglich, einen Vergleich mit dem Mustervergleichssystem in Scala durchzuführen? Beispielsweise: a match { case 10 => println("ten") case _ > 10 => println("greater than ten") case _ => println("less than ten") } Die zweite case-Anweisung ist illegal, aber ich möchte angeben...
Kann jemand im Anschluss an diese Frage in Scala Folgendes erklären: class Slot[+T] (var some: T) { // DOES NOT COMPILE // "COVARIANT parameter in CONTRAVARIANT position" } Ich verstehe den Unterschied zwischen +Tund Tin der Typdeklaration (sie wird kompiliert, wenn ich sie verwende T)....
Während es gültige Fälle geben kann, in denen solche Methodenüberladungen mehrdeutig werden können, warum verbietet der Compiler Code, der weder zur Kompilierungszeit noch zur Laufzeit mehrdeutig ist? Beispiel: // This fails: def foo(a: String)(b: Int = 42) = a + b def foo(a: Int) (b: Int = 42) = a...
Ich habe gerade mit der Entwicklung von Scala / LiftWeb / Sbt begonnen und möchte ein Sbt-Projekt in IntelliJ Idea importieren. Eigentlich konnte ich mein Projekt auf zwei verschiedene Arten importieren: 1) mit Maven. Ich habe ein Maven-Projekt erstellt und darüber hinaus ein Sbt-Projekt erstellt,...
Ich bin wirklich daran interessiert herauszufinden, wo die Unterschiede liegen, und allgemeiner, kanonische Anwendungsfälle zu identifizieren, in denen HLists nicht verwendet werden können (oder vielmehr keine Vorteile gegenüber regulären Listen bieten). (Mir ist bewusst, dass es TupleNin Scala 22...
Ich bin neu bei Scala und konnte nicht wirklich viel über das typeKeyword finden. Ich versuche zu verstehen, was der folgende Ausdruck bedeuten kann: type FunctorType = (LocalDate, HolidayCalendar, Int, Boolean) => LocalDate FunctorType ist eine Art Alias, aber was bedeutet
Was ist der Unterschied zwischen ==und .equals()in Scala und wann welche zu verwenden? Ist die Implementierung dieselbe wie in Java? EDIT: Die verwandte Frage spricht über bestimmte Fälle von AnyVal. Der allgemeinere Fall ist
Zum Lesen von Dateien in Scala gibt es Source.fromFile("file.txt").mkString Gibt es eine äquivalente und präzise Möglichkeit, einen String in eine Datei zu schreiben? Die meisten Sprachen unterstützen so etwas. Mein Favorit ist Groovy: def f = new File("file.txt") // Read def s = f.text // Write...
Ich habe Spark mithilfe des AWS EC2-Handbuchs installiert und kann das Programm mithilfe des bin/pysparkSkripts problemlos starten, um zur Spark-Eingabeaufforderung zu gelangen. Außerdem kann ich den Schnellstart erfolgreich ausführen. Ich kann jedoch für mein ganzes Leben nicht herausfinden, wie...
Ich habe einen DataFrame wie folgt generiert: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Die Ergebnisse sehen aus wie: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0|...
In welchen Fällen sollte ich Array (Puffer) und Liste (Puffer) verwenden. Ich weiß nur, dass Arrays nicht variabel und Listen kovariant sind. Aber was ist mit der Leistung und einigen anderen
Ich möchte eine CSV in Spark lesen und als DataFrame konvertieren und in HDFS mit speichern df.registerTempTable("table_name") Ich habe versucht: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Fehler, den ich bekommen habe: java.lang.RuntimeException:
Wie kann ich eine RDD konvertieren ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) zu einem Datenrahmen org.apache.spark.sql.DataFrame. Ich habe einen Datenrahmen mit rdd konvertiert .rdd. Nach der Verarbeitung möchte ich es wieder im Datenrahmen haben. Wie kann ich das machen...
Diese Frage passt derzeit nicht zu unserem Q & A-Format. Wir erwarten, dass die Antworten durch Fakten, Referenzen oder Fachwissen gestützt werden, aber diese Frage wird wahrscheinlich zu Debatten, Argumenten, Umfragen oder erweiterten Diskussionen führen. Wenn Sie der Meinung sind, dass diese...
Wenn eine Fallklasse viele Felder hat und ihre Namen lang sind, ist es oft eine gute Idee, jedes Feld in jede Zeile wie folgt zu schreiben: case class Person ( name: String, age: Int ) Dies ähnelt der C / C ++ - structDefinition und ist auch dann vollständig lesbar, wenn die Fallklasse größer...
Was ist der beste Weg, um eine umgekehrte Sortierung in Scala durchzuführen? Ich stelle mir vor, dass das Folgende etwas langsam ist. list.sortBy(_.size).reverse Gibt es eine bequeme Möglichkeit, sortBy zu verwenden, aber eine umgekehrte Sortierung zu erhalten? Ich würde es lieber nicht brauchen...