Als «apache-spark-dataset» getaggte Fragen

Unterschied zwischen DataFrame, Dataset und RDD in Spark

Ich frage mich nur, was der Unterschied zwischen einem RDDund DataFrame (Spark 2.0.0 DataFrame ist nur ein Typ-Alias ​​für Dataset[Row]) in Apache Spark ist. Können Sie eine in die andere

Wie speichere ich benutzerdefinierte Objekte in Dataset?

Laut Introducing Spark Datasets : Da wir uns auf Spark 2.0 freuen, planen wir einige aufregende Verbesserungen an Datensätzen, insbesondere: ... Benutzerdefinierte Encoder - Während wir derzeit Encoder für eine Vielzahl von Typen automatisch generieren, möchten wir eine API für benutzerdefinierte...