Spark DataFrame groupBy und sortiere in absteigender Reihenfolge (pyspark)

Ich verwende pyspark (Python 2.7.9 / Spark 1.3.1) und habe einen Datenrahmen GroupObject, den ich in absteigender Reihenfolge filtern und sortieren muss. Der Versuch, dies über diesen Code zu erreichen.

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

Es wird jedoch der folgende Fehler ausgegeben.

sort() got an unexpected keyword argument 'ascending'

In PySpark 1.3 akzeptiert die sortMethode keine aufsteigenden Parameter. Sie können descstattdessen die Methode verwenden:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

oder descFunktion:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Beide Methoden können mit Spark> = 1.3 (einschließlich Spark 2.x) verwendet werden.

Verwenden Sie orderBy :

df.orderBy('column_name', ascending=False)

Vollständige Antwort:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

Der mit Abstand bequemste Weg ist dies:

df.orderBy(df.column_name.desc())

Erfordert keine speziellen Importe.

In pyspark 2.4.4

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

Keine Notwendigkeit zum Importieren in 1) und 1) ist kurz und leicht zu lesen,
daher bevorzuge ich 1) gegenüber 2)

Sie können groupBy und orderBy auch wie folgt verwenden

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))