val items = List("a", "b", "c")
sqlContext.sql("select c1 from table")
.filter($"c1".isin(items))
.collect
.foreach(println)
Der obige Code löst die folgende Ausnahme aus.
Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.$colon$colon List(a, b, c)
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49)
at org.apache.spark.sql.functions$.lit(functions.scala:89)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at org.apache.spark.sql.Column$$anonfun$isin$1.apply(Column.scala:642)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:245)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.WrappedArray.foreach(WrappedArray.scala:35)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:245)
at scala.collection.AbstractTraversable.map(Traversable.scala:104)
at org.apache.spark.sql.Column.isin(Column.scala:642)
Unten ist mein Versuch, es zu beheben. Es wird kompiliert und ausgeführt, gibt jedoch keine Übereinstimmung zurück. Nicht sicher warum.
val items = List("a", "b", "c").mkString("\"","\",\"","\"")
sqlContext.sql("select c1 from table")
.filter($"c1".isin(items))
.collect
.foreach(println)
quelle
.filter($"c1".isin(List("a", "b", "c")))
das funktionieren würde.List("a", "b", "c").mkString("\"","\",\"","\"")
ging ich davon aus, dass Sie jedes Element in doppelte Anführungszeichen setzen möchten. Die Karte macht das Gleiche.Sogar einfacher:
sqlContext.sql("select c1 from table") .filter($"c1".isin("a", "b", "c")) .collect .foreach(println)
Es sei denn, Sie haben viele Listenwerte, was normalerweise nicht der Fall ist.
quelle