我想让我们使用不同列表的函数。$colon$colon List(103, 603, 613) at org.apache.spark.sql.catalyst.expressions.Literal$$anonfun$create$2.apply(literals.scala:164)
at org.apache.spark
我想创建一个数据集,它是许多select查询的堆叠数据集,在我的where子句中更改了一个参数。我可以使用python通过调用select查询n次并相应地更改where原因来做到这一点。这是我可以在SQL中一次性完成的事情,而不必进行n个单独的select查询吗?例如 dfs = [] dfs.append(spark.select("select * from personal_data where Name =当前采用上述方法的
创建后,我将通过Ids列表来筛选行。val myDF = spark.sql("select * from myhivetable")有没有一种方法可以查询配置单元表,如下所示:
val myDF = spark.sql("select * from myhivetable").where (("id").isin(
我在registration_ts列上有一个巨大的分块表,名为stored。spark.sql("select * from stored where exists (select 1 from stream where stream.registration_ts我唯一能想到的解决办法是:
val partitions = stream.select('registration_ts).distinct.collec