如何用SQL for Spark SQL表达时间窗函数
如何用SQL for Spark SQL表达时间窗函数
提问于 2018-07-24 06:57:12
我有一个简单的DataFrame，它的模式是：
word: string
process_time: timestampI group by then time window并计算分组后的DataFrame
val windowedCount = wordsDs
.groupBy(
window($"processing_time", "15 seconds")
).count()如何使用Spark SQL的语法将此代码移植到SQL？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-07-24 07:35:08
这几乎是一对一的翻译：
spark.sql("""SELECT window(process_time, "15 seconds"), count(*)
FROM wordDs
GROUP BY window(process_time, "15 seconds")""")或者：
spark.sql("""WITH tmp AS(SELECT window(process_time, "15 seconds") w FROM wordDs)
SELECT w, count(*) FROM tmp GROUP BY w""")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51488230
复制相关文章
相似问题