如何在Scala Spark中使用window lag来查找更改
如何在Scala Spark中使用window lag来查找更改
提问于 2020-10-16 05:12:22
我有一个数据集，如下所示：
+----+------+
|day | count|
+----+------+
| 1| 50|
| 2| 55|
| 3| 53|
+----+------+我想要一张像这样的桌子：
+----+------+-------+
|day | count| delta |
+----+------+-------+
| 1| 50| 0|
| 2| 55| 5|
| 3| 53| -2|
+----+------+-------+我对Scala非常陌生，下面是我正在尝试的，但它是错误的。我的prev_count为空。
myDf.withColumn("prev_count", lag("count", 1)
.over(Window.partitionBy("day")
.orderBy("day"))).show()
val result = myDf.withColumn("change",
(myDf("count") - myDf("prev_count"))).show()感谢您的指点。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-10-16 07:29:11
看起来您没有使用新的列：
val withPrevcount = myDf.withColumn("prev_count", lag("count", 1).over(Window.partitionBy("day").orderBy("day")))
val result = withPrevcount.withColumn("change", col("count") - col("prev_count")))
result.show()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64383235
复制相关文章
相似问题
simdTransform在SceneKit和ARKit中是什么？
在ARKit 3中从三维骨骼中提取骨旋转
旋转ARKIT模型
如何从ARKit中获取投影、旋转和平移矩阵？
在ARkit中旋转对象
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
