问Spark dataframe添加新的列问题-结构化流
EN

Stack Overflow用户

提问于 2018-04-01 08:00:28

回答 4查看 2.1K关注 0票数 4

我正在使用spark Structured。我有一个数据帧，并添加了一个新列"current_ts“。

inpuDF.withColumn("current_ts", lit(System.currentTimeMillis()))

这不会使用当前纪元时间更新每一行。当作业被触发时，它更新相同的epcoh时间，从而使DF中的每一行都具有相同的值。这在正常的spark工作中效果很好。这是spark structured的问题吗？

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49593591

复制

相似问题

问Spark dataframe添加新的列问题-结构化流EN