开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在Scala Spark中使用window lag来查找更改

问如何在Scala Spark中使用window lag来查找更改
EN

Stack Overflow用户

提问于 2020-10-16 05:12:22

回答 1查看 108关注 0票数 1

我有一个数据集，如下所示：

+----+------+
|day | count|
+----+------+
|   1|    50|
|   2|    55|
|   3|    53|
+----+------+

我想要一张像这样的桌子：

+----+------+-------+
|day | count| delta |
+----+------+-------+
|   1|    50|      0|
|   2|    55|      5|
|   3|    53|     -2|
+----+------+-------+

我对Scala非常陌生，下面是我正在尝试的，但它是错误的。我的prev_count为空。

myDf.withColumn("prev_count", lag("count", 1)
              .over(Window.partitionBy("day")
              .orderBy("day"))).show()

val result = myDf.withColumn("change",
                            (myDf("count") - myDf("prev_count"))).show()

感谢您的指点。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-10-16 07:29:11

看起来您没有使用新的列：

val withPrevcount = myDf.withColumn("prev_count", lag("count", 1).over(Window.partitionBy("day").orderBy("day")))

val result = withPrevcount.withColumn("change", col("count") - col("prev_count")))

result.show()

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64383235

复制

相关文章

如何从内存加载DLL

html windows 缓存数据分析存储

PE 头包含有关可执行文件内不同部分的信息，这些信息用于存储代码和数据或定义从其他库导入或此库提供的导出。

FB客服

2020/03/10

2.3K0

[科普]Activex、OLE、COM、OCX、DLL

编程算法 windows

原文链接：https://blog.csdn.net/humanking7/article/details/81253775

祥知道

2020/03/10

2.6K0

包含多个矩形的Pblock

Pblock是可以嵌套的，尽管这种应用方式并不常见。嵌套Pblock是为了更细粒度的对相关逻辑进行布局约束。从设计层次角度讲，嵌套的Pblock对应的逻辑单元是父层与子层的关系。

Lauren的FPGA

2019/10/30

1.4K0

Springboot返回数据null转空字符串

import com.fasterxml.jackson.core.JsonGenerator; import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.JsonSerializer; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.Ser

jaychou

2022/12/26

2.2K0

如何查询同时包含多个指定标签的文章

下面问题来了：如何查询 tag_id 同时包含 1、2、3 的 article_id？此问题看似简单，实际上也非常简单，本来是一道送分题，但是很多人却做不出来！

LA0WAN9

2021/12/14

1.9K0

如何查询同时包含多个指定标签的文章

com组件与dll的区别_组件对象模型

编程算法面向对象编程打包 ide

com英文为Component Object Model（组件对象模型），是微软生产软件组件的标准。

全栈程序员站长

2022/11/01

1.4K0

【说站】python函数如何返回多个值

一般情况下，一个函数只有一个返回值，Python也是如此，只是Python函数可以通过返回列表或元组的方式将返回的多个值保存到序列中，从而间接达到返回多个值的目的。

很酷的站长

2022/11/23

2.3K0

【说站】python函数如何返回多个值

实际上bstr很像delphi里面的string，平时只是指向pchar或pwchar，但是在pchar和pwchar的前面却有长度信息，以下是一段来自网络的解释：

战神伽罗

2019/07/24

1.1K0

从原理解析如何防御DLL劫持

windows bash bash 指令

在Windows系统中，为了节省内存和实现代码重用，微软在Windows操作系统中实现了一种共享函数库的方式。这就是DLL（Dynamic Link Library），即动态链接库，这种库包含了可由多个程序同时使用的代码和数据。每个DLL都有一个入口函数（DLLMain），系统在特定环境下会调用DLLMain。在下面的事件发生时就会调用dll的入口函数：

Power7089

2021/12/21

2.8K0

python返回多个参数

比如在游戏中经常需要从一个点移动到另一个点，给出坐标、位移和角度，就可以计算出新的新的坐标：

狼啸风云

2020/07/16

2.7K0

[python]函数返回多个return

python 变量函数

python支持函数直接返回多个变量,具体用法如下: >>> def test(): ... a=2 ... b=3 ... return a,b ... >>> print(test()) (2, 3) >>> a,b=test() >>> print(a) 2 >>> print(b) 3 >>> print(test()[0]) 2 >>> print(test()[1]) 3

py3study

2020/01/19

2.5K0

函数的多个返回值

def func1(): # return 值1，值2 --- return有一个作用是打断程序的运行 return 1 + 1 , 2 + 2, 3+4 num1,num2,num3 = func1() print(func1()) print(num1) print(num2) print(num3)

汪凡

2018/05/29

5.6K0

【汇编】（七）包含多个段的程序

cs 编译器程序内存数据

考虑这样一个问题，编程计算以下8个数据的和，结果存在 ax 寄存器中： 0123H，0456H，0789H，0abcH，0defH，0fedH，0cbaH，0987H；

sidiot

2023/08/28

2360

Excel公式技巧20：从列表中返回满足多个条件的数据

在实际工作中，我们经常需要从某列返回数据，该数据对应于另一列满足一个或多个条件的数据中的最大值。

fanjy

2020/03/25

9.4K0

Excel公式技巧20：从列表中返回满足多个条件的数据

如何从多个角度分析问题？

数据分析推荐系统

拆解其实就是做加法，A=维度1+维度2+维度3+...。比如上面的例子，老妈把优秀拆解成：1）个子高 2）家庭背景好 3）长的好看。也就是优秀=个子高（维度1）+家庭背景好（维度2）+长的好看（维度3）。

猴子聊数据分析

2019/08/15

2K0

使用 WPAD/PAC 和 JScript在win11中进行远程代码执行1

regex javascript 编程算法 java 网络安全

由于在这篇博文的其余部分中，我们将大量讨论 JScript VAR 和字符串，因此在深入了解这些漏洞的工作原理之前先描述这些内容是很有用的。

franket

2022/04/23

7.9K0

C# DllImport的用法

c#c++编程算法

大家在实际工作学习C#的时候，可能会问：为什么我们要为一些已经存在的功能（比如Windows中的一些功能，C++中已经编写好的一些方法）要重新编写代码，C#有没有方法可以直接都用这些原本已经存在的功能呢？答案是肯定的，大家可以通过C#中的DllImport直接调用这些功能。 DllImport所在的名字空间 using System.Runtime.InteropServices; MSDN中对DllImportAttribute的解释是这样的：可将该属性应用于方法。DllImportAttribute 属性提供对从非托管 DLL 导出的函数进行调用所必需的信息。作为最低要求，必须提供包含入口点的 DLL 的名称。 DllImport 属性定义如下： namespace System.Runtime.InteropServices { 　 [AttributeUsage(AttributeTargets.Method)] 　 public class DllImportAttribute: System.Attribute 　 { 　　public DllImportAttribute(string dllName) {…} 　　public CallingConvention CallingConvention; 　　public CharSet CharSet; 　　 public string EntryPoint; 　　public bool ExactSpelling; 　　public bool PreserveSig; 　　public bool SetLastError; 　　public string Value { get {…} } 　 } } 　　说明：　　1、DllImport只能放置在方法声明上。　　2、DllImport具有单个定位参数：指定包含被导入方法的 dll 名称的 dllName 参数。　　3、DllImport具有五个命名参数：　　　a、CallingConvention 参数指示入口点的调用约定。如果未指定 CallingConvention，则使用默认值 CallingConvention.Winapi。　　　b、CharSet 参数指示用在入口点中的字符集。如果未指定 CharSet，则使用默认值 CharSet.Auto。　　　c、EntryPoint 参数给出 dll 中入口点的名称。如果未指定 EntryPoint，则使用方法本身的名称。　　　d、ExactSpelling 参数指示 EntryPoint 是否必须与指示的入口点的拼写完全匹配。如果未指定 ExactSpelling，则使用默认值 false。　　　e、PreserveSig 参数指示方法的签名应当被保留还是被转换。当签名被转换时，它被转换为一个具有 HRESULT 返回值和该返回值的一个名为 retval 的附加输出参数的签名。如果未指定 PreserveSig，则使用默认值 true。　　　f、SetLastError 参数指示方法是否保留 Win32″上一错误”。如果未指定 SetLastError，则使用默认值 false。　　4、它是一次性属性类。　　5、此外，用 DllImport 属性修饰的方法必须具有 extern 修饰符。

全栈程序员站长

2022/07/23

1K0

java：函数--返回多个值

hashmap java 编程算法

1、【使用集合类】使用map返回值；这个方法问题是，你并不知道如何返回值的key是什么，只能通过doc或者通过源代码来查看。

用户7886150

2020/12/14

2.7K0

图像处理中C++如何同时返回多个值

程序设计程序员工作求职算法

1 . pair<T,T> 返回两个值 //返回两个值的情况 pair<vector<double>,int> R_R(Mat& img) { int n=img.rows; vector<double> a; unsigned int m=img.cols; unsigned int k=img.rows; for(unsigned int i=0;i<m;i++) { for(unsigned int j=0;j<k;j++)

用户9831583

2022/06/16

8000

记录file_get_contents返回空字符串的问题

php 命令行工具打包

群里一位大佬上午说了一句箴言：「世界上没有什么故障是重启解决不了的，如果有，再重启一次。」，结果下午群里就有一位朋友遇到了一个诡异的老版本 PHP 问题：当使用 file_get_contents 抓取网页内容的时候，总是返回空字符串，奇怪的是换用 curl 扩展后又一切正常。不过，重启没有解决他的问题，再重启一次也不行。

LA0WAN9

2021/12/14

7450

相似问题

COM，包含BSTR的变种。谁分配的？

14

如何查找从Interop dll返回的COM dll安装

10

BSTR的长度(COM)

10

c++生成器中com dll中使用的BSTR中的混淆

21

从多个客户端使用COM DLL

14

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例