腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1363)
视频
沙龙
1
回答
窗
口上
的
Spark
条件
滞后
函数
scala
、
apache-spark
、
apache-spark-sql
我想将多个列附加到这个数据帧中,对应于前一天同一小时
的
label,前一天
的
一小时前,等等。我知道如何使用lag
函数
获得第一列: val dateWindow = Window.partitionBy($"id", $"bin").orderBy($"hour", $"date") val expandedDfdata.withColumn("yesterdaySameHour", lag($"label", 1, 0.0)
浏览 6
提问于2020-03-21
得票数 3
回答已采纳
1
回答
如何根据某些
条件
为火花数据中
的
记录分配等级?
python
、
sql
、
dataframe
、
pyspark
、
rank
|| d| 7|| e| 11|我想根据
条件
为记录分配级别中内置
的
函数
,如rowNumber、any、dense_rank,不提供任何功能来实现这一点。我尝试使用全局变量秩并使用
滞后
函数
获取以前
的
记录值,但与sql中不同
的
是,它并没有给出一致
的
结果,原因是
spark
中
的
浏览 3
提问于2016-07-15
得票数 4
回答已采纳
1
回答
参数为动态
的
火花
滞后
函数
apache-spark
、
apache-spark-sql
我需要在
spark
中实现
滞后
函数
;我可以像下面这样做(使用hive/temp
spark
表中
的
一些数据)lagno:value0, 2003,null 其中,第一列是要使用
的
实际
滞后
数,第二列是实际值。( df.col("value"), 1 ).over(org.apache.
spark
.sql.expressions.Window.orderBy(new1.co
浏览 3
提问于2016-09-16
得票数 3
1
回答
在
Spark
中查找最长
的
连续条纹
scala
、
apache-spark
、
apache-spark-sql
、
apache-spark-2.3
date 01/01/2020 04/01/2020 06/01/2020 我必须得到最长
的
连续期间因此,在上面的示例中,我
的
输出如下所示 ----------------------------------------------------------------------
浏览 18
提问于2020-12-14
得票数 0
2
回答
循环在数据帧和比较日期
mysql
、
scala
、
apache-spark
、
rdd
、
bigdata
x(string) | date(date) | value(int) |我想选择满足所有4个
条件
的
所有行:2)第一行== 'date‘在第一行-1+1处
的
“日期”(连续两天)3)第1行>5处
的
“值”4)第一行-1 <= 5处
的
“值” 我想也许我需要一个For循环,但不知道具体是怎么回事!每一个帮助
浏览 1
提问于2016-12-13
得票数 0
回答已采纳
1
回答
星星之火SQL:窗口
函数
滞后
直到满足
条件
java
、
apache-spark
、
apache-spark-sql
|+------------+------------+------------+ WindowSpec w= Window.partitionBy("Colum
浏览 0
提问于2019-04-09
得票数 0
1
回答
识别
spark
中
的
值减少(异常值)
apache-spark
、
apache-spark-sql
、
spark-dataframe
我有一个包含数百万条记录
的
大型数据集,类似于 A 100 10 20 30 我有什么办法可以做到这一点吗?
浏览 0
提问于2016-11-22
得票数 0
2
回答
如何在SikuliX上只搜索特定窗口区域
jython
、
sikuli
我有4k分辨率
的
显示器,只需要捕捉1024x768 (显示器屏幕
的
1/6)
的
动画窗口,我希望sikuli只在该窗
口上
搜索,而不是整个屏幕,因为它是
滞后
的
。有没有这样做
的
函数
?
浏览 0
提问于2017-11-09
得票数 0
1
回答
根据另一列(本例中为用户)向dataframe添加列索引
scala
、
apache-spark
、
dataframe
、
user-defined-functions
、
udf
(location+stay)
的
索引。2|我尝试使用groupBy/Agg来实现udf
函数
,在agg
函数
中如下所示。任何投入都是非常感谢
的
。谢谢。这是正确
的
吗?
浏览 1
提问于2016-11-13
得票数 0
回答已采纳
1
回答
Alter中
的
滞后
函数
产生加
窗
函数
错误
sql-server
下面的代码可以很好地选择date_trans,time_trans,价格,价格
滞后
(价格,1,0)超过( date_tans ASC,time_trans ASC
的
订单)作为pChng从dbo.A_1但是,如果我试图修改该表并添加一个具有类似代码
的
列,则会得到一个错误。它缝给我窗口
的
函数
在order子句中,所以我不明白为什么会出错 Alter table dbo.A_1 Add pChng as price - lag(price,1,0) over(order by
浏览 0
提问于2015-12-05
得票数 1
回答已采纳
2
回答
星星之火:当在窗
口上
使用时,第一个和最后一个聚合
函数
是否具有确定性?
apache-spark
、
pyspark
说,
Spark
的
first()和last()
函数
是不确定
的
(没有提到windows
的
“内部”使用);在对此进行一些研究时,我发现这个声明: 您仍然可以在保证确定性
的
窗
口上
使用最后和第一个
函数
。那么,第一次和最后一次在窗
口上
使用时是确定性
的
,而在组上使用时是非确定性
的
吗?有文件证实这一点吗?
浏览 0
提问于2021-01-19
得票数 1
1
回答
使用复杂
条件
和星火中
滞后
的
自引用创建新列
apache-spark
、
pyspark
我试图在我
的
Spark
Dataframe中创建一个新列,该列基于:示例w = Window.orderBy(col("col1").asc()) df =
spark
.createD
浏览 6
提问于2019-10-28
得票数 2
1
回答
滞后
的
UITableView滚动,因为CAShapeLayer (Swift 3)
swift
、
uitableview
、
cashapelayer
}private func layoutProfilePics另外,我不确定这是否是XCode错误,或者它是否与我
的
问题有关,但在Project
的
仪器
窗
格中,当我运行应用程序并滚动
滞后
UITableView时,FPS并不反映
滞后
,尽管我可以清楚地看出它非常
滞后
。事实上,
窗
格
浏览 1
提问于2017-07-17
得票数 0
回答已采纳
1
回答
火花过滤器未按预期工作..“‘Column”对象不可调用
apache-spark
、
dataframe
、
filter
、
pyspark
、
pyspark-sql
当在
Spark
Dataframe上
的
过滤器中使用"and“子句时,它返回
Spark
.SQL.Column而不是
Spark
Dataframe。但在一个
条件
下,它工作得很好。如何show()或迭代通过
Spark
Sql列对象?尝试show()
函数
时抛出错误- 'Column' object not callable.或者如何将
Spark
.SQL.Column转换为
Spark
Dataframe?或者如何在
浏览 1
提问于2019-04-23
得票数 0
1
回答
增强Dickey-Fuller测试中
的
BIC到底是如何在Python中工作
的
?
python
、
statsmodels
这个问题是关于statsmodels.tsa.stattools python库中
的
增广Dickey-Fuller测试实现
的
- adfuller()。原则上,AIC和BIC应该为一组可用
的
模型计算信息准则,并选择最优(信息损失最小
的
模型)。 但是,它们是如何在增强
的
Dickey-Fuller
的
背景下运作
的
呢?我不明白
的
是:我已经设置了maxlag=30,BIC选择了带有一些信息标准
的
lags=5。我已经设置了maxlag=40 - B
浏览 0
提问于2015-11-01
得票数 3
回答已采纳
1
回答
红移
窗
函数
的
条件
amazon-redshift
我试图从包含user_id、received_at和event_name列
的
表中识别每个用户
的
激活事件。要获得第一个事件,我可以使用以下窗口
函数
:over (partition by e.user_id as first_event 我试图用一个特定
的
名字来获取事件CASE WH
浏览 2
提问于2017-07-24
得票数 0
回答已采纳
2
回答
如何以真与假为
条件
计算运行和
r
、
dplyr
我试图创建一个新列,它是一个基于TRUE和FALSE列
的
条件
差。如果
滞后
1行为FALSE,那么我们应该从开始或最后一个真行计算一个差异,以数据reset中后面的哪个行为准,但是如果
滞后
1行为真,则应该重新设置差异。 dat <- data.frame(logic_col = c(F, F, T, T, F, F, F, T, F)
浏览 0
提问于2019-07-19
得票数 1
回答已采纳
1
回答
如何在dataframe中连接上一行
的
列?
scala
、
dataframe
、
apache-spark
、
functional-programming
我有这样
的
数据:val df = List(对于当前行,即p6,我可以很容易地使用对于上一行,我考虑像下面这样使用窗口
函数
和
浏览 4
提问于2020-05-28
得票数 1
回答已采纳
1
回答
云数据流、水印卡住和系统
滞后
增加
java
、
streaming
、
google-cloud-dataflow
、
apache-beam
我正在读取数据流管道中
的
PubSub主题
的
记录。PubSub记录分为固定窗口,然后在每个窗
口上
分组。每个窗口都按序列号排序,因为我们需要使用beam.SortValues按顺序处理这些记录。然后,我将这些记录写到云BigTable中
浏览 3
提问于2019-06-18
得票数 2
2
回答
在sas by语句中,从其
滞后
中减去一个观察值
loops
、
date
、
sas
、
lag
我有一个按集群分组
的
SAS数据集,如下所示 input cluster date date9.;1 1JAN20171 7JAN20172 1JAN20172 10JAN2017run;data want;1 2JAN2017 12 1JAN2017 02 10JAN2017 7r
浏览 3
提问于2017-03-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
泰克示波器测幅频曲线
浅聊Spark的应用场景有哪些?
如何用Spark计算引擎执行FATE联邦学习任务?
第1讲:Python基本知识快速入门
灵活强大:iObjects Java for Spark模块扩展开发
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券