腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Scala
Spark
中
使用
window
lag
来
查找
更改
、
+-------+| 2| 55| 5|+----+------+-------+ 我对
Scala
myDf.withColumn("prev_count",
lag
("count", 1) .over(
Window
.partitionBy("day")
浏览 13
提问于2020-10-16
得票数 1
回答已采纳
2
回答
Apache
Spark
:指数移动平均
、
、
、
、
我正在用
Spark
/
Scala
编写一个应用程序,其中我需要计算列的指数移动平均值。通过mySQL,这是可能的,通过
使用
模型或通过创建一个EMA列,然后您可以逐行更新,但我已经尝试过这种方法,并且既不
使用
Spark
SQL也不
使用
Hive上下文...有什么方法可以访问这个EMA_t-1: EMA_t = (price_t * 0.4) + (EMA_t-1 * 0.6)
来
计算该列
中
的以下行。
Spark
SQL和Hive
浏览 1
提问于2015-11-27
得票数 1
1
回答
为什么“窗口函数X不带框架规范”会导致窗口函数失败?
、
、
、
、
我试着在Pysema1.4.1
中
使用
Spark
1.4 ===> org.apache.
spark
.sql.AnalysisException:
Window
function
lag
does not take a frame我在纯星火(
Scala
,星火壳)
中
也准备了同样的测试:import or
浏览 3
提问于2015-09-03
得票数 7
回答已采纳
1
回答
使用
Spark
2
Scala
使用
经纬度坐标计算距离
、
、
我正在尝试
使用
Scala
2.11.8的
Spark
2.3
中
的半正弦公式
来
计算两个地理坐标之间的距离(以公里为单位)。我有经度和纬度,想法是以公里为单位获得距离。Python对我来说工作得很好,但是我在
Scala
DataFrame
中
遇到了困难!我
使用
了以下代码,但它似乎不能正常工作。df4.withColumn("a", pow(sin((
lag
($"Latitude
浏览 81
提问于2019-08-12
得票数 0
1
回答
Spark
的.NET正向填充
、
、
、
、
我正在研究.NET (C#)
中
的
Spark
DataFrame的窗口函数。中找到了
使用
Windows和
Lag
函数的解决方案,但我不确定如
何在
C#
中
做到这一点。在
scala
中
,该窗口的定义如下: val
window
=
Window
.orderBy("Year", "Month", "Day", "Hour", "Minute&
浏览 24
提问于2021-03-23
得票数 3
回答已采纳
1
回答
SparkR窗口函数:错误“任务不可序列化”
、
、
、
多亏了SparkR的
Spark
SQL模块,我尝试测试
Window
function。我
使用
Spark
1.6,并尝试在两种不同的部署模式(local和yarn-client)
中
复制提供的示例。data.frame(x=1:12, y=1:3, z=rnorm(12))) query <- sql(hc, "SELECT x, y, z,
LAG
(SparkContext.
scala<
浏览 0
提问于2016-01-22
得票数 2
2
回答
databricks、
spark
、
scala
不能在long上
使用
lag
()
、
、
、
count" as "Int")//col("count").cast("int")//q6.printSchema()q6 = q6.withColumn("
lag
",
l
浏览 32
提问于2021-03-22
得票数 0
3
回答
在
Spark
DataFrame
中
创建新列,并与另一列
中
以前的值进行比较
、
、
、
除此之外,我想添加一个列,其中包含当前和前一个时间值之间的差异-换句话说,根据时间戳列,从数据帧
中
的最后一行开始的时间差。我
使用
的是
Scala
API。
浏览 5
提问于2016-03-18
得票数 2
1
回答
用星火查看日志
、
、
、
、
我是
Spark
的新手,我正在开发一个python脚本,它可以读取带有一些日志的csv文件:13,2016-12-29 16:53:44,86.20.90.121我正在以“map- reduce”的方式搜索它,但目前我还不知道如何
使用
一个用于比较连续行的reduce函数。我写的代码很好,但是性能很差。8020/user/cloudera/flume/events/*" RESULTS_FILE_PATH = "hdfs:/
浏览 2
提问于2016-12-29
得票数 2
回答已采纳
1
回答
如何
使用
scala
连接到Apache
中
的postgreSQL数据库?
、
、
我想知道如
何在
scala
中
执行以下操作? 编写SQL查询,
如
SELECT、UPDATE等,以修改数据库
中
的表。我知道如何
使用
scala
来
实现它,但是如
何在
打包时将psql
scala
的连接器jar导入sbt?
浏览 0
提问于2014-07-23
得票数 40
回答已采纳
2
回答
星火无法计算表达式:窗口表达式的滞后
、
、
、
我试图对cassandra表
中
的数据文件执行大量操作,然后将其保存在另一个表
中
。, 2)当我运行我的工作时,我会得到一个异常,说明不能计算
lag
在对filter函数的引用之后,似乎出现了
window
函数上的一个bug,而且由于cassandra连接器在保存主键成员(
使用
isnotnull函数)上过滤数据,所以
浏览 0
提问于2018-10-01
得票数 5
回答已采纳
2
回答
spark
sql
中
的广播加入(
Spark
1.6.2)
、
、
、
如
何在
spark
sql中进行广播。存在主表与10个
查找
表连接的查询。我想广播
查找
表以减少混洗。如
何在
sql语句中操作。我不能广播df和创建表。我只需要在查询
中
添加广播。我可以
使用
spark
scala
很容易做到,但我需要用sql
来
做。
浏览 3
提问于2018-06-03
得票数 2
1
回答
在
Spark
中
创建用户定义的函数来处理嵌套结构列
、
、
、
在我的数据框架
中
,我有一个复杂的数据结构,我需要处理它
来
更新另一列。我尝试的方法是
使用
UDF。然而,如果有更简单的方法
来
做这件事,可以自由地回答。0.0
来
更新,rn [10.0, 11.0, 12.0, 12.0]需要通过将id
更改
为4.0
来
更新。(ResultTask.
scala
:87) a
浏览 7
提问于2020-04-20
得票数 0
回答已采纳
1
回答
如何优化大窗口上的窗口聚合?
、
、
我
使用
窗口函数与大窗口与火花2.4.4,例如。
Window
.orderBy("timestamp")at org.apache.
spark
.rdd.RDD.computeOrReadCheckpoint(RDD.
scala
:324) 在源代码
中
,我发现了这个参
浏览 6
提问于2020-01-15
得票数 4
4
回答
从Eclipse运行
Spark
应用程序
、
、
、
我正在尝试在Eclipse上开发一个
spark
应用程序,然后通过逐步调试
来
调试它。import o
浏览 0
提问于2015-03-29
得票数 3
1
回答
如
何在
dataframe
中
获取延迟列值?
、
、
、
我有传感器数据,传感器的数据格式是(值,时间戳)。我把感应器的值放入DataFrame,DataFrame的值是:|value| timestamp|| 1|1493626740000|| 3|1493626743000|| 7|1493626746000|| 7|1493626748000|
浏览 0
提问于2017-09-08
得票数 0
2
回答
partitionBy和orderBy在火花放电
中
的应用
、
、
、
、
,遵循的回答from pyspark.sql.functions import countDistinct, count,
lag
, to_timestamp .builder \=
Window
.partitionBy("userid").orderBy("n
浏览 0
提问于2018-09-13
得票数 0
2
回答
如何迭代地转置
spark
rdd的子矩阵?
例如,来自:|Date |val_1| | 1-1 | 1.1| | 1-3 | 1.3| | 1-5 | 1.5| | 1-7 | 1.7| | 1-9 | 1.9| 至:| Date | D-3 | D-2 | D-1 | +-----+-----+---
浏览 21
提问于2017-03-14
得票数 1
1
回答
java,如
何在
spark
1.4.1
中
调用UDF
、
、
、
在
spark
1.4.1
中
,callUdf方法的参数是没有任何方法可以直接作用于列,
如
1.5.1
中
的方法那么如
何在
1.4.1
中
调用UDF呢?或如何将列类型
更改
为例如,这些代码
浏览 1
提问于2016-11-28
得票数 0
回答已采纳
2
回答
Apache如何为dataframe
中
的每个列创建不同的列?
、
、
我有一个带有ID的火花DataFrame和一堆数字列,对于除ID之外的每一列,我都试图生成一个按ID分组的滞后差异列。+---+-----+-----+-----++---+-----+-----+-----+| 1| 2| 4| 2|| 2| 1| 3| 4|| 2| 1| 1| 1| | 2|
浏览 0
提问于2018-08-27
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark框架下,Python与Scala谁更胜一筹?
Apache Spark 3.0 预览版正式发布,多项重大功能发布
搭建Windows下的Spark开发环境
简谈Spark Streaming的实时计算整合
Spark Streaming 2.2.0 Example
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券