+-------+| 2| 55| 5|+----+------+-------+ 我对ScalamyDf.withColumn("prev_count", lag("count", 1)
.over(Window.partitionBy("day")
浏览 13提问于2020-10-16得票数 1
回答已采纳
2回答
我正在用Spark/Scala编写一个应用程序，其中我需要计算列的指数移动平均值。通过mySQL，这是可能的，通过使用模型或通过创建一个EMA列，然后您可以逐行更新，但我已经尝试过这种方法，并且既不使用Spark SQL也不使用Hive上下文...有什么方法可以访问这个EMA_t-1: EMA_t = (price_t * 0.4) + (EMA_t-1 * 0.6)来计算该列中的以下行。Spark SQL和Hive
浏览 1提问于2015-11-27得票数 1
1回答
我试着在Pysema1.4.1中使用Spark1.4 ===> org.apache.spark.sql.AnalysisException: Window function lag does not take a frame我在纯星火(Scala，星火壳)中也准备了同样的测试：import or
浏览 3提问于2015-09-03得票数 7
回答已采纳
我正在尝试使用Scala2.11.8的Spark 2.3中的半正弦公式来计算两个地理坐标之间的距离(以公里为单位)。我有经度和纬度，想法是以公里为单位获得距离。Python对我来说工作得很好，但是我在Scala DataFrame中遇到了困难！我使用了以下代码，但它似乎不能正常工作。df4.withColumn("a", pow(sin(( lag($"Latitude
浏览 81提问于2019-08-12得票数 0
1回答
Spark的.NET正向填充
、、、、
我正在研究.NET (C#)中的Spark DataFrame的窗口函数。中找到了使用Windows和Lag函数的解决方案，但我不确定如何在C#中做到这一点。在scala中，该窗口的定义如下： val window = Window.orderBy("Year", "Month", "Day", "Hour", "Minute&
浏览 24提问于2021-03-23得票数 3
回答已采纳
1回答
多亏了SparkR的Spark SQL模块，我尝试测试Window function。我使用Spark1.6，并尝试在两种不同的部署模式(local和yarn-client)中复制提供的示例。data.frame(x=1:12, y=1:3, z=rnorm(12)))
query <- sql(hc, "SELECT x, y, z, LAG(SparkContext.scala<
浏览 0提问于2016-01-22得票数 2
count" as "Int")//col("count").cast("int")//q6.printSchema()q6 = q6.withColumn("lag", l
浏览 32提问于2021-03-22得票数 0
除此之外，我想添加一个列，其中包含当前和前一个时间值之间的差异-换句话说，根据时间戳列，从数据帧中的最后一行开始的时间差。我使用的是Scala API。
浏览 5提问于2016-03-18得票数 2
1回答
用星火查看日志
、、、、
我是Spark的新手，我正在开发一个python脚本，它可以读取带有一些日志的csv文件：13,2016-12-29 16:53:44,86.20.90.121我正在以“map- reduce”的方式搜索它，但目前我还不知道如何使用一个用于比较连续行的reduce函数。我写的代码很好，但是性能很差。8020/user/cloudera/flume/events/*"
RESULTS_FILE_PATH = "hdfs:/&#x
浏览 2提问于2016-12-29得票数 2
回答已采纳
我想知道如何在scala中执行以下操作？
编写SQL查询，如SELECT、UPDATE等，以修改数据库中的表。我知道如何使用scala来实现它，但是如何在打包时将psql scala的连接器jar导入sbt？
浏览 0提问于2014-07-23得票数 40
回答已采纳
2回答
我试图对cassandra表中的数据文件执行大量操作，然后将其保存在另一个表中。, 2)当我运行我的工作时，我会得到一个异常，说明不能计算lag在对filter函数的引用之后，似乎出现了window函数上的一个bug，而且由于cassandra连接器在保存主键成员(使用isnotnull函数)上过滤数据，所以
浏览 0提问于2018-10-01得票数 5
回答已采纳
如何在spark sql中进行广播。存在主表与10个查找表连接的查询。我想广播查找表以减少混洗。如何在sql语句中操作。我不能广播df和创建表。我只需要在查询中添加广播。我可以使用spark scala很容易做到，但我需要用sql来做。
浏览 3提问于2018-06-03得票数 2
1回答
在我的数据框架中，我有一个复杂的数据结构，我需要处理它来更新另一列。我尝试的方法是使用UDF。然而，如果有更简单的方法来做这件事，可以自由地回答。0.0来更新，rn [10.0, 11.0, 12.0, 12.0]需要通过将id更改为4.0来更新。(ResultTask.scala:87) a
浏览 7提问于2020-04-20得票数 0
回答已采纳
1回答
我使用窗口函数与大窗口与火花2.4.4，例如。Window .orderBy("timestamp")at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)
在源代码中，我发现了这个参
浏览 6提问于2020-01-15得票数 4
1回答
我有传感器数据，传感器的数据格式是(值，时间戳)。我把感应器的值放入DataFrame，DataFrame的值是：|value| timestamp|| 1|1493626740000|| 3|1493626743000|| 7|1493626746000|| 7|1493626748000|
浏览 0提问于2017-09-08得票数 0
2回答
，遵循的回答from pyspark.sql.functions import countDistinct, count, lag, to_timestamp
.builder \= Window.partitionBy("userid").orderBy("n
浏览 0提问于2018-09-13得票数 0
例如，来自：|Date |val_1| | 1-1 | 1.1| | 1-3 | 1.3| | 1-5 | 1.5| | 1-7 | 1.7| | 1-9 | 1.9| 至：| Date | D-3 | D-2 | D-1 |
+-----+-----+---
浏览 21提问于2017-03-14得票数 1
在spark 1.4.1中，callUdf方法的参数是没有任何方法可以直接作用于列，如1.5.1中的方法那么如何在1.4.1中调用UDF呢？或如何将列类型更改为例如，这些代码
浏览 1提问于2016-11-28得票数 0
回答已采纳
我有一个带有ID的火花DataFrame和一堆数字列，对于除ID之外的每一列，我都试图生成一个按ID分组的滞后差异列。+---+-----+-----+-----++---+-----+-----+-----+| 1| 2| 4| 2|| 2| 1| 3| 4|| 2| 1| 1| 1|
| 2|
浏览 0提问于2018-08-27得票数 2
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
