EMA函数在R数据帧上有效，但在spark数据帧上失败- Sparklyr
EMA函数是指指数移动平均函数（Exponential Moving Average），它是一种常用的时间序列分析方法，用于平滑数据并捕捉趋势。在R数据帧上，EMA函数可以有效地计算并得出结果。然而，在spark数据帧上使用sparklyr包时，EMA函数可能会失败。
Sparklyr是一个用于在R中操作Apache Spark的包，它提供了一套接口来连接和操作Spark集群。由于Sparklyr是基于Spark的，而Spark是一个分布式计算框架，与传统的单机计算框架不同，它的数据处理方式和计算模型有所不同。
在Spark中，数据被分布式存储和处理，数据帧（DataFrame）是一种常用的数据结构，类似于R中的数据帧。然而，由于Spark的分布式计算特性，EMA函数在spark数据帧上可能会失败。
解决这个问题的方法是使用Spark提供的内置函数来实现指数移动平均。Spark提供了一系列的内置函数，包括平均函数、滑动窗口函数等，可以用来处理时间序列数据。通过使用这些内置函数，可以在spark数据帧上实现类似EMA函数的功能。
腾讯云提供了一系列的云计算产品和服务，包括云数据库、云服务器、云原生应用平台等。对于处理大数据和分布式计算的需求，腾讯云提供了TencentDB for TDSQL、云服务器CVM、腾讯云原生应用平台TKE等产品，可以满足用户在云计算领域的需求。
关于EMA函数在Spark数据帧上的失败问题，腾讯云目前没有特定的产品或解决方案来解决这个问题。建议用户在使用Sparklyr包时，参考Spark官方文档和社区讨论，寻找其他解决方案或使用Spark内置函数来实现类似的功能。
参考链接：
相关·内容
1回答
EMA函数在R数据帧上有效，但在spark数据帧上失败- Sparklyr
apache-spark、databricks、sparklyr
我对R和Spark都是新手。我正在编写一个函数来计算一组数据的指数移动平均值。我正在使用sparklyr包在Databricks Spark平台上工作。我目前对这些值的正确性不感兴趣(我使用的是虚拟值-例如。init = 10是任意的)。我
浏览 25提问于2019-11-08得票数 1
回答已采纳
2回答
函数将R类型转换为星点类型。
r、apache-spark、dplyr、sparklyr、livy
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。我想通过编写一个函数来编程地将数据帧中使用
浏览 0提问于2019-03-28得票数 0
回答已采纳
1回答
在dplyr和sparklyr中动态类型转换为numeric
r、dplyr、sparklyr
这个问题的要点是，我有一些R代码，它在本地数据帧上工作得很好，但在Spark数据帧上失败了，即使在其他情况下两个表是相同的。在R中，给定所有字符列的数据帧，可以动态地将所有列类型转换为numeric，然后使用以下代码将其安全地转换为numeric： require(dplyr)require(sparklyr</em
浏览 16提问于2020-08-18得票数 0
回答已采纳
1回答
数据库上的sql sparklyr sparkr数据帧转换
r、sparkr、sparklyr、databricks
我使用以下代码在databricks上创建了sql表CREATE TABLE data OPTIONS (header "true", inferSchema "true") 下面的代码将该表分别转换为sparkr和r dataframe：library(SparkR)
data_spark <- sql("SELECT*
浏览 10提问于2018-07-25得票数 3
2回答
在Databricks中使用sparklyr收集表
r、parquet、databricks、sparklyr
在使用sparklyr进行所有操作之后，它被简化为1,880,573 rows和629 columns。当我尝试使用sdf_collect()为Factor Analysis收集它时，它给出了这个内存错误：
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB).The average r
浏览 4提问于2020-09-30得票数 0
1回答
java.lang.OutOfMemoryError中的Sparklyr配置结果
r、sparklyr
我在一个8核64 am内存的本地实例上运行带R的sparklyr。我的工作是使用[50 000 000, 12]数据帧对[20 000 000, 3]数据帧进行left_join，我和Spark一起运行。: Java heap space而失败。" = "50g")
config["sparklyr.shell.driver-memory"] <
浏览 19提问于2021-09-06得票数 2
1回答
适用于大型数据集的sparklyr中copy_to的替代方案
r、hive、apache-spark-sql、sparklyr
我有下面的代码，它使用包装器函数对数据集进行SQL转换，并使用Sparklyr调用spark SQL API。然后，我使用"invoke("createOrReplaceTempView"，"name")“将Spark环境中的表保存为spark数据帧，以便在将来的函数调用中调用。然而，要做到这一点，我似乎必须使用sparklyr中的"copy_to“
浏览 0提问于2017-06-07得票数 3
1回答
火花DataFrame的元数据
r、apache-spark、benchmarking、sparkr、sparklyr
我正在通过"sparklyr“和"SparkR”对spark in R进行基准测试。我在不同的Testdata上测试不同的函数。在两种特殊的情况下，我计算了一列中的零的数量和一列中的NA的数量，我意识到无论数据有多大，在不到一秒的时间内就能得到结果。所有其他计算都会随着数据的大小而变化。所以我不认为Spark在那里计算任何东西，但那些案例存储在元数据</
浏览 0提问于2017-03-24得票数 1
1回答
使用ffmpeg pyspark和hadoop逐帧处理视频
hadoop、video、pyspark、hdfs
我想使用spark和hadoop并行处理mp4视频帧。我不想在处理之前提取所有帧。我正在寻找的是一种顺序读取帧数据w.r.t的方法。视频时间，然后在帧到达使用yarn的hadoop集群上的spark executors时馈送帧。mp4视频文件可以在本地文件系统上，也可以在HDFS上。我可以使用ffmpeg创建一个管道，然后读取原始帧</e
浏览 11提问于2019-07-13得票数 2
1回答
facebook Prophet可以通过spark_apply应用于sparklyr吗
sparklyr、facebook-prophet
我正在尝试测试是否可以运行prophet和sparklyr来对集群中的数据进行预测。但是当我使用spark_apply时，程序就卡住了。在连接到带有spark 2.2.0的纱线客户端的edgenode上运行sparklyr。数据是过去4年按地点划分的销售额。我们的计划是创建一个包含所有数据的数据帧，并按位置对数据进行分区，然后在每个位置调用prophet，并获得未
浏览 14提问于2019-05-09得票数 1
3回答
用星火读取SAS sas7bdat数据
apache-spark、pyspark、sas
import SQLContext
df = sqlContext.read.format("com.github.saurfang.sas.sparko878.load.
: java.lang.ClassNotFoundException: Failed to find data source: com.github.saurfang.sas.sparkPlease find packages at http://spark.apache.org&#
浏览 2提问于2018-08-21得票数 2
回答已采纳
1回答
spark_apply不分发。节点中只有一个R任务
r、apache-spark、apply、sparklyr
我有一个星火数据帧SDF.data被划分为6分区。根据表df.SplitNames.，我试图生成一个由SDF.data中的某些列的产品组成的数据框架。spark_apply函数如下所示：library(data.table)df.prod <- df[ ,当我使用top检查每个节点中的进程时，我看
浏览 1提问于2017-11-14得票数 1
1回答
在Oracle数据库连接中使用sparklyr
oracle、odbc、database-connection、rodbc、sparklyr
我想得到一些关于合并以下R包的方法的解释：-sparklyr：用于计算独立星团上的数据-on我的客户端计算机，我使用dbConnect()函数从ODBC R包连接到一个现有的ODBC数据库。此Oracle数据库托管在windows服务器上。我使用位于同一个本地网络但与windows服务器隔离的一些计算机分别实现了一个Spar
浏览 4提问于2018-03-11得票数 1
回答已采纳
1回答
闪速spark_apply非常慢
apache-spark、sparklyr
sparklyr spark_apply非常慢/根本没有响应。当签入spark时，正在执行的阶段是在utils.scala:204上收集。它正在执行0/1(1正在运行)任务。应用spark_apply的数据帧有30个分区。这个任务没有进展，也没有执行单个任务的原因。library(sparklyr)config=spark_config()
config=c(con
浏览 0提问于2019-04-25得票数 1
回答已采纳
0回答
sparklyr中的堆空间不足，但有足够的内存
r、apache-spark、dplyr、sparklyr
即使是在相当小的数据集上，我也会得到堆空间错误。我可以确定我没有耗尽系统内存。例如，考虑一个包含大约20M行和9列的数据集，这将占用1 1GB的磁盘空间。我在一个内存为30 of的Google Compute节点上使用它。library(sparklyr)
sc <- spark_connect(master
浏览 7提问于2016-12-30得票数 5
回答已采纳
2回答
唯一值的个数(闪烁)
r、apache-spark、dplyr、apache-spark-sql、sparklyr
下面的示例描述了如何在不使用dplyr和sparklyr聚合行的情况下计算不同值的数量。更普遍的情况是，如何在sparklyr数据帧上使用类似sql的窗口函数。, 1, 10)), vals = rnorm(10)
## copying to Sparkdf.spark <- copy_to(sc,
浏览 1提问于2018-03-28得票数 3
回答已采纳
1回答
如何使用sparklyr删除火花DataFrame？
r、apache-spark、dplyr、sparklyr
我已经创建了一个名为"iris“的星火数据库，使用下面的library(dplyr)iris_tbl<- copy_to(sc, iris)
现在我想删除星火数据“虹膜”(不是R中的数据)，我该怎么做呢？
浏览 1提问于2018-08-15得票数 1
1回答
如何最好地处理将大型本地数据帧转换为SparkR数据帧？
r、sparkr
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= "/home/your/path/spark-2.0.0-bin-hadoop2.7")
library(SparkR
浏览 0提问于2016-09-08得票数 3
1回答
单元测试中的Spark Dataframe比较以检查功能
scala、dataframe、unit-testing、apache-spark、apache-spark-sql
我已经创建了一些方法来将数据帧转换为所需的格式，并根据错误规则过滤多个错误检查和更新数据帧。 我是一个在intelliJ上用scala编写单元测试的新手。我必须编写单元测试来将实际数据帧与预期结果进行比较。 下面是我为数据帧的pivot功能编写的单元测试用例。类似地，我必须将获得的数据集与预期的数据帧进行比较。，即使两个数据帧是
浏览 4提问于2021-09-13得票数 1
2回答
在Hadoop中使用spark_apply从sparklyr运行系统命令
r、apache-spark、hadoop、hadoop-yarn、sparklyr
我想对存储在Hadoop集群中的数据运行Java工具。我正在尝试使用sparklyr中的spark_apply函数来实现，但我对语法感到有点困惑。让我们以虹膜数据为例：library(tidyverse)data(iris)
config <- spark_config(/r_env.zip/r_env/b
浏览 0提问于2018-10-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
