加速R/sparkR中大数据的udf

文章/答案/技术大牛

发布

1回答

r、apache-spark、udf

在UDF阶段，我有一个包含两个字符串的SparkDataFrame。我应用了一个UDF，它只是一个表格查找，将一个列(单元格)替换为相应的“除法”(整数)： ## convert dataframe我的问题是应用UDF的代码： structType(structField("msisdn", "strin

浏览 10提问于2017-03-16得票数 0

1回答

将R中的ddply转换为sparkR函数

r、plyr、lapply、sparkr

我有一个有上百万行的数据框df。我使用带有用户定义函数udf的ddply。res <- ddply(df, c("id"),function(x){udf(x)} 这工作得很好，但它非常慢(大约需要4个小时)，我猜是因为udf。它检查了很多案例。我想在sparkR中运行相同的函数。Spark集成在R环境中。我可以在sparkR中做基本的操作，但是找不到一个可以替代ddpl

浏览 0提问于2016-07-20得票数 1

2回答

并行化不工作的sparkR

r、apache-spark、sparkr

), function(x) list(a = x, b = as.character(x))) : 但是，我可以创建数据框：library(SparkR)Sys.setenv(SPARK_HOME="C:\\Apache\\spark-1.6.0-bin-hadoop2.6") .libPaths(c(file.path(Sys.getenv("SPAR

浏览 1提问于2016-01-08得票数 2

2回答

na.locf在sparkR中的等价性

r、apache-spark-sql、sparkr、locf

我是新的R试图重写一个R代码在sparkR。data.table上的一个名为costTbl的操作(它有另外5个列)是costTbl[,cost:=na.locf(cost,na.rm=FALSE, fromLast=TRUE),by=product_id] 我无法在sparkR中找到相应的操作。我认为可以通过对product_id上

浏览 0提问于2020-11-02得票数 3

回答已采纳

1回答

SparkR::dapply库未被识别

apache-spark、databricks、azure-databricks、sparkr

Introduction 我使用install.packages在9.1LTS上安装了一些数据库集群上的软件包，我想使用R& Spark (SparkR或sparklyr)运行一个UDF。我的用例是使用Spark ( SparkR或sparklyr)批量获取一些数据。我目前选择了SparkR::dapply。主要问题是，安装的包在使用SparkR::dapply的工作人员上

浏览 4提问于2021-12-01得票数 1

3回答

在同一个大规模数据集上对数百个模型进行评分的最佳实践？

scoring

我有预测各种事物的500+模型，以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。目前，我的评分过程大约需要5天，操作方法是将400m+记录分块成10万人的片段，并旋转n个线程，每个线程都有一个特定的500+模型子集，并以这种方式运行，直到所有模型的所有记录都得分为止。每个线程都是一个Python进程，它提交R代码(即加载一个R .rds模型和相关的数据集转换

浏览 0提问于2020-01-21得票数 2

1回答

如何在SparkR中从数据帧创建表

sql、r、data-science、databricks

我正在尝试找到一种方法，将一个数据帧转换为一个表，以便在另一个Databricks笔记本中使用。我找不到任何关于在R中执行此操作的文档。

浏览 0提问于2020-08-12得票数 0

1回答

如何将SparkR转换为sparklyr？

r、apache-spark-sql、sparkr、sparklyr

如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？谢谢!

浏览 6提问于2020-11-06得票数 2

1回答

如何在Scala中加载.rds R文件作为Spark数据帧

r、scala、apache-spark-sql

我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。我在Spark上下文中的最终结果应该如下所示-org.apache.spark.sql.DataFrame (Intercept) x

浏览 11提问于2018-07-31得票数 2

1回答

如何在sparkR中访问每一行数据帧

sparkr

我使用sparkR在spark上运行R。我已经创建了csv file.Now的数据帧，我需要访问该row.Is中的每一行以及数据，有什么方法可以做到这一点吗？

浏览 1提问于2016-01-29得票数 0

1回答

运行R脚本与Rscript对火花-提交

r、apache-spark、sparkr

我不明白使用Rscript运行R文件与使用火花提交之间的区别。在创建星火会话之

浏览 3提问于2017-12-10得票数 1

回答已采纳

1回答

SparkR前馈回路

r、lapply、sparkr

在Spark的Java/Scala/Python实现中，可以简单地调用RDD或DataFrame类型的DataFrame方法，以便并行化数据集上的迭代。我只能找到gapply和dapply函数，但是我不想计算新的列值，我只是想通过从列表中并行地获取一个元素来做一些事情。Lost task 1.0 in stage 5.0 (TID 207, l

浏览 0提问于2017-01-23得票数 2

1回答

使用SparkR运行R模型

r、apache-spark-mllib、sparkr

提前感谢您的投入。我是ML的新手。我已经开发了一个R模型(在本地使用R)，并希望部署在安装了R的hadoop集群上。我想使用SparkR来利用高性能的计算。我只想在这里了解SparkR的角色.SparkR是否允许R模型在Hadoop集群上的SparkR中运行该算法？SparkR是否只启用数据处理，而ML算

浏览 2提问于2017-11-14得票数 5

1回答

如何将Sparkr* Dataframe调用到R代码中？*

r、spark-dataframe

我在Apache服务器上用SparkR创建了一个数据帧。我需要在R代码中调用它来处理数据并从中提取特征。谁能告诉我如何将SparkR df读入R？SparkR df：myframe <- filter(read.df(sqlContext, source= "org.apache.spark.sql.cassandra", key

浏览 0提问于2017-10-27得票数 1

2回答

如何使用SparkR访问使用PySpark创建的DataFrame？

pyspark、sparkr、apache-spark-dataset

.option("header", first_row_is_header) \ .load(file_location)%rdf1Error in eval(parse(text

浏览 1提问于2018-10-05得票数 0

1回答

为什么SparkR* (在databricks上)在使用时不显示摘要函数输出？*

r、databricks、sparkr

在databricks上，从一个R数据R开始：现在，SparkR摘要函数提供了很好的输出： n:1000.0接下来，我将把R数据转换为星星之火数据： y <- SparkR::createData

浏览 8提问于2020-09-09得票数 2

回答已采纳

1回答

如何解除sparkR数据透视？

apache-spark-sql、spark-dataframe、unpivot、sparkr

我正试图在SparkR中转换/取消数据传输。我在SparkR包中找不到任何直接的方法来完成数据透视。即使在使用了SparkR方法之后，我也不能在includePackage数据文件上使用R包。如果有人能让我知道是否有直接的方式使用SparkR或其他替代方法，比如Hive，那将是很有帮助的。

浏览 2提问于2016-06-24得票数 0

3回答

如何将星火R数据转换为R列表

r、csv、dataframe、rstudio、sparkr

这是我第一次在Databricks上尝试使用Spark来完成与RStudio相同的工作。但遇到了一些奇怪的问题。看起来Spark确实支持像ggplot2、plyr这样的软件包，但是数据必须是R列表格式的。当我使用train <- read.csv("R_basics_train.csv")时，我可以在R中生成这种类型的列表，在这里，变量train是使用typeof(train)时的列表。然而

浏览 4提问于2016-04-21得票数 0

回答已采纳

3回答

如何在sparkR中读取csv并转换为RDD

apache-spark、rdd

因为我是一个R程序员，所以我想使用R作为spark的接口，我在R中安装了sparkR的sparkR包。sc <- sparkR.init(master="local") # created spark content data <- r

浏览 4提问于2015-03-23得票数 0

2回答

在DataBricks中是否存在将R数据文件转换为Spark的大小限制？

r、apache-spark、apache-spark-sql、databricks、sparkr

我的问题是:我可以将R数据的子集转换为星火数据，但不能转换整个数据。类似但不相同的问题包括：和library(SparkR)sparkR.version() dim(df)) : Error in handleErrors(returnStatus

浏览 5提问于2020-01-03得票数 2

回答已采纳

点击加载更多