问题 我有一个巨大的Spark Dataframe，叫做x。我正在使用databricks。X有数十亿条记录，太大了，不能收集到一台机器上。我要怎么做才能让它正常工作？” Mastering Spark with R这本书中有一个加载小型r数据帧并在其上运行summarize_all的示例： cars <- copy_to(sc, mtcars)
summarize_all(cars, mean) 注意:上面的代码在我的databricks集群上
浏览 17提问于2020-09-24得票数 2
回答已采纳
我使用以下代码在databricks上创建了sql表CREATE TABLE data OPTIONS (header "true", inferSchema "true") 下面的代码将该表分别转换为sparkr和r dataframe：library(SparkR)
data_spark <- sql</
浏览 10提问于2018-07-25得票数 3
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？
谢谢!
浏览 6提问于2020-11-06得票数 2
我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？
浏览 11提问于2020-08-18得票数 0
回答已采纳
1回答
在Azure环境中，我发现了包SparkR和sparklyr。在使用SparkR的笔记本中，我设法连接到一个数据库：DW <- sql("select * from mydb.sometable")library(sparklyr
浏览 5提问于2022-01-11得票数 0
回答已采纳
1回答
我希望能够在SparkR SparkDataFrame上使用Java方法向Cassandra写入数据。然而，对于我的用例，我希望能够使用SparkR::spark.lapply，这样我就可以在本地收集我的Cassandra表的子集，在它们上运行脚本并写回数据。我尝试使用sparklyr的每个方法都是单线程的，所以实际上根本没有使用spark。使用Spark
浏览 7提问于2017-01-22得票数 0
回答已采纳
1回答
Sparklyr未连接到数据库
、、、、
我正在尝试使用sparklyr或SparkR连接到数据库。install.packages("sparklyr")
Error i get is: Error in value[[3L]](cond) :
浏览 0提问于2018-11-27得票数 1
我已经阅读了SparkR::read.jdbc()和sparklyr::spark_read_jdbc()的文档，但它们似乎从数据库中提取整个表，而不仅仅是查询的结果，这对我来说并不合适，因为我永远不需要提取整个表我找不到使用jdbc连接器执行以下操作的方法：和
(B)将结果存储为R数据帧或可以非常容易地转换为R
浏览 13提问于2020-03-03得票数 1
7回答
有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。sparklyr只能用于并行运行dplyr函数，还是“普通”的R-Code？
最好的
浏览 0提问于2016-09-14得票数 53
1回答
Name")
mutate(categories=explode(df_2$categories)) %>% SparkR::collect()
dummy_r = dummy
浏览 23提问于2020-03-23得票数 2
我使用的是spark 2.0.0和Spark (RStudio和R 3.3.1)中的SparkR包，它们都运行在具有4核和8 8gb内存的本地机器上。为了便于构建我可以在R中处理的数据集，我使用collect()方法将spark DataFrame引入R中。这样做需要大约3分钟，这比使用data.table包读取相同大小的CSV文件要长得多。诚然，拼图文件是压缩的，解压所需的时间可能是问题的一部分，
浏览 9提问于2016-09-19得票数 8
1回答
我正在尝试找到一种方法，将一个数据帧转换为一个表，以便在另一个Databricks笔记本中使用。我找不到任何关于在R中执行此操作的文档。
浏览 0提问于2020-08-12得票数 0
我有一个名为Tweets的sparkR数据格式，它有一个名为bodyText的列。到目前为止，我尝试的是：
subset(twitter_df, grepl("(?<=\\b)rally", twitter_df$bodyText, ignore.case = TRUE))
浏览 1提问于2016-09-26得票数 2
回答已采纳
0回答
嗨，我正在尝试弄清楚是否有一种方法可以直接将DB表读取到sparkR数据帧中。我在一个EMR集群上安装了rstudio，该集群上有我的hive metastore。我知道我可以做到以下几点：library(dplyr)library(DBI)result <- dbGetQuery(
浏览 0提问于2017-12-01得票数 0
回答已采纳
我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。我在Spark上下文中的最终结果应该如下所示-org.apache.spark.sql.DataFrame
(Intercept) x
浏览 11提问于2018-07-31得票数 2
在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢
目前我正在做floor(a / b)，但我想知道是否有一个简单的运算符。
浏览 0提问于2018-06-05得票数 1
我正在将本地R脚本更改为sparkR。输入是hive table，我使用如下代码读取该表：>results <- sql("SELECT * FROM temp.temp_ceshi limit 3")我希望将sparkR数据帧转换为data.table并使用本地R脚本。怎么做呢？
浏览 4提问于2017-12-07得票数 1
2回答
我试图在斯帕克里尔的DataFrame中计算某个特定库仑的缺失值，如下所示Source: query[1 x 1] <dbl>但是返回的结果是dataframe中的行总数。
浏览 11提问于2016-12-30得票数 1
回答已采纳
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= c('year', 'storm
浏览 0提问于2016-09-08得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
