1回答
目前sparklyr (0.5.1)还没有针对Spark的pivot实现。到目前为止，我已经到了这里。copy_to(sc, iris) invoke("groupBy", "Species", list()) %>%
invoke("pivot
浏览 2提问于2017-01-25得票数 2
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark
这里提出了一个类似的问题：。
浏览 6提问于2020-11-06得票数 2
SparkDataFrame" 和 class(x) 返回:1 "SparkDataFrame“attr(，"package") 1 "SparkR” Mastering Spark with R这本书中有一个加载小型r数据帧并在其上运行<dbl> <dbl>
1 20.1 6.19 231. 147. 3.60 3.22 17.8 0.438 0.406 3.69 2.81 这本书让我相信我可以在巨大的spark数据帧上使用这个和
浏览 17提问于2020-09-24得票数 2
回答已采纳
我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？
浏览 11提问于2020-08-18得票数 0
回答已采纳
我正在尝试使用sdf_pivot()函数( sparklyr )将长格式的数据帧“收集”为宽格式。变量的值是我想连接的字符串。y=c("This", "That", "The", "Other", "End", "End"))sdf_pivot
浏览 3提问于2017-05-19得票数 2
回答已采纳
1回答
我正在尝试编写一个函数来执行并创建一个sdf_pivot() DataFrame，它的列名包含原始变量或列的名称。::sdf_pivot(formula = id ~ newvar1, fun.aggregate = "count") %>% 5 2 0 0 1 0 0
在我
浏览 5提问于2018-02-13得票数 1
回答已采纳
在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢
目前我正在做floor(a / b)，但我想知道是否有一个简单的运算符。
浏览 0提问于2018-06-05得票数 1
SparkR)data_r_df <- as.data.frame(data_spark)
但我不知道我应该如何将这些数据帧转换为sparklyr数据帧来利用sparklyr的并行化？
浏览 10提问于2018-07-25得票数 3
2回答
函数将R类型转换为星点类型。
、、、、
我有一个R数据框架，我想把它转换成远程集群上的星火数据帧。我已经决定将我的数据框架写到一个中间的csv文件中，然后使用sparklyr::spark_read_csv()读取该文件。我这样做是因为数据帧太大，不能直接使用sparklyr::sdf_copy_to()发送(我认为这是由于Livy中的限制)。我想通过编写一个函数来编程地将数据帧中使用的R列类型传递到新的spark数据框架，该函数返回一个
浏览 0提问于2019-03-28得票数 0
回答已采纳
我在R中有一个代码，它需要缩放以使用大数据。我使用Spark来做这件事，似乎最方便的包是sparklyr。但是，我无法从Spark数据帧创建TermDocument矩阵。任何帮助都是最好的。input_key是具有以下模式的数据帧。 1 A,B,C 3 P,O,L
我在R中的代码如下。
浏览 12提问于2017-02-17得票数 2
我正在使用sparklyr库与“spark”进行交互。存在用于将数据帧放入spark上下文中的函数。这样的函数是'dplyr::copy_to‘和'sparklyr::sdf_copy_to’。
浏览 53提问于2019-05-15得票数 5
在使用sparklyr进行所有操作之后，它被简化为1,880,573 rows和629 columns。The average row size was 5.0 KB
对于sparklyr来说，1,880,573 rows x 629 columns是否太大而无法收集？
浏览 4提问于2020-09-30得票数 0
我已经使用spark和R包sparklyr进行了连接，并且可以使用带有spark连接的R包DBI连接到我们的配置单元集群，并将数据提取到R数据帧中：dbWriteTable(conn = sc, name = "sampledb.rsparktest3", value = result3)sun.reflect.DelegatingMethodAcc
浏览 1提问于2017-09-01得票数 1
我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？
浏览 16提问于2017-06-28得票数 6
我正在使用sparklyr与spark进行交互。我正在尝试仅替换一列中的NaN值。
是否可以使用sparklyr函数replace.na()，但仅将其应用于一列？我检查了文档，但它对我没有帮助。此类似，但答案更改了整个数据帧中的所有NaN值。
浏览 0提问于2019-05-15得票数 0
2回答
我想在sparklyr数据帧上填充值(用以前的值替换NAs )，该字段保存字符串。我想改变这一点： ID, String2 NaN4 NaN 要这样做： ID, String2 a4 b 有没有办法在sparklyr
浏览 29提问于2019-01-18得票数 2
3回答
齐聚一堂
、、、
我正在使用sparklyr来操纵一些数据。upper_bound = rep(c(80, 130), each =10),我想使用“收集”来操作数据，比如： gather(key = type_data, value = value_data, -c(id:attribute1))
但是，sparklyr上没有“聚集我见过一些人使用sdf_pivot来模仿“聚集
浏览 7提问于2018-05-22得票数 3
回答已采纳
尝试将sdf_pivot与sparklyr的开发版本结合使用。唯一起作用的聚合函数是count。org.apache.spark.sql.RelationalGroupedDataset.sum的异常iris_tbl <- copy_to(sc, iris)iris_tbl %>% sdf_pivot(Species ~ Sepal_Width, "
浏览 3提问于2017-06-18得票数 3
回答已采纳
希望使用类似于逐行范围的tail function来打印下面数据的最后50行，使用sparklyr，没有arrange或collect --我的一些帧很大，没有连续的列。library(sparklyr)library(Lahman)
sc <- spark_connect
浏览 3提问于2016-12-12得票数 1
回答已采纳
我正在尝试测试是否可以运行prophet和sparklyr来对集群中的数据进行预测。但是当我使用spark_apply时，程序就卡住了。在连接到带有spark 2.2.0的纱线客户端的edgenode上运行sparklyr。数据是过去4年按地点划分的销售额。我们的计划是创建一个包含所有数据的数据帧，并按位置对数据进行分区，然后在每个位置调用prophet，并获得未来7天的预测。在这里，我试图拉取一个位置的数据并应用prophet，但<
浏览 14提问于2019-05-09得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
