数据库上的sql sparklyr sparkr数据帧转换

文章/答案/技术大牛

发布

1回答

如何使用数据库让dplyr::summarize_all在sparkdataframe上工作？

r、apache-spark、dplyr、databricks

问题我有一个巨大的Spark Dataframe，叫做x。我正在使用databricks。X有数十亿条记录，太大了，不能收集到一台机器上。我要怎么做才能让它正常工作？” Mastering Spark with R这本书中有一个加载小型r数据帧并在其上运行summarize_all的示例： cars <- copy_to(sc, mtcars) summarize_all(cars, mean) 注意:上面的代码在我的databricks集群上

浏览 17提问于2020-09-24得票数 2

回答已采纳

1回答

r、sparkr、sparklyr、databricks

我使用以下代码在databricks上创建了sql表CREATE TABLE data OPTIONS (header "true", inferSchema "true") 下面的代码将该表分别转换为sparkr和r dataframe：library(SparkR) data_spark <- sql</

浏览 10提问于2018-07-25得票数 3

1回答

如何将SparkR转换为sparklyr？

r、apache-spark-sql、sparkr、sparklyr

如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？谢谢!

浏览 6提问于2020-11-06得票数 2

1回答

使用SparkR创建的数据帧和使用Sparklyr创建的数据帧有什么区别？

r、parquet、databricks、sparkr、sparklyr

我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？

浏览 11提问于2020-08-18得票数 0

回答已采纳

1回答

如何使用sparklyr访问数据库

r、databricks、sparkr、sparklyr

在Azure环境中，我发现了包SparkR和sparklyr。在使用SparkR的笔记本中，我设法连接到一个数据库：DW <- sql("select * from mydb.sometable")library(sparklyr

浏览 5提问于2022-01-11得票数 0

回答已采纳

1回答

将SparkR* DataFrame序列化为jobj*

r、apache-spark、cassandra、sparkr、sparklyr

我希望能够在SparkR SparkDataFrame上使用Java方法向Cassandra写入数据。然而，对于我的用例，我希望能够使用SparkR::spark.lapply，这样我就可以在本地收集我的Cassandra表的子集，在它们上运行脚本并写回数据。我尝试使用sparklyr的每个方法都是单线程的，所以实际上根本没有使用spark。使用Spark

浏览 7提问于2017-01-22得票数 0

回答已采纳

1回答

Sparklyr未连接到数据库

r、apache-spark、sparkr、databricks、sparklyr

我正在尝试使用sparklyr或SparkR连接到数据库。install.packages("sparklyr") Error i get is: Error in value[[3L]](cond) :

浏览 0提问于2018-11-27得票数 1

2回答

将SparkR* DataFrame转换为H2O帧*

r、h2o、sparkr

使用SparkR，我想知道是否有可能将星火DataFrame转换成H2O框架？

浏览 4提问于2017-10-18得票数 2

回答已采纳

1回答

如何使用SparkR::read.jdbc()或sparklyr::spark_read_jdbc()来获取SQL查询的结果而不是整个表？

sql、r、jdbc、sparkr

我已经阅读了SparkR::read.jdbc()和sparklyr::spark_read_jdbc()的文档，但它们似乎从数据库中提取整个表，而不仅仅是查询的结果，这对我来说并不合适，因为我永远不需要提取整个表我找不到使用jdbc连接器执行以下操作的方法：和 (B)将结果存储为R数据帧或可以非常容易地转换为R

浏览 13提问于2020-03-03得票数 1

7回答

SparkR vs sparklyr

r、apache-spark、sparkr、sparklyr

有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。sparklyr只能用于并行运行dplyr函数，还是“普通”的R-Code？最好的

浏览 0提问于2016-09-14得票数 53

1回答

R在sparkR中等效的快速虚拟函数

r、character-encoding、sparkr

Name") mutate(categories=explode(df_2$categories)) %>% SparkR::collect() dummy_r = dummy

浏览 23提问于2020-03-23得票数 2

2回答

为什么SparkR中的collect速度如此之慢？

r、apache-spark、sparkr

我使用的是spark 2.0.0和Spark (RStudio和R 3.3.1)中的SparkR包，它们都运行在具有4核和8 8gb内存的本地机器上。为了便于构建我可以在R中处理的数据集，我使用collect()方法将spark DataFrame引入R中。这样做需要大约3分钟，这比使用data.table包读取相同大小的CSV文件要长得多。诚然，拼图文件是压缩的，解压所需的时间可能是问题的一部分，

浏览 9提问于2016-09-19得票数 8

1回答

如何在SparkR中从数据帧创建表

sql、r、data-science、databricks

我正在尝试找到一种方法，将一个数据帧转换为一个表，以便在另一个Databricks笔记本中使用。我找不到任何关于在R中执行此操作的文档。

浏览 0提问于2020-08-12得票数 0

3回答

使用regex的逐列sparkr数据滤波器

r、sparkr

我有一个名为Tweets的sparkR数据格式，它有一个名为bodyText的列。到目前为止，我尝试的是： subset(twitter_df, grepl("(?<=\\b)rally", twitter_df$bodyText, ignore.case = TRUE))

浏览 1提问于2016-09-26得票数 2

回答已采纳

0回答

Sparklyr将数据库表读取到分布式DF

r、apache-spark、amazon-emr、sparkr、sparklyr

嗨，我正在尝试弄清楚是否有一种方法可以直接将DB表读取到sparkR数据帧中。我在一个EMR集群上安装了rstudio，该集群上有我的hive metastore。我知道我可以做到以下几点：library(dplyr)library(DBI)result <- dbGetQuery(

浏览 0提问于2017-12-01得票数 0

回答已采纳

1回答

如何在Scala中加载.rds R文件作为Spark数据帧

r、scala、apache-spark-sql

我正在尝试为一个模型创建一个生产数据管道。作为此管道的一部分，我以.rds文件的形式保存了一个在R环境中运行的模型。我在Spark上下文中的最终结果应该如下所示-org.apache.spark.sql.DataFrame (Intercept) x

浏览 11提问于2018-07-31得票数 2

1回答

如何在R中用sparklyr做整数除法(mod)？

r、apache-spark、sparklyr

在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢目前我正在做floor(a / b)，但我想知道是否有一个简单的运算符。

浏览 0提问于2018-06-05得票数 1

0回答

如何将SparkR数据帧转换为本地R数据表？

r、apache-spark、sparkr

我正在将本地R脚本更改为sparkR。输入是hive table，我使用如下代码读取该表：>results <- sql("SELECT * FROM temp.temp_ceshi limit 3")我希望将sparkR数据帧转换为data.table并使用本地R脚本。怎么做呢？

浏览 4提问于2017-12-07得票数 1

2回答

Sparklyr中的缺失值

r、apache-spark、missing-data、sparklyr

我试图在斯帕克里尔的DataFrame中计算某个特定库仑的缺失值，如下所示Source: query[1 x 1] <dbl>但是返回的结果是dataframe中的行总数。

浏览 11提问于2016-12-30得票数 1

回答已采纳

1回答

如何最好地处理将大型本地数据帧转换为SparkR数据帧？

r、sparkr

如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= c('year', 'storm

浏览 0提问于2016-09-08得票数 3

点击加载更多

如何使用数据库让dplyr::summarize_all在sparkdataframe上工作？