使用SparkR创建的数据帧和使用Sparklyr创建的数据帧有什么区别？
使用SparkR创建的数据帧和使用Sparklyr创建的数据帧有以下区别：
- 编程语言：SparkR是基于R语言的Spark接口，而Sparklyr是基于R语言的Spark接口的另一种实现。
- API和语法：SparkR使用R语言的API和语法，而Sparklyr使用自己定义的API和语法。SparkR提供了一套与R语言相似的函数和操作符，而Sparklyr则提供了一套更加直观和易于使用的API。
- 性能和扩展性：由于SparkR是直接使用R语言的接口，因此在处理大规模数据和复杂计算时可能会受到R语言的性能限制。而Sparklyr通过自定义的API和底层优化，可以提供更好的性能和扩展性。
- 生态系统和工具支持：SparkR和Sparklyr都可以与Spark生态系统中的其他组件无缝集成，如Spark SQL、Spark Streaming等。然而，由于Sparklyr提供了更加直观和易于使用的API，因此在使用R语言进行数据分析和机器学习时，Sparklyr可能更受欢迎。
- 推荐的腾讯云相关产品和产品介绍链接地址：腾讯云提供了Spark on Tencent Cloud（腾讯云上的Spark服务），可以帮助用户快速搭建和管理Spark集群。具体产品介绍和使用方法可以参考腾讯云官方文档：Spark on Tencent Cloud。
相关·内容
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？
谢谢!
浏览 6提问于2020-11-06得票数 2
问题 我有一个巨大的Spark Dataframe，叫做x。我正在使用databricks。X有数十亿条记录，太大了，不能收集到一台机器上。我要怎么做才能让它正常工作？for 'tbl_vars' applied to an object of class "SparkDataFrame" 和 class(x) 返回:1 "SparkDataFrame“attr(，"package") 1 "SparkR” Mastering
浏览 17提问于2020-09-24得票数 2
回答已采纳
我使用以下代码在databricks上创建了sql表CREATE TABLE data OPTIONS (header "true", inferSchema "true") 下面的代码将该表分别转换为sparkr和r dataframe：library(SparkR)
data_spark <- sql("SELECT*
浏览 10提问于2018-07-25得票数 3
我正在Azure databricks中读取一个拼图文件:使用SparkR > read.parquet()使用Sparklyr > spark_read_parquet()这两个数据帧是不同的，有没有办法将SparkR数据帧转换为sparklyr数据帧，反之亦然？
浏览 11提问于2020-08-18得票数 0
回答已采纳
使用SparkR，我想知道是否有可能将星火DataFrame转换成H2O框架？
我看到了将R data.frames转换为h2o帧的例子，但遗憾的是，这不是一个可行的选择(数据大小)。我知道使用sparklyr和rsparkling创建h2o框架是可能的，但我不使用HIVE、Hadoop、sparklyr或rsparkling。
浏览 4提问于2017-10-18得票数 2
回答已采纳
1回答
我有一个包含以下数据的Spark dataframe： categories2 Luis SparkR::collect()
dummy_r = dummy_cols(r_df) 如何使用s
浏览 23提问于2020-03-23得票数 2
我使用df_pqt_tbl <- spark_read_parquet(...)函数读取了一个拼花文件。我的环境是Databricks。我想使用SparkR::sampleBy函数进行分层抽样，但是我得到了一个错误：
错误(函数(类、fdef、mtable)：无法为函数‘sampleBy’找到用于签名‘“tbl_spark”、“字符”、“列表”、“
浏览 0提问于2019-09-03得票数 1
回答已采纳
我在Databricks上创建了一个PySpark DataFrame。中使用df1library('SparkR')sparkR无法使用或找到由PySpark创建的df1。DATABRICKS_CURRENT_TEMP_CMD__)) : object 'df1' not found
浏览 1提问于2018-10-05得票数 0
我正在运行Sparklyr和SparkR。当我试图使用由schema()创建的数据表调用spark_read_csv()函数时，会收到以下错误(以及select()和lapply()函数上的类似错误)：
R版本3.5.3 (201
浏览 1提问于2019-04-14得票数 0
我正在使用SparkR来处理一些在其技术堆栈中包含R和spark的项目。sdf1$result <- sdf1$value == sdf2$value
问题是当我必须比较两个不同长度的数据帧时。使用函数操作sdf1<em
浏览 3提问于2017-05-18得票数 0
1回答
我正在尝试找到一种方法，将一个数据帧转换为一个表，以便在另一个Databricks笔记本中使用。我找不到任何关于在R中执行此操作的文档。
浏览 0提问于2020-08-12得票数 0
1回答
我希望能够在SparkR SparkDataFrame上使用Java方法向Cassandra写入数据。然而，对于我的用例，我希望能够使用SparkR::spark.lapply，这样我就可以在本地收集我的Cassandra表的子集，在它们上运行脚本并写回数据。使用SparkR，我可以使用以下内容编写数据：
SparkR::saveDF(S
浏览 7提问于2017-01-22得票数 0
回答已采纳
我已经阅读了SparkR::read.jdbc()和sparklyr::spark_read_jdbc()的文档，但它们似乎从数据库中提取整个表，而不仅仅是查询的结果，这对我来说并不合适，因为我永远不需要提取整个表我找不到使用jdbc连接器执行以下操作的方法：和
(B)将结果存储为R数据帧或可以非常容易
浏览 13提问于2020-03-03得票数 1
7回答
有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。sparklyr只能用于并行运行dplyr函数，还是“普通”的R-Code？
最好的
浏览 0提问于2016-09-14得票数 53
我正在尝试使用存储在hbase中的数据在sparkR中创建spark数据帧。
有谁知道如何在SQLontext中指定数据源参数或任何其他方法来绕过这一点吗？
浏览 2提问于2015-07-09得票数 3
我有一个500K行的spark DataFrame，它位于拼图文件中。我使用的是spark 2.0.0和Spark (RStudio和R 3.3.1)中的SparkR包，它们都运行在具有4核和8 8gb内存的本地机器上。为了便于构建我可以在R中处理的数据集，我使用collect()方法将spark DataFrame引入R中。这样做需要大约3分钟，这比使用
浏览 9提问于2016-09-19得票数 8
1回答
在Azure环境中，我发现了包SparkR和sparklyr。在使用SparkR的笔记本中，我设法连接到一个数据库：DW <- sql("select * from mydb.sometable")library(<em
浏览 5提问于2022-01-11得票数 0
回答已采纳
在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢
目前我正在做floor(a / b)，但我想知道是否有一个简单的运算符。
浏览 0提问于2018-06-05得票数 1
0回答
嗨，我正在尝试弄清楚是否有一种方法可以直接将DB表读取到sparkR数据帧中。我在一个EMR集群上安装了rstudio，该集群上有我的hive metastore。我知道我可以做到以下几点：library(dplyr)library(DBI)result <- dbGetQuery(
浏览 0提问于2017-12-01得票数 0
回答已采纳
我对火花和sparkR是新手，我的问题是:当我在下面写代码时: 1)。设置环境并启动spark.session()df <
浏览 4提问于2016-09-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
