腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark_read_csv
的
Sparklyr
维度
问题
:
NA
结果
r
、
apache-spark
、
sparklyr
当我使用
spark_read_csv
在Spark环境中打开一个dataset (.csv)并询问相关tibble对象
的
尺寸时,
结果
显示
的
不是行数,而是
NA
。打开csv文件时缺少什么?以下是我得到
的
结果
: data =
spark_read_csv
( header =TR
浏览 13
提问于2019-02-08
得票数 1
回答已采纳
1
回答
使用SparkR
的
Sparklyr
:解析函数参数
的
困难
r
、
sparkr
、
sparklyr
我正在运行
Sparklyr
和SparkR。当我试图使用由schema()创建
的
数据表调用
spark_read_csv
()函数时,会收到以下错误(以及select()和lapply()函数上
的
类似错误): 平台:x86_64-W64-mingw32 32("SPARK
浏览 1
提问于2019-04-14
得票数 0
1
回答
用
sparklyr
将字符串在R中转换为逻辑字符串
r
、
apache-spark
、
sparklyr
我将1亿行存储在分布式文件系统中
的
许多.csv文件中。我使用
spark_read_csv
()在没有
问题
的
情况下加载数据。我
的
许多列存储为字符逻辑值:"true"、"false"、"<
na
>"。当我尝试将值转换为逻辑值时,"<
na
>"值与"false"值一起转换为"false"值。对如何克服这个
问题
有什么想法吗?
浏览 2
提问于2017-11-28
得票数 4
回答已采纳
3
回答
R:读csv数字和逗号在十进制,包火花
r
、
apache-spark
、
sparklyr
我需要使用库"
sparklyr
“读取".csv”类型
的
文件,其中数字值以逗号显示。其思想是能够直接使用"
spark_read_csv
()“进行阅读。我正在使用:library(dplyr) DD=c("33,2","33.2(master = "local&quo
浏览 1
提问于2018-12-27
得票数 1
回答已采纳
2
回答
Sparklyr
连接到S3桶抛出错误
r
、
apache-spark
、
amazon-s3
、
sparklyr
我能够读取本地文件
的
火花上下文。然而,试图连接s3似乎是一个
问题
,抛出大量错误。下面是使用
的
代码列表。library( tidyverse ) temp<-
浏览 2
提问于2017-07-19
得票数 3
回答已采纳
1
回答
导入多个文件
的
sparklyr
r
、
apache-spark
、
sparklyr
我
的
问题
spark_read_csv
(path=x, sc=sc, name="mydata", delimiter = "|", header=FALSE) 如果我要将它们全部导入
sparklyr
所以我
的
问题
是:在斯巴克里尔有一种同样
的
方法来做到这
浏览 0
提问于2018-03-31
得票数 5
回答已采纳
1
回答
闪烁:跳过文本文件
的
第一行
r
、
csv
、
apache-spark
、
sparklyr
我想跳过(删除)文本文件
的
前两行:据我所知,使用
sparklyr
方法
spark_read_csv
是不可能
的
。有办法解决这个简单
的
问题
吗?我知道
的
存在,但我正在寻找一种“更多”
的
标准方法来实现我
的
目标。
浏览 6
提问于2016-10-21
得票数 4
回答已采纳
1
回答
R:如何合并使用
spark_read_csv
加载
的
两个文件
r
、
apache-spark
、
sparklyr
我正在以这种方式处理用
spark_read_csv
加载
的
数据:connection <- spark_connect(master = 'local')在处理完这些数据之后,我意识到我需要将它与另一个文件组合在一起。第二个文件与第一个文件具有相同
的
变量和特征,我想用相同
的
方法
spark
浏览 0
提问于2019-10-31
得票数 0
2
回答
从
sparklyr
中
的
多个子文件夹读取文件
r
、
sparklyr
在Spark2.0中,我可以将多个文件路径组合成一个单独
的
加载(例如参见)。 我如何使用
sparklyr
的
spark-read-csv来实现这一点?
浏览 0
提问于2017-10-27
得票数 4
2
回答
读取csv函数时出错
r
、
sparklyr
在google计算集群中,我正在尝试使用
sparklyr
包将csv文件读取到strudio中。配置如下:install.packages("
sparklyr
") spark_installspark_config() sc <- spark_connect(master = "yarn-client", config=config ,version = &q
浏览 1
提问于2017-04-05
得票数 0
1
回答
使用spraklyr::
spark_read_csv
将数据读入星火库时出错
r
、
apache-spark
、
sparklyr
我正在使用R连接到
sparklyr
的
Spark,我可以做一些事情,例如,使用
sparklyr
::copy_to将数据加载到Spark中。但是,我无法让
sparklyr
::
spark_read_csv
工作。我试图加载
的
数据位于容器中映射
的
本地目录中。下面是我使用
的
代码
的
一个示例: sc, pat
浏览 5
提问于2022-06-13
得票数 0
1
回答
为什么我需要在
spark_read_csv
()中指定一个名称,并将其分配到一个对象中?
r
、
apache-spark
、
dry
、
sparklyr
如果我正确理解了用法(如果不是,请纠正我),
sparklyr
::
spark_read_csv
()应该这样使用:name = "my_table", 在我看来(我认为是错误
的
)这违反了DRY。我为我
的
对象命名了两次,一次是在函数输出
的
赋值中,另一次是在提供给nam
浏览 5
提问于2017-08-07
得票数 1
回答已采纳
1
回答
Sparklyr
:如何在星火表中将列表列炸成自己
的
列?
r
、
apache-spark
、
dplyr
、
tidyr
、
sparklyr
我
的
问题
类似于中
的
问题
,但是我在实现答案时遇到了
问题
,我不能在这个线程中发表评论。 df =
spark_read_c
浏览 2
提问于2017-04-24
得票数 2
回答已采纳
2
回答
使用
sparklyr
对大数据进行滚动应用
r
、
dplyr
、
sparklyr
、
rollapply
、
performanceanalytics
我想要为大约2250万个观察值
的
数据集估计滚动风险值,因此我想使用
sparklyr
进行快速计算。下面是我所做
的
(使用示例数据库):library(reshape2)data现在我这样做是为了利用
sparklyr
:sc <- spark_connect(master = "local") lmanagers_sp <
浏览 0
提问于2017-09-03
得票数 9
1
回答
汇总标准差并计算
sparklyr
中
的
非NAs
r
、
sparklyr
我有一个很大
的
data.frame,并且我一直在结合使用summarise和across来聚合大量变量
的
汇总统计信息。由于我
的
data.frame太大,我不得不开始在
sparklyr
中处理我
的
数据。 因为
sparklyr
不支持across,所以我使用summarise_each。这一切正常,只是
sparklyr
中
的
summarise_each似乎不支持sd和sum(!is.
na
(.))时,我成功地计算出了min、max、mean、su
浏览 17
提问于2020-10-20
得票数 1
回答已采纳
1
回答
is.
na
与火花分位数
r
、
dplyr
、
sparklyr
我正在使用
sparklyr
,它似乎运行得很好。但是,我以前
的
一些代码将不会实现。complete.cases 我得到一个空
的</e
浏览 5
提问于2016-11-03
得票数 0
2
回答
Sparklyr
用字符串填充
r
、
sparklyr
我想在
sparklyr
数据帧上填充值(用以前
的
值替换NAs ),该字段保存字符串。我想改变这一点: ID, String2 NaN4 NaN 要这样做: ID, String2 a4 b 有没有办法在
sparklyr
浏览 29
提问于2019-01-18
得票数 2
2
回答
有人知道我如何处理R中
的
大数据吗?
r
、
apache-spark-sql
、
bigdata
、
tidytext
分析RStudio中
的
tweet: 我
的
csv文件包含4,000,000条tweet,包含5列: screen_name、text、created_at、favorite_count和retweet_count我试图使用以下代码来识别哈希标签
的
频率,但是它运行得太慢了好几天,有时还会导致RStudio崩溃。在Spark中,我执行以下操作,但是RStudio无法将我
的
数据集复制到Spark。我看到“星火正在运行”在我
的
RStudio中甚至有一天没有复制我
的
数据集到星火。, my_datab
浏览 5
提问于2020-03-29
得票数 3
1
回答
如何将对象从S3桶加载到RStudio中
的
星火中?
r
、
apache-spark
、
amazon-s3
、
sparklyr
、
s3-bucket
S3桶中
的
对象大小为5.3GB。为了将对象转换为数据,我使用了get_object("link to bucket path")。但这会导致记忆
问题
。因此,我在RStudio中安装了Spark2.3.0,并试图将该对象直接加载到Spark中,但是直接将对象加载到Spark中
的
命令不为人所知。library(
sparklyr
) library(dplyr) sc <- spark_connect(master = "local") 如果我将对象转换为可读
的
数据类
浏览 2
提问于2018-07-30
得票数 0
回答已采纳
1
回答
基于
sparklyr
和标准评估(SE)
的
函数
apache-spark
、
dplyr
、
sparklyr
、
non-standard-evaluation
、
standard-evaluation
我正在尝试编写一个函数来执行并创建一个sdf_pivot() DataFrame,它
的
列名包含原始变量或列
的
名称。
的
预期
结果
: dplyr::select(id, var1) %>%
sparklyr
::sdf_pivot(formula = id ~ newvar1, fun.aggregate = "count")
浏览 5
提问于2018-02-13
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据清洗——是时候把自己从繁重的体力劳动中解救出来了
可选择动态组合图表,数据再多也能清晰呈现,只需三步轻松搞定!
使用Python建立你数据科学的“肌肉记忆”
忻获麟Angew:塑化聚合物电解质实现高能固态钠电池
R数据科学之日常积累
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券