文章/答案/技术大牛

发布

社区首页 >问答首页 >在R中使用Sparklyr读取.csv文件

问在R中使用Sparklyr读取.csv文件
EN

Stack Overflow用户

提问于 2016-11-25 19:24:55

回答 1查看 773关注 0票数 1

我有几个C:\Users\USER_NAME\Documents格式的.csv文件，它们的大小超过2 GB。我想使用Apache Spark来读取R中的数据。我使用的是Microsoft R Open 3.3.1和Spark 2.0.1。

我不得不使用Sparklyr包中定义的函数spark_read_csv(...)来读取.csv文件。它要求输入以file://开头的文件路径。我想知道我的例子中正确的文件路径，以file://开头，以.../Documents目录中的文件名结尾。

发布于 2017-05-30 18:05:31

我也遇到过类似的问题。在我的例子中，在使用spark_read_csv调用.csv文件之前，必须将它放入hdfs文件系统中。

我想你可能也有类似的问题。

如果您的群集也在使用hdfs运行，则需要使用：

hdfs dfs -put

最好的，费利克斯

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40803942

复制

相似问题

问在R中使用Sparklyr读取.csv文件EN