开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Scala将数据从S3读取到Spark数据帧

问使用Scala将数据从S3读取到Spark数据帧
EN

Stack Overflow用户

提问于 2018-06-10 02:50:27

回答 1查看 507关注 0票数 0

我正在尝试将"s3://fakePath/subFakePath/sub-sub-FakePath/*.gz“中的数据读取到我本地运行的spark中。我使用以下命令在scala代码中指定“fs.s3a.access.key”和"fs.s3a.secret.key“

SqlContext.read()

我的类路径中也有hadoop-aws-2.7.1.jar。我得到的错误是

java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem:未能实例化提供程序org.apache.hadoop.fs.s3a.S3AFileSystem

我已经在StackOverflow上浏览了关于这个问题的答案，但这似乎并没有解决我的问题。如果有人能给我指出我遗漏的部分，或者没有到这里，我将不胜感激。

amazon-web-services

EN

回答 1

Stack Overflow用户

发布于 2018-06-10 05:42:46

如果s3a、s3n、s3文件系统不能被实例化，那么这是由于aws-sdk jar不在路径中。

我在这里花了几个小时的时间调查，

jars /usr/hdp/2.4.0.0-169/hadoop/hadoop-aws-2.7.1.2.4.0.0-169.jar，/usr/hdp/2.4.0.0-169/hadoop/hadoop-auth.jar，/usr/hdp/2.4.0.0-169/hadoop/aws-java-sdk-1.10.65.jar --驱动程序内存512m --

内存512m

希望能有所帮助。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/50777502

复制

相似问题