我正在尝试将"s3://fakePath/subFakePath/sub-sub-FakePath/*.gz“中的数据读取到我本地运行的spark中。我使用以下命令在scala代码中指定“fs.s3a.access.key”和"fs.s3a.secret.key“
SqlContext.read()
我的类路径中也有hadoop-aws-2.7.1.jar。我得到的错误是
java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem:未能实例化提供程序org.apache.hadoop.fs.s3a.S3AFileSystem
我已经在StackOverflow上浏览了关于这个问题的答案,但这似乎并没有解决我的问题。如果有人能给我指出我遗漏的部分,或者没有到这里,我将不胜感激。
https://stackoverflow.com/questions/50777502
复制相似问题